Hiyerarşik EEG-metin hizalaması yoluyla düşünce şifresini çözme

Özetle: İletişim, refahımız için önemlidir, ancak kilitli kalma sendromu (LIS), serebral palsi (CP) ve dizartri gibi engeller nedeniyle bozulabilir.

Özet

İletişim, refahımız için önemlidir, ancak kilitli kalma sendromu (LIS), serebral palsi (CP) ve dizartri gibi engeller nedeniyle bozulabilir. İnvaziv olmayan beyinden metne beyin-bilgisayar arayüzleri (BCI'ler), iletişim engeli olan kişiler için alternatif bir iletişim yolu sağlayarak umut verici bir çözüm sunar. Bununla birlikte, son buluşların çoğu, fonksiyonel manyetik rezonans görüntüleme (fMRI) ve manyetoensefalografi (MEG) gibi büyük, hantal ve maliyetli nörogörüntüleme yöntemlerine dayanıyordu. Çok sayıda çalışma, daha hafif ve daha ucuz olan elektroensefalografiyi (EEG) kullanarak kod çözmeye çalışmıştır, ancak sonuçlar diğer yöntemlerle karşılaştırıldığında yetersiz kalmaktadır. Daha da önemlisi bu kipliklerin metinle harf, kelime, cümle ve daha yüksek anlamsal düzeyde nasıl bir ilişkisi olduğunu anlamıyoruz. Önceki çalışmaların çoğu cümle seviyesinin altında kod çözmeye odaklanmıştı çünkü ses birimleri, harfler ve kelimeler etrafında bir deney tasarlamak oldukça daha kolay. Ancak iletişim sırasında cümleler, kelimelerden ve harflerden çok daha önemli bir rol oynar. Çünkü cümleler, bazı kelime ve harfler eksik olsa bile anlaşılabilecek kadar yüksek düzeyde bilgi taşır. Bununla birlikte, cümle düzeyinde kod çözme kapsamında, cümle sınıflandırması, cümle oluşturma kadar iyi araştırılmamıştır, bu da bir cümlenin EEG'den metne kod çözme bağlamında geri alınması mı yoksa oluşturulması mı gerektiğine karar vermeyi zorlaştırır. Bu makale, temel amacın bağlamını ve EEG'yi girdi olarak kullanarak okunan bir cümleyi geri almak olduğu yeni bir hiyerarşik hizalama çerçevesi aracılığıyla cümle düzeyinde EEG'den metne sınıflandırmayı araştırmaya çalışmaktadır.

Orijinal Özet (İngilizce)

Communication is important for our well-being, but it can be impaired by disabilities, such as locked-in syndrome (LIS), cerebral palsy (CP), and dysarthria. Non-invasive brain-to-text brain-computer interfaces (BCIs) offer a promising solution by providing an alternative communication pathway for people with communication disabilities. However, most recent breakthroughs have relied on large, cumbersome, and costly neuroimaging modalities, such as functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG). Numerous studies have attempted decoding using the lighter and cheaper electroencephalography (EEG), but the results remain inferior compared to the other modalities. More importantly, we do not understand how these modalities are related to text at the letter, word, sentence, and higher semantic levels. Many prior studies have focused on decoding below the sentence level because it is considerably easier to design an experiment around phonemes, letters, and words. However, during communication, sentences play a much more important role than words and letters. This is because sentences carry information at such a high level that they can be understood even if some words and letters are missing. However, within sentence-level decoding, sentence classification is not as well investigated as sentence generation, making it difficult to decide whether a sentence should be retrieved or generated in the context of EEG-to-text decoding. This paper strives to investigate sentence-level EEG-to-text classification via a novel hierarchical alignment framework, where the main goal is to retrieve a read sentence using its context and EEG as inputs.

Kaynak: arXiv:2611.03623 · PDF