NEST
EN GitHub

Araştırma

Literatür, eleştiri ve protokolümüz

EEG'den metne dönüşümün bir ölçüm sorunu var: bu sayfa neyin rapor edildiğini, neyin değerlendirme yönteminin bir yapaylığı olduğunu ve NEST'in bunun yerine kullandığı protokolü anlatıyor.

Alanın geldiği nokta

On sonuç, tek bir yöntemsel kırılma çizgisi

2024 öncesi ZuCo sonuçları teacher forcing ile puanlandı: decoder'a her adımda doğru önceki kelime verilir, bu da bir dil modelinin EEG'ye neredeyse hiç bağlı kalmadan akıcı metin üretmesine olanak tanır. Serbest çözümleme (free decoding) bu desteği ortadan kaldırır. Aşağıdaki satırlar kabaca yayın tarihine göre sıralandı; iki invaziv satır, karşılaştırılabilir bir modalite olmadıkları için işaretlendi.

YöntemYıl, yayınSinyal, veriDeğerlendirmeSonuçNot
Wang and Ji 2022, AAAI EEG, ZuCo Teacher forcing BLEU-1 40,1 Protokol nedeniyle şişirilmiş
DeWave (Duan et al.) 2023, NeurIPS EEG, ZuCo Teacher forcing BLEU-1 41,35 Yukarıdakiyle aynı protokol
BELT (Zhou et al.) 2023 EEG, ZuCo Teacher forcing BLEU-1 42,31 Yukarıdakiyle aynı protokol
Jo et al., “Are EEG-to-Text Models Working?” 2024, arXiv 2405.06459 EEG, ZuCo Serbest çözümleme, gürültü kontrolü Gerçek EEG skorları rastgele gürültüyle yaklaşık aynı Bu sayfanın dayandığı eleştiriyi ortaya koyuyor
Tekrarlama (BrainBART, BELT, DeWave) 2026, arXiv 2607.18749 EEG, ZuCo 1.0 ve 2.0 Serbest çözümleme WER yaklaşık %99–121, BLEU-1 yaklaşık 7–16 Eleştiriyi üç model ailesinde doğruluyor; COFETT benchmark'ını öneriyor
“Escaping the BLEU Trap” 2026, arXiv 2603.03312 EEG, ZuCo 4 yönlü anlamsal sınıflandırma (%25 şans) %50,0 sınıflandırma doğruluğu, %2,7 içerik hatırlama Değerlendirmeyi token düzeyindeki BLEU'dan tamamen uzaklaştırıyor
Brain2Qwerty 2025, Meta AI MEG ve EEG, yazılan cümleler, kapalı sözlük Çevrimdışı çözümleme MEG CER %32 (en iyisi %19), EEG CER %67 Kapalı görev, gerçek zamanlı değil; MEG/EEG farkı hata oranında kabaca iki kat
Brain2Qwerty v2 2026, Meta AI with BCBL MEG, yazılan cümleler, kapalı sözlük Çevrimdışı çözümleme %61 ortalama kelime doğruluğu, en iyi katılımcı %78 Yukarıdakiyle aynı kapalı görev ailesi, sadece MEG
Willett et al. 2023, Nature İntrakortikal dizi (invaziv) Gerçek zamanlı el yazısı çözümleme dakikada 62 kelime, WER %9,1 (50 kelimelik sözlük), %23,8 (125.000 kelimelik sözlük) İnvaziv referans, karşılaştırılabilir bir modalite değil
Metzger et al. 2023, Nature ECoG (invaziv) Gerçek zamanlı konuşma çözümleme dakikada 78 kelime, medyan WER %25 İnvaziv referans, karşılaştırılabilir bir modalite değil

Tablo birlikte okunduğunda üç şey söylüyor. Birincisi, EEG'den non-invaziv, açık sözlüklü (open vocabulary) çözümleme henüz çözülmüş değil: ZuCo üzerindeki her serbest çözümleme sayısı şansa yakın ve 2022–2023 makalelerindeki akıcı cümleler sinyalden değil, decoder'ın dil önselinden geliyordu. İkincisi, aynı kapalı görevde ve aynı ekibin veri hattında MEG ile EEG arasında gerçek bir fark var — Brain2Qwerty'nin karakter hata oranı MEG'den EEG'ye kabaca ikiye katlanıyor, ki bu NEST'in çalıştığı modalite. Üçüncüsü, invaziv sonuçlar tavanın algoritma olmadığını gösteriyor: elektrotlar beyinde olduğunda kelime hata oranları tek haneye düşüyor. Dürüst okuma şu: gerçek EEG'yi gürültüden ayırt edemeyen bir protokol hiçbir şey ölçmüyor demektir; NEST'in yayınladığı her sayının yanında bir gürültü kontrolü (noise-input control) raporlamasının nedeni de bu.

Değerlendirme protokolümüz

Bir sayı yayınlanmadan önce taahhüt ettiklerimiz

Yukarıdaki eleştiri somut: teacher forcing ve gürültü kontrolü eksikliği, bir dil modelinin akıcılığının çözümlemenin yerine geçmesine izin veriyor. NEST'in protokolü, aynı şey tekrar olursa bunu gizlemeden ortaya çıkaracak şekilde kuruldu.

  • Değerlendirme sırasında serbest, otoregresif çözümleme. Teacher forcing yok. Şu anki uygulama greedy; beam search planlanıyor ve kullanıldığında raporlanacak.
  • Görülmemiş denekler (held-out subjects): test bölümü eğitimde ya da doğrulamada hiç kullanılmaz.
  • Her gerçek EEG sayısının yanında bir gürültü kontrolü raporlanır, böylece okuyucu modelin rastgele girdiyi geçip geçmediğini görebilir.
  • CER, kelime hata oranı (WER), BLEU ve ROUGE'un tümü birlikte raporlanır, sadece en iyi görünen metrik değil.
  • Protokol, sonradan değil, ilk sonuçla birlikte bir teknik rapor olarak yayınlanır.
  • Kod yolu herkese açık: scripts/train_nest_v2.py içinde eval_bart() ve eval_ctc().

Geri çektiğimiz sayı

%26,1 WER hiç çözümlenmedi

Şubat 2026. %26,1 kelime hata oranı, BLEU 0,74 ve %73,9 doğruluk rakamı yayınladık. Bu rakam, modeli çalıştırıp çıktısını çözümleyerek elde edilmedi. CTC eğitim loss'undan, loss'u yaklaşık bir hata oranına eşleyen sezgisel bir formülle tahmin edilmişti. Bu formül gerçek bir çözümlemeye karşı hiç doğrulanmadı ve EEG okuyan bir dizi modeli için geçerli olacağını düşünmek için bir neden yok.

Bu rakam, yukarıdaki kendi protokolümüzü karşılamadığını fark ettikten sonra 2026-02-20 tarihli f8d6675 commit'inde kaldırıldı: gürültü kontrolü yoktu, görülmemiş deneklerle serbest çözümleme yoktu, karşılaştıracak hiçbir şey yoktu. Yerine hiçbir şey konmadı. Bu sitedeki kelime hata oranı alanı, v2 modeli tamamen eğitilip burada anlatılan protokol altında — henüz sahip olmadığımız bir GPU üzerinde — çözümlenene kadar “bekliyor” yazıyor.

Veri kümeleri

ZuCo, komşuları ve kapatmayı planladığımız açık

ZuCo 1.0 (Hollenstein ve ark. 2018), 12 anadili İngilizce olan katılımcıyı 128 elektrotlu bir EGI sistemiyle (105 kanal kullanıldı) ve göz izlemeyle kaydetti; katılımcılar üç görevde toplam 1.107 cümle okudu: film eleştirilerinin normal okunması, Wikipedia metninin normal okunması ve göreve özel okuma, toplamda 21.629 kelime. ZuCo 2.0 (2020) 739 cümle okuyan 18 denek daha ekledi. İkisi de okuma korpusu; hiçbiri dinleme ya da hayali konuşma paradigmalarını içermiyor.

KorpusModaliteGörev
ZuCo 1.0 / 2.0EEGDoğal okuma
BrennanEEGDinleme
MEG-MASCMEGDinleme
ChiscoEEGHayali konuşma, Çince

Herkese açık bir Türkçe EEG okuma korpusu yok. ZuCo dahil kullandığımız her okuma korpusu İngilizce. Bir tane toplamayı planlıyoruz: İstanbul Ticaret Üniversitesi'nde etik kurul onaylı, 20 katılımcılı bir çalışma; protokol GitHub'da experiments/user_study/user_study_protocol.md adresinde yer alıyor, hedef 2027 Ç1.

Teknik rapor

Hazırlanıyor, raporlanacak bir sonuç olduğunda yayınlanacak

Bu sayfadaki protokolü ve ilk çözümlenmiş sayıları içeren tam teknik rapor, v2 modeli eğitilip değerlendirildikten sonra arXiv'e yüklenecek. Henüz bir preprint kimliği yok ve buradaki hiçbir şey bir makale olarak alıntılanmamalı.

Yazılım atfı, BibTeX
@software{nest2026,
  title  = {NEST: Neural EEG Sequence Transducer},
  author = {{NEST contributors}},
  year   = {2026},
  url    = {https://github.com/wazder/nest}
}

Bu, kod tabanı için bir yazılım atfıdır, bir makale atfı değildir. Var olduğunda yukarıdaki teknik raporu kullanın.

Sayılardan önce kodu okuyun

Değerlendirme protokolü, geri çekilen sayı ve eğitim betikleri hepsi depoda.

GitHub Teknoloji