Non-invaziv beyinden metne · Açık kaynak
EEG'den açık sözlüklü metne
NEST, okuma sırasında kaydedilen non-invaziv EEG'yi metne çeviren, donanımdan bağımsız bir çözümleme altyapısı; sayılarını alanın olması gerektiği gibi raporluyor: serbest çözümleme, görülmemiş denekler, gürültü kontrolleri.
Araştırma prototipi. Henüz doğrulanmış bir benchmark yok. İlk kelime hata oranı, değerlendirme protokolüyle birlikte yayınlanacak.
örneği çözmek için başlat'a bas
Durum · Eylül 2026
Proje nerede duruyor
Bu sitedeki her sayı depoya karşı doğrulanmıştır. Bir şey henüz ölçülmediğinde "bekliyor" yazar.
Bir sayıyı geri çektik. Şubat 2026'da, çözümlemeyle ölçülmemiş, eğitim loss'undan tahmin edilmiş bir kelime hata oranı yayınlamıştık. Kaldırıldı. Sonuçlar burada yalnızca görülmemiş deneklerde gürültü girdisi kontrolüyle çözümlendiğinde görünür. Değerlendirme protokolünü oku.
Neden şimdi
Non-invaziv beyinden metne, 2025'te laboratuvardan çıktı
Aynı anda üç şey değişti: araştırma sonuçları, sermaye ve boşluğun şekli.
Sonuçlar ilerledi
Meta'nın Brain2Qwerty'si, Şubat 2025'te MEG'den yazılan cümleleri %32 karakter hata oranıyla çözdü. Haziran 2026'daki v2 sürümü %61 kelime doğruluğuna ulaştı. Bunlar kapalı, yazma tarzı bir görevde MEG sayıları; aynı çalışmanın EEG koşulu %67 karakter hata oranı verdi. Non-invaziv çözümleme hızla ilerliyor, ancak NEST'in üzerinde çalıştığı görev olan açık sözlüklü EEG okuma hâlâ çözülmedi.
Sermaye geldi
Beyin-bilgisayar arayüzlerine risk sermayesi 2024'te yaklaşık 0,4 milyar $'dan 2025'te yaklaşık 1 milyar $'a çıktı. 2026'nın ilk yedi ayında non-invaziv payı %29'a yükseldi.
Boşluk bir yazılım katmanı
İmplant şirketleri hastaları ameliyat ediyor. Başlık şirketleri donanım satıyor. Tek dikey entegre metin çözücü olan Sabi, yalnızca kendi başlığında çalışıyor. Herhangi bir EEG sistemiyle çalışan açık bir çözümleme katmanını kimse sunmuyor.
Nasıl çalışır
Kelime hizalı EEG girer, cümle çıkar
NEST, ZuCo öznitelik kuralını izler: okuyucunun sabitlediği her kelime için 105 kanal çarpı 8 frekans bandı, 840 boyutlu tek bir vektöre dönüşür. Bu vektörlerin bir dizisi bir cümledir. ZuCo, Hollenstein ve ark. (2018) tarafından yayınlanmıştır, CC BY 4.0 lisanslıdır.
Donanımdan bağımsız
NEST bir yazılım. Ön işlenmiş öznitelikleri girdi olarak alır; bu yüzden bunları üretebilen her araştırma seviyesi EEG sistemi geçerli bir girdidir. Az kanallı tüketici başlıklarına aktarım, henüz test etmediğimiz açık bir soru.
Denekten bağımsız
8 denekle eğitiyoruz, 1 denekte doğruluyoruz, modelin hiç görmediği 2 denekte test ediyoruz. Kişisel kalibrasyon sonraki bir özellik, gizli bir varsayım değil.
Açık
MIT lisanslı kod, veri yükleyicileri ve değerlendirme betikleri. Benchmark protokolü ürünün bir parçası.
Değerlendirme
Alanın sayıları şişkin çıktı. Bizimkiler bu eleştiriye dayanacak şekilde kuruldu.
ZuCo üzerine yazılan EEG'den metne makaleleri BLEU-1'i 40 civarında raporladı. 2024'te alan, bu skorların teacher forcing'den geldiğini ve rastgele gürültünün gerçek EEG'yle aşağı yukarı aynı skoru aldığını buldu.
Yayınlanan
Teacher-forced skorlar
Wang ve Ji (AAAI 2022) BLEU-1 40,1. DeWave (NeurIPS 2023) BLEU-1 41,4. BELT 42,3. Hepsi, decoder'a her adımda doğru önceki kelimenin verildiği koşulda ölçüldü.
Düzeltilen
Serbest çözümleme skorları
Jo ve ark. 2024, bu protokol altında gürültü girdisinin gerçek EEG ile aynı skoru aldığını gösterdi. Temmuz 2026'daki bir tekrar çalışması, aynı model ailesi için serbest çözümlemede %99'un üzerinde WER raporluyor. Açık sözlüklü EEG'den metne hâlâ çözülmedi.
NEST'in taahhüt ettikleri.
- Değerlendirmede serbest otoregresif çözümleme, asla teacher forcing değil. Kod yolu açık; bugün greedy, beam search planlanıyor.
- Eğitimde veya doğrulamada hiç görünmeyen görülmemiş denekler.
- Her gerçek EEG sayısının yanında raporlanan bir gürültü girdisi kontrolü.
- İlk sonuçla birlikte, bir teknik rapor olarak yayınlanan protokol.
Bugün ne var
Yedi ayda inşa edildi, depoda doğrulandı
| Bileşen | Bugün | Durum |
|---|---|---|
| Kod tabanı | 24.137 satır Python: band-pass ve ICA ön işleme, altı model mimarisi, eğitim ve değerlendirme betikleri | Uygulandı |
| Veri | ZuCo veri hattı yazıldı ve gerçek korpus üzerinde çalıştırıldı: 66 GB ham veri (53 .mat dosyası), 12 denek, 105 kanal, 12.071 cümle-denek çifti, sabitlenmemiş kelimeler için NaN yönetimi. Ham veri, GPU koşusundan önce yeniden indiriliyor | Uygulandı |
| Modeller | NEST v2 CTC (45,3 milyon parametre) ve NEST v2 BART (184 milyon toplam, 64,7 milyon eğitilebilir) oluşturuluyor ve çalışıyor | Doğrulandı |
| Değerlendirme | Serbest otoregresif çözümleme (bugün greedy), greedy CTC çözümleme, kelime ve karakter düzeyinde edit distance | Uygulandı |
| Eğitim | v1 modeli 12.071 gerçek örnek üzerinde 100 epoch eğitildi (M2 dizüstünde 5,4 saat); loss düştü, WER hesaplanmadı. v2 için GPU gerekiyor | GPU bekliyor |
| Dağıtım | Pruning, quantization, ONNX ve TorchScript export, streaming inference modülleri yazıldı | Ölçülmedi |
| Testler | 80 test fonksiyonu; suite şu anda kod driftiyle bozuldu ve onarılıyor | Onarılıyor |
Kimin için
Önce araştırma aracı, sonra klinik ürün
Gelire ulaşan non-invaziv nöroteknoloji şirketlerinin izlediği sırayla planlandı.
EEG araştırma laboratuvarları
Dil-EEG araştırması için bir çözümleme SDK'sı ve açık bir benchmark. Tasarım gereği tıbbi cihaz kapsamı dışında: tanısal veya tedavi edici bir iddia yok.
Klinikler ve korpuslar
Etik kurul onaylı bir Türkçe okuma korpusu ve rehabilitasyon ile nöroloji bölümleriyle yalnızca araştırma amaçlı pilotlar. İlk Türkçe EEG'den metne veri kümesi.
Asistif iletişim
Okuma anlaması korunmuş ALS veya locked-in sendromlu kişiler için, EEG donanım ortaklarıyla sunulan CE işaretli bir iletişim yardımcısı.
Yol haritası
Önümüzdeki 12 ay
Her çeyrek ölçülebilir bir çıktıyla bitiyor: bir benchmark raporu, bir korpus sürümü, bir lisans sayısı, bir pilot protokolü.
SSS