Demo
Örnekleyici bir çözümleyici, bu şekilde etiketlenmiş
Bu sayfa NEST'in girdisinin ve çıktısının neye benzediğini gösterir: solda sentetik bir EEG dalga formu, sağda bir çözümleyicinin üreteceği şekilde yazılan bir cümle. Eğitilmiş bir model çalıştırmaz ve bir benchmark sonucu değildir.
Bu sayfa hiçbir model çalıştırmaz. Dalga formu sentetiktir ve cümleler ZuCo referans cümleleridir. Girdi ve çıktının şeklini göstermek için var, bir sonuç için değil.
- Kanal
- 105
- Bant
- 8
- Kelime başına öznitelik
- 840
- Örnekleme
- 500 Hz
- Hizalama
- göz izleme fiksasyonları
örnekleyici örneği çözümlemek için başlat'a basın
- Çözümleyici
- BART, serbest çözümleme
- Denek
- görülmemiş
- WER
- bekliyor
- Gecikme
- ölçülmedi
Değerlendirme protokolü
Gerçek bir sonuç nasıl görünecek
NEST v2 eğitilip değerlendirildiğinde, sonuçlar burada şu şekilde görünecek: görülmemiş deneklerde serbest çözümleme, aynı ölçütler altında bir gürültü kontrolünün yanında.
| Koşul | WER | CER | BLEU-1 | ROUGE-1 |
|---|---|---|---|---|
| Gerçek EEG, görülmemiş denekler | bekliyor | bekliyor | bekliyor | bekliyor |
| Gürültü girdisi kontrolü | bekliyor | bekliyor | bekliyor | bekliyor |
| Fark | bekliyor | bekliyor | bekliyor | bekliyor |
Tek bir satır kanıt değildir. Alan 2024'te, bir çözümleyicinin gerçek EEG üzerinde iyi skor alabildiğini ve aynı veri hattından geçirilen rastgele gürültüde de aynı derecede iyi skor alabildiğini ortaya çıkardı; çünkü ön-eğitimli bir dil modeli neredeyse her girdiden akıcı metin üretebilir. NEST, gerçek EEG'yi ve bir gürültü girdisi kontrolünü, aynı serbest çözümleme protokolü altında yan yana raporlar. Yalnızca fark satırı, gerçek EEG'nin gürültüye karşı, modelin bir dil önbilgisinden tahmin yürütmek yerine gerçekten bir beyin sinyali okuyup okumadığı hakkında bir şey söyler.
Durum
Henüz canlı bir model neden yok
NEST v2'nin eğitilmiş bir checkpoint'i yok. Tamamlanan tek eğitim koşusu, tam ZuCo setinde 100 epoch boyunca yaklaşık 2,78 milyon parametreli daha eski ve daha küçük bir mimari kullandı; loss düştü ama kelime hata oranı (WER) hesaplanmadı. v2 CTC ve BART modelleri, sırasıyla 45,3 milyon ve 184 milyon parametreyle, doğru şekilde oluşturuluyor ve çalışıyor; ama ikisini de yakınsamaya kadar eğitmek, bir A100 üzerinde tahmini 8-12 saatlik bir GPU koşusu gerektiriyor ve bu henüz gerçekleşmedi.
Bir v2 checkpoint'i oluşturulduğunda, bu sayfanın onu göstermek için bir sunucuya ihtiyacı olmayacak. Depo, değerlendirme kodunun bir parçası olan ve eğitilmiş bir checkpoint'i tarayıcıda çıkarım için dönüştürebilen bir ONNX export modülünü zaten içeriyor. O checkpoint oluşana kadar bu sayfa örnekleyici kalır: sentetik bir dalga formu ve senaryolu bir cümle, açıkça bu şekilde etiketlenmiş.