Neuroznanstvenici podučavaju računala da izravno čitaju riječi iz ljudi.
Kelly Servick, pisanje za Science, prijavila se ovaj tjedan o tri rada objavljena na pretprintačkom poslužitelju bioRxiv u kojima su tri različita tima istraživača pokazala da mogu dekodirati govor iz snimaka ispaljivanja neurona. U svakoj su studiji elektrode smještene izravno na mozak zabilježile neuronske aktivnosti dok su pacijenti s operacijom mozga slušali govor ili čitali riječi naglas. Zatim su istraživači pokušali ustanoviti što pacijenti čuju ili govore. U svakom su slučaju istraživači mogli pretvoriti električnu aktivnost mozga u barem donekle razumljive zvučne datoteke.
Prvi rad, objavljen na bioRxiv 10. listopada 2018., opisuje eksperiment u kojem su istraživači reproducirali snimke govora pacijentima s epilepsijom koji su bili usred operacije mozga. (Neuronske snimke uzete u eksperimentu morale su biti vrlo detaljne da bi se mogle protumačiti. A ta je razina detalja dostupna samo u rijetkim okolnostima kada je mozak izložen zraku i elektrode su postavljene na njega izravno, kao na primjer u operaciji mozga .)
Dok su pacijenti slušali zvučne datoteke, istraživači su zabilježili pucanje neurona u dijelovima pacijentovog mozga koji obrađuju zvuk. Znanstvenici su isprobali nekoliko različitih metoda za pretvaranje podataka neuronskih metala u govor i otkrili da "duboko učenje" - u kojem računalo pokušava riješiti problem manje ili više bez nadzora - najbolje funkcionira. Kada su reproducirali rezultate putem vocodera, koji sintetizira ljudske glasove, za grupu od 11 slušatelja, ti su pojedinci uspjeli ispravno protumačiti riječi 75 posto vremena.
Audio iz ovog eksperimenta možete poslušati ovdje.
Drugi rad, objavljen 27. studenog 2018., oslanjao se na neuronske snimke ljudi koji su bili podvrgnuti operaciji za uklanjanje tumora mozga. Dok su pacijenti naglas čitali jednosložne riječi, istraživači su snimali kako zvukove koji izlaze iz usta sudionika, tako i neurone koji pucaju u područjima mozga koja proizvode govor. Umjesto da računalno obučavaju svakog pacijenta, ovi su istraživači naučili umjetnu neurološku mrežu da pretvore neuronske snimke u audio, pokazujući da su rezultati barem razumljivo razumljivi i slični snimkama koje su napravili mikrofoni. (Audio iz ovog eksperimenta je ovdje, ali mora se preuzeti u zip datoteci.)
Treći rad, objavljen 9. kolovoza 2018., oslanjao se na snimanje dijela mozga koji pretvara određene riječi koje osoba odluči izgovoriti u pokretima mišića. Iako snimanje iz ovog eksperimenta nije dostupno na mreži, istraživači su izvijestili da su uspjeli rekonstruirati čitave rečenice (također zabilježene tijekom operacije mozga na pacijentima s epilepsijom) i da su ih ljudi koji su slušali rečenice mogli ispravno protumačiti na više izbora test (od 10 izbora) 83 posto vremena. Ta se metoda eksperimenta oslanjala na identificiranje obrazaca uključenih u stvaranje pojedinih slogova, a ne cijelih riječi.
Cilj je svih ovih eksperimenata jednoga dana omogućiti ljudima koji su izgubili sposobnost (zbog amiotrofične lateralne skleroze ili sličnih stanja) da razgovaraju putem sučelja između računala i mozga. Međutim, znanosti za tu aplikaciju još nema.
Tumačenje neuronskih obrazaca osobe koja samo zamišlja govor složenije je od tumačenja obrazaca nekoga tko sluša ili proizvodi govor, izvijestio je Science. (Međutim, autori drugog rada rekli su da je moguća interpretacija moždane aktivnosti nekoga tko zamišlja govor.)
Također je važno imati na umu da su to male studije. Prvi se rad oslanjao na podatke uzete od samo pet pacijenata, dok je drugi proučavao šest pacijenata, a treći samo tri. A niti jedno neuronsko snimanje nije trajalo više od sat vremena.
Ipak, znanost ide naprijed, a uređaji za umjetni govor spojeni izravno u mozak izgledaju kao realna mogućnost u nekom trenutku niz cestu.
