Brain-Computer interfeiss var pārvērst domas uz runu

Neuroengineers ir izveidojuši jaunu sistēmu, kas var pārvērst vienkāršas domas atpazīstamā runā, izmantojot mākslīgo intelektu un runas sintezatoru, saskaņā ar otrdien publicēto pētījumu.

Ņujorkas pētnieku komanda spēja rekonstruēt vārdus, izmantojot tikai smadzeņu darbību, inovāciju, kas varētu pavērt ceļu smadzeņu kontrolētām tehnoloģijām, piemēram, viedtālrunim, kas var pārvērst jūsu domas īsziņās.

Dr Nima Mesgarani, Kolumbijas Universitātes asociētais profesors, vadīja pētījumu un stāstīja Apgrieztā ka viņš redz lielu potenciālu, lai palīdzētu atjaunot runu cilvēkiem, kuri atgūstas no insulta vai dzīvo ar amyotrofisku laterālu sklerozi (ALS). Turpmāk līnija, šāda veida tehnoloģijas varētu arī atvērt durvis smadzeņu pieslēgtajiem viedtālruņiem, kas varētu ļaut lietotājiem rakstīt, izmantojot savas domas, lai gan tas joprojām ir ceļš. Viņa darbs tika publicēts žurnālā Zinātniskie ziņojumi.

„Viens no šī darba motīviem ir alternatīvas cilvēka un datora mijiedarbības metodes, piemēram, iespējamā saskarne starp lietotāju un viedtālruni,” viņš saka. “Tomēr tas vēl nav tālu no realitātes, un šobrīd informācija, ko var iegūt, izmantojot neinvazīvas metodes, nav pietiekami labs runas smadzeņu un datoru saskarnes lietojumam.”

Klausieties smadzeņu un datora saskarnes radīto runu.

Lai attīstītu jauno tehniku, Mesgarani un viņa kolēģis Dr. Ashesh Dinesh Mehta no Northwell veselības ārstu partneru neirozinātnes institūta sāka pētīt epilepsijas pacientu smadzeņu darbību pētījumā. Šiem pacientiem jau bija smadzeņu elektrodu implanti, lai kontrolētu krampjus, kurus Mesgarani un Mehta varēja izmantot, lai savāktu datus savam pētījumam.

Duo lūdza, lai dalībnieki uzklausītu runātājus, kuri minēja skaitļus starp nulli un deviņiem, un pēc tam ierakstīja smadzeņu signālus no šīs mijiedarbības. Pēc tam viņi apmācīja neironu tīklu - programmu, kas imitē neironu struktūru cilvēka smadzenēs - atpazīt signālus modeļos un pārvērst tos robotu skanošos vārdos, izmantojot runas sintezatoru, kas pazīstams kā vokoders.

Rezultāts bija īss balss klips, kas izklausās kā Microsoft Sam, skaitot no nulles līdz deviņiem. Iespaidīgā daļa ir tāda, cik skaidrs ir runas salīdzinājums ar citām metodēm, ko pētnieki ir pārbaudījuši. Tomēr vēl ir daudz darāmā.

„Var paiet desmit gadi, pirms šī tehnoloģija kļūs pieejama,” saka Mesgarani. „Mums ir nepieciešams lielāks progress gan ilgtermiņā, gan bioloģiski saderīgos implantējamos elektrodos un / vai izrāvienu tehnoloģijās neinvazīvās nervu ierakstīšanas metodēs. Mums ir nepieciešama labāka izpratne par to, kā smadzenes pārstāv runu, lai mēs varētu uzlabot mūsu dekodēšanas metodes."

Piemēram, pacientiem, kas bija šī pētījuma daļa, bija smadzeņu operācija, lai implantētu elektrokortikogrāfijas monitorus. Tas ir ārkārtīgi invazīvs process, kas prasa atvērtas smadzeņu operācijas, ko lielākā daļa cilvēku, iespējams, nevēlas iziet, pat ja pastāvēja iespēja atjaunot savas runas iespējas.

Pašlaik šajā pētījumā tika ieviesta metode smadzeņu signālu dekodēšanai runā. Ja mēs noskaidrosim, kā precīzi atklāt smadzeņu darbību bez operācijas, mēs esam viens solis tuvāk ne tikai revolucionizētai logopēdijai, bet arī potenciāli, lai radītu smadzeņu pieslēgumus.

Pēdējo gadu laikā smadzeņu un datoru saskarnes pētījumi ir saņēmuši jaunu interesi. 2017. gada aprīlī Facebook paziņoja, ka ikgadējā F8 konferencē strādā pie BCI. Un Elons Musks 2018. gada novembrī paziņoja, ka Neuralink, viņa paša BCI starta uzņēmums, bija darbā.

Kopsavilkums

Dzirdes stimulēšanas rekonstrukcija ir metode, kas vislabāk novērtē akustisko stimulu no izraisītās neirālās aktivitātes. Atjaunojot runu no cilvēka dzirdes garozas, rodas iespēja, ka runas neiroprostētiski var izveidot tiešu saziņu ar smadzenēm, un ir pierādīts, ka tas ir iespējams gan atklātā, gan slēptos apstākļos. Tomēr rekonstruētās runas zemā kvalitāte ir ļoti ierobežojusi šīs metodes lietderību smadzeņu un datoru saskarnes (BCI) lietojumprogrammām. Lai sekmētu modernāko runas neiroprostēzi, mēs apvienojām jaunākos padziļinātās mācīšanās sasniegumus ar jaunākajām inovācijām runas sintēzes tehnoloģijās, lai rekonstruētu saprotamu, saprotamu runu no cilvēka dzirdes garozas. Mēs pētījām rekonstrukcijas precizitātes atkarību no lineārām un nelineārām (dziļa neironu tīkla) regresijas metodēm un akustisko attēlojumu, kas tiek izmantots kā rekonstrukcijas mērķis, ieskaitot dzirdes spektrogrammu un runas sintēzes parametrus. Turklāt mēs salīdzinājām rekonstrukcijas precizitāti no zemiem un augstiem neironu frekvenču diapazoniem. Mūsu rezultāti rāda, ka dziļš neironu tīkla modelis, kas tieši novērtē runas sintezatora parametrus no visām nervu frekvencēm, sasniedz visaugstākos subjektīvos un objektīvos rādītājus ciparu atpazīšanas uzdevumā, uzlabojot saprotamību par 65% salīdzinājumā ar sākotnējo metodi, kas izmantoja lineāro regresiju uz atjaunot dzirdes spektrogrammu. Šie rezultāti parāda dziļas mācīšanās un runas sintēzes algoritmu efektivitāti nākamās BCI sistēmu paaudzes projektēšanai, kas ne tikai var atjaunot komunikāciju paralizētiem pacientiem, bet arī spēj pārveidot cilvēka un datora mijiedarbības tehnoloģijas.

Related Video: Brain Wave Sensing Roboti var kalpot kā cilvēka ķermeņa paplašinājumi