Forskere kan lese en fugls hjerne og forutsi den neste sangen

Max Litvinov

Entreprenører i Silicon Valley i år satte seg et dristig nytt mål: å lage en hjernelesende enhet som lar folk enkelt sende tekster med tankene sine.

I april kunngjorde Elon Musk et hemmelighetsfullt nytt hjernegrensesnittselskap kalt Neuralink. Dager senere erklærte Facebook-sjef Mark Zuckerberg at direkte hjernegrensesnitt [kommer] til å la deg kommunisere bare med sinnet ditt. Selskapet sier at det har 60 ingeniører som jobber med problemet.

Det er et ambisiøst oppdrag – og det er grunner til å tro at det ikke vil skje med det første. Men for minst en liten, oransje-nebbfugl, sebrafinken, ble drømmen bare mye nærmere virkeligheten.

Det er takket være noe pent arbeid av Timothy Gentner og studentene hans ved University of California, San Diego, som bygde et hjerne-til-tweet-grensesnitt som finner ut sangen en finke kommer til å synge en brøkdel av et sekund før den gjør det .

Vi dekoder realistisk syntetisk fuglesang direkte fra nevral aktivitet, kunngjorde forskerne i en ny rapport publisert på nettstedet bioRxiv . Teamet, som inkluderer den argentinske fuglesangeksperten Ezequiel Arneodo, kaller systemet den første prototypen av en dekoder av komplekse, naturlige kommunikasjonssignaler fra nevral aktivitet. En lignende tilnærming kan drive fremskritt mot et menneskelig tanke-til-tekst-grensesnitt, sier forskerne.

Forskere sier at de kan forutsi sangen til en finke direkte fra dens hjerneaktivitet.

En sangfugls hjerne er ikke for stor. Men vokaliseringene ligner på menneskelig tale på måter som gjør disse fuglene til en favoritt blant forskere som studerer hukommelse og kognisjon. Sangene deres er komplekse. Og, som menneskespråk, er de lært. Sebrafinken lærer kallet sitt fra en eldre fugl.

Makoto Fukushima, en stipendiat ved National Institutes of Health som har brukt hjernegrensesnitt for å studere de enklere gryntene og kurringene laget av aper, sier at det rikere spekteret av fuglesang er grunnen til at de nye resultatene har viktige implikasjoner for bruk i menneskelig tale.

Nåværende hjernegrensesnitt som er prøvd hos mennesker, sporer for det meste nevrale signaler som reflekterer en persons forestilte armbevegelser, som kan brukes til å flytte en robot eller dirigere en markør til å plukke ut bokstaver veldig sakte. Så ideen om en hjelm eller hjerneimplantat som enkelt kan fange opp det du prøver å si, er fortsatt ganske langt fra å bli realisert.

Men det er ikke strengt tatt umulig, som den nye studien viser. Teamet ved UCSD brukte silisiumelektroder i våkne fugler for å måle den elektriske skravlingen av nevroner i en del av hjernen som kalles den sensorisk-motoriske kjernen, hvor kommandoer som former produksjonen av innlært sang kommer fra.

Eksperimentet brukte nevrale nettverksprogramvare, en type maskinlæring. Forskerne matet inn i programmet både mønsteret av nevrale avfyring og den faktiske sangen som ble resultatet, med stopp og start og skiftende frekvenser. Ideen var å trene opp programvaren deres til å matche den ene til den andre, i det de kalte nevrale-til-sang-spektrumkartlegging.

Teamets hovedinnovasjon var å forenkle hjerne-til-tweet-oversettelsen ved å inkludere en fysisk modell av hvordan finker lager støy. Fugler har ikke stemmebånd som folk har; i stedet skyter de luft over en vibrerende overflate i halsen, kalt en syrinx. Tenk på hvordan du kan lage en høylydende sutring ved å sette to stykker papir sammen og blåse i kanten.

Det endelige resultatet, sier forfatterne: Vi dekoder realistisk syntetisk fuglesang direkte fra nevral aktivitet. I rapporten sin sier teamet at det kan forutsi hva fuglen vil synge omtrent 30 millisekunder før den gjør det.

Du kan lytte til resultatene selv i lyden nedenfor. Husk at sebrafinken ikke er noen nattergal. Sangen er mer som et staccato kvakksalver.

Sangen til en fanget sebrafink.

Den samme sangen, som forutsagt fra nevrale opptak inne i finkens hjerne.

Sangfugler er allerede en viktig forskningsmodell. Hos Elon Musks Neuralink var fugleforskere blant de første nøkkelansatte. Og UCSDs triks med å fokusere på å oppdage muskelbevegelsene bak tale kan også være en nøkkelutvikling.

Facebook har sagt at de håper folk vil være i stand til å skrive direkte fra hjernen med 100 ord i minuttet, og sende tekster privat når de vil. En enhet som kan lese kommandoene hjernen din sender ut til musklene mens du er engasjert i subvokale ytringer (stille tale), er sannsynligvis mye mer realistisk enn en som leser tanker.

Gentner og teamet hans håper finkene deres vil bidra til å gjøre det mulig. Vi har demonstrert et [hjerne-maskin-grensesnitt] for et komplekst kommunikasjonssignal, ved å bruke en dyremodell for menneskelig tale, skriver de. De legger til at vår tilnærming også gir en verdifull prøveplass for biomedisinsk tale-proteseutstyr.

Med andre ord, vi er litt nærmere å sende tekstmeldinger fra hjernen vår.

gjemme seg