211service.com
Transkribere stemmen i hodet ditt
Lorrie Lejeune / MIT
MIT-forskere har utviklet et datagrensesnitt som kan transkribere ord brukeren verbaliserer internt, men som faktisk ikke snakker høyt.
Elektroder i den bærbare enheten fanger opp nevromuskulære signaler i kjeven og ansiktet som utløses av å si ord i hodet ditt, men som ikke kan oppdages for det menneskelige øyet. Signalene blir matet til et maskinlæringssystem som er opplært til å korrelere bestemte signaler med bestemte ord.
Enheten, kalt AlterEgo, inkluderer også beinledningshodetelefoner, som overfører vibrasjoner gjennom ansiktsbein til det indre øret. Fordi hodetelefonene ikke blokkerer øregangen, kan systemet formidle informasjon uten å avbryte samtalen eller forstyrre den auditive opplevelsen.
AlterEgo tilbyr en privat og diskret kanal for å overføre og motta informasjon, la brukere gjøre ting som uoppdagelig posere og motta svar på vanskelige beregningsproblemer eller stille rapportering av motstanderes trekk i et sjakkspill og like stille motta datamaskin-anbefalte svar.
Vi kan i bunn og grunn ikke leve uten mobiltelefonene våre, sier Pattie Maes, professor i mediekunst og vitenskap og avhandlingsrådgiver for Arnav Kapur, Media Lab-studenten som ledet utviklingen av systemet. Men for øyeblikket er bruken av disse enhetene veldig forstyrrende. Hvis jeg vil slå opp noe som er relevant for en samtale jeg har, må jeg finne telefonen min og skrive inn passordet og åpne en app og skrive inn et søkeord. Målet med AlterEgo var å bygge et ikke-invasivt intelligensforsterkningssystem som ville være fullstendig kontrollert av brukeren.
Ideen om at interne verbaliseringer har fysiske korrelater har eksistert siden 1800-tallet, og den ble seriøst undersøkt på 1950-tallet. Et mål med hurtiglesingsbevegelsen på 1960-tallet var å eliminere denne subvokaliseringen, som den er kjent.
Men subvokalisering som datagrensesnitt er stort sett uutforsket. For å finne ut hvilke ansiktsplasseringer som gir de mest pålitelige nevromuskulære signalene, festet forskerne 16 elektroder til forskningspersonenes ansikter og fikk dem til å subvokalisere den samme serien med ord fire ganger.
Forskerne skrev kode for å analysere de resulterende dataene og fant at signaler fra syv elektrodeplasseringer konsekvent var i stand til å skille subvokaliserte ord. I en artikkel de presenterte på Association for Computing Machinerys ACM Intelligent User Interface-konferanse, beskrev de en prototype av et bærbart grensesnitt for lydløs tale, som vikler seg rundt nakken som et telefonhodesett og har tentakellignende buede vedheng som berører ansiktet på syv steder på hver side av munnen og langs kjevene.
Men i påfølgende eksperimenter oppnådde forskerne sammenlignbare resultater ved å bruke bare fire elektroder langs en kjeve, noe som kan gi en mindre påtrengende enhet.
Etter å ha valgt elektrodeplasseringene, samlet forskerne inn data om noen få beregningsoppgaver med vokabularer på omtrent 20 ord hver. Den ene var aritmetikk, der brukeren subvokaliserte store addisjons- eller multiplikasjonsproblemer; en annen var sjakkapplikasjonen, der brukeren rapporterte trekk ved å bruke standard sjakknummereringssystem.
Deretter brukte de for hver applikasjon en nevrale nettverket å finne sammenhenger mellom bestemte nevromuskulære signaler og bestemte ord.
Ved å bruke prototypegrensesnittet gjennomførte forskerne en brukervennlighetsstudie der 10 forsøkspersoner brukte omtrent 15 minutter på å tilpasse den aritmetiske applikasjonen til sin egen nevrofysiologi og ytterligere 90 minutter på å bruke den til å utføre beregninger. I den studien var transkripsjonsnøyaktigheten i gjennomsnitt omtrent 92 prosent. Men, sier Kapur, ytelsen bør forbedres med mer treningsdata, som kan samles inn under vanlig bruk.
I det pågående arbeidet samler forskerne inn data om mer forseggjorte samtaler, i håp om å bygge applikasjoner med mye mer ekspansivt vokabular. Sier Kapur, jeg tror vi vil oppnå full samtale en dag.