211service.com
Tankelesende algoritmer Rekonstruer det du ser ved å bruke hjerneskanningsdata
En sammenligning av teknikker for rekonstruksjon av hjernebilder. De originale bildene vises i den øverste raden, mens resultatene av den nye dypgenerative multivew-modellen vises i den nederste raden.
Et av de mer interessante målene innen nevrovitenskap er å rekonstruere oppfattede bilder ved å analysere hjerneskanninger. Tanken er å finne ut hva folk ser på ved å overvåke aktiviteten i deres visuelle cortex.
Vanskeligheten er selvfølgelig å finne måter å effektivt behandle dataene fra funksjonell magnetisk resonansavbildning (fMRI) skanninger. Oppgaven er å kartlegge aktiviteten i tredimensjonale voksler inne i hjernen til todimensjonale piksler i et bilde.
Det viser seg å være vanskelig. fMRI-skanninger er kjent for støyende, og aktiviteten i en voxel er velkjent for å være påvirket av aktivitet i andre voxel. Denne typen korrelasjon er beregningsmessig kostbar å håndtere; faktisk ignorerer de fleste tilnærminger det. Og det reduserer kvaliteten på bilderekonstruksjonene de produserer betydelig.
Så et viktig mål er å finne bedre måter å knuse dataene fra fMRI-skanninger på og dermed produsere mer nøyaktige rekonstruksjoner av hjernebilder.
I dag sier Changde Du ved Research Center for Brain-Inspired Intelligence i Beijing, Kina, og et par venner at de har utviklet nettopp en slik teknikk. Trikset deres er å behandle dataene ved å bruke dyplæringsteknikker som håndterer ikke-lineære korrelasjoner mellom voxels mer effektivt. Resultatet er en mye bedre måte å rekonstruere måten en hjerne oppfatter bilder på.
Changde og co starter med flere datasett med fMRI-skanninger av den visuelle cortexen til et menneske som ser på et enkelt bilde - for eksempel et enkelt siffer eller en enkelt bokstav. Hvert datasett består av skanningene og originalbildet.
Oppgaven er å finne en måte å bruke fMRI-skanningene for å reprodusere det oppfattede bildet. Totalt har teamet tilgang til over 1800 fMRI-skanninger og originalbilder.
De behandler dette som en enkel dyp læringsoppgave. De bruker 90 prosent av dataene til å trene nettverket til å forstå sammenhengen mellom hjerneskanningen og originalbildet.
De tester deretter nettverket på gjenværende data ved å mate det med skanningene og be det rekonstruere de originale bildene.
Den store fordelen med denne tilnærmingen er at nettverket lærer hvilke voksler som skal brukes for å rekonstruere bildet. Det unngår behovet for å behandle dataene fra dem alle.
Den lærer også hvordan dataene fra disse vokslene er korrelert. Det er viktig fordi hvis korrelasjonene ignoreres, ender de opp med å bli behandlet som støy og kastet. Så den nye tilnærmingen – den såkalte dypgenerative multiview-modellen – utnytter disse korrelasjonene og skiller dem fra ekte støy.
For å evaluere den dype generative multiview-modellen, sammenligner Changde og co resultatene fra resultatene fra en rekke andre teknikker for rekonstruksjon av hjernebilder. De gjør dette ved å bruke standard bildesammenligningsmetoder for å se hvor tett de rekonstruerte bildene samsvarer med originalene.
Resultatene gir interessant lesning. Generelt er de rekonstruerte bildene klare representasjoner av originalene. I mange tilfeller er de betydelig mer nøyaktige enn andre teknikker kan klare.
Bildesammenligningsberegningene bekrefter dette. Omfattende eksperimentelle sammenligninger viser at vår tilnærming kan rekonstruere visuelle bilder fra fMRI-målinger mer nøyaktig, sier Changde og co.
Det er interessant arbeid med betydelige implikasjoner. Evnen til å rekonstruere hjernebilder er et viktig springbrett i arbeidet med å skape bedre hjerne-maskin-grensesnitt. De neste trinnene vil inkludere måter å analysere mer komplekse scener og bevegelige bilder på. Changde og co sier at deres tilnærming også kan brukes på andre hjernekodingsproblemer som lyd og fysiske oppgaver.
Utover det, hvem vet. Herfra er det bare et kort fantasifullt sprang til hjerneskanningsteknikker som avslører hva folk tenker eller drømmer. Bare se for deg!
Ref: arxiv.org/abs/1704.07575 : Deling av dyp generativ representasjon for oppfattet bilderekonstruksjon fra menneskelig hjerneaktivitet