Hvorfor selv en mølls hjerne er smartere enn en AI

En av de merkelige egenskapene til de dype nevrale nettverkene bak maskinlæring er at de er overraskende forskjellige fra nevrale nettverk i biologiske systemer. Selv om det er likheter, har noen kritiske maskinlæringsmekanismer ingen analog i den naturlige verden, der læring ser ut til å skje på en annen måte.

Disse forskjellene forklarer sannsynligvis hvorfor maskinlæringssystemer ligger så langt bak de naturlige i noen aspekter av ytelsen. Insekter, for eksempel, kan gjenkjenne lukt etter bare en håndfull eksponeringer. Maskiner, på den annen side, trenger enorme treningsdatasett for å lære. Dataforskere håper at å forstå mer om naturlige former for læring vil hjelpe dem å lukke gapet.

Gå inn på Charles Delahunt og kolleger ved University of Washington i Seattle, som har skapt et kunstig nevralt nettverk som etterligner strukturen og oppførselen til det olfaktoriske læringssystemet i fredag ​​manduca møll. De sier at systemet deres gir viktig innsikt i måten naturlige nettverk lærer på, med potensielle implikasjoner for maskiner.

Først litt bakgrunn. Luktlæringssystemet hos møll er relativt enkelt og godt kartlagt av nevrovitenskapsmenn. Den består av fem forskjellige nettverk som sender informasjon videre fra det ene til det neste.

Det første er et system med rundt 30 000 kjemiske reseptorer som oppdager lukt og sender et ganske støyende sett med signaler til neste nivå, kjent som antenneloben. Denne inneholder omtrent 60 enheter, kjent som glomeruli, som hver fokuserer på spesifikke lukter.

Antennelappen sender deretter nevrale luktkoder til soppkroppen, som inneholder rundt 4000 kenyonceller og antas å kode lukt som minner.

Til slutt blir resultatet lest opp av et lag med ytre nevroner, som teller i 10-årene. Disse tolker signalene fra soppkroppen som handlinger, som å fly mot vinden.

Flere aspekter ved dette systemet er helt forskjellige fra det som finnes i maskinlæringsnettverk. For eksempel koder antenneloben informasjon i et lavdimensjonalt parameterrom, men sender det til soppkroppen, som koder den i et høydimensjonalt parameterrom. Derimot har lagene i kunstige nevrale nettverk en tendens til å ha lignende dimensjoner.

Og hos møll utløser den vellykkede gjenkjennelsen av en lukt en belønningsmekanisme der nevroner sprayer en kjemisk nevrotransmitter kalt oktopamin inn i antennelappen og soppkroppen.

Dette er en avgjørende del av læringsprosessen. Oktopamin ser ut til å bidra til å forsterke nevrale ledninger som fører til suksess. Det er en sentral del av hebbisk læring, der celler som fyrer sammen kobler sammen. Nevroforskere har faktisk lenge visst at møll ikke lærer uten oktopamin. Men rollen den spiller er ikke godt forstått.

Læring i maskiner er veldig forskjellig. Den er avhengig av en prosess som kalles backpropagation, som justerer de nevrale forbindelsene på en måte som forbedrer resultatene. Men informasjon går i hovedsak bakover gjennom nettverket i denne prosessen, og det er ingen kjent analog av den i naturen.

For bedre å forstå måten møll lærer på, skapte Delahunt og co et kunstig nevralt nettverk som etterligner oppførselen til den naturlige. Vi konstruerte en ende-til-ende beregningsmodell av fredag ​​manduca møllolfaktoriske system som inkluderer interaksjonen mellom antennelappen og soppkroppen under oktopaminstimulering, sier de.

Modellen er spesielt designet for å reprodusere oppførselen til det naturlige systemet på alle nivåer. Spesielt simulerer modellen de støyende signalene som genereres av luktreseptorene og endringen i dimensjon når informasjon strømmer fra antennelappen til soppkroppen, og den inkluderer en analog av rollen som oktopamin spiller.

Og resultatene gir interessant lesning. Modellen viser hvordan luktreseptorene produserer et støyende signal som forhåndsforsterkes av antenneloben. Men endringen i dimensjon når signalet går til soppkroppen har effekten av å fjerne støy, og dette lar systemet generere spesifikke, entydige handlingssignaler som å fly mot vinden.

Rollen til oktopamin ser også klarere ut. Simuleringene viser at læring kan skje uten oktopamin, men den er så sakte at den er ubrukelig. Dette innebærer at oktopamin fungerer som en kraftig akselerator for læring.

Men akkurat hvordan det gjør dette er fortsatt opp til diskusjon. Delahunt og co har sine egne ideer. Kanskje det er en mekanisme som gjør at møllen kan omgå iboende organiske begrensninger på hebbisk vekst av nye synapser, begrensninger som ellers ville begrense møllen til en uakseptabel langsom læringshastighet, foreslår de.

Oktopamin har også en annen rolle. Hebbisk læring forsterker bare forbindelser som allerede eksisterer, og det reiser spørsmålet om hvordan nye ledninger oppstår. Delahunt og co sier at oktopamin åpner nye sendekanaler for kabling. Dette utvider løsningsrommet systemet kan utforske under læring, sier de.

Og mest imponerende er at det simulerte nettverket lærer på en lignende måte som det naturlige nettverket. Modellen vår er i stand til robust å lære nye lukter, og simuleringene våre av integrer-og-fyr-neuroner samsvarer med de statistiske egenskapene til in vivo-skytehastighetsdata, sier Delahunt og co.

Dette arbeidet kan ha betydelige implikasjoner for utformingen av syntetiske nevrale nettverk som trenger å lære raskt. Fra et maskinlæringsperspektiv gir modellen bioinspirerte mekanismer som potensielt er nyttige for å konstruere nevrale nett for rask læring fra svært få prøver, sier teamet.

Så fremtidens maskinlæringsnettverk kan snart inneholde simulerte versjoner av oktopamin og andre nevrotransmittere.

Selvfølgelig er det ikke bare i å lære at nevrotransmittere er viktige. Nevrovitenskapsmenn er godt klar over rollen de spiller i følelser, humørregulering og så videre. Der ligger en annen forskningsvei som maskinlæringsteam vil være interessert i å utforske.

Ref: arxiv.org/abs/1802.02678 : Biologiske mekanismer for læring: En beregningsmodell for olfaktorisk læring i Manduca sexta Moth, med applikasjoner til nevrale nett

gjemme seg