211service.com
Dyp læring kan avsløre hvorfor verden fungerer som den gjør
Et bilde av dominobrikker som velter Getty
Denne uken har AI-forskningsmiljøet samlet seg i New Orleans for Internasjonal konferanse om læringsrepresentasjoner (ICLR, uttales eye-clear), en av de største årlige konferansene. Det er over 3000 deltakere og 1500 papirinnleveringer, noe som gjør det til et av de viktigste foraene for å utveksle nye ideer innen feltet.
I år er foredragene og de aksepterte papirene sterkt fokusert på å takle fire store utfordringer innen dyp læring: rettferdighet, sikkerhet, generaliserbarhet og årsakssammenheng. Hvis du har fulgt med på dekningen til MIT Technology Review, vil du kjenne igjen de tre første. Vi har snakket om hvordan maskinlæringsalgoritmer i deres nåværende tilstand er partiske, mottakelige for motstandsangrep og utrolig begrenset i deres evne til å generalisere mønstrene de finner i et treningsdatasett for flere applikasjoner. Nå er forskningsmiljøet opptatt med å gjøre teknologien sofistikert nok til å dempe disse svakhetene.
Det vi ikke har snakket så mye om er den siste utfordringen: kausalitet. Dette er noe forskere har undret seg over en stund. Maskinlæring er flott til å finne korrelasjoner i data, men kan det noen gang finne ut årsakssammenheng ? En slik prestasjon ville være en enorm milepæl: Hvis algoritmer kunne hjelpe oss med å kaste lys over årsakene og virkningene av ulike fenomener i komplekse systemer, ville de utdype vår forståelse av verden og låse opp kraftigere verktøy for å påvirke den.
På mandag, til et fullsatt rom, la den anerkjente forsker Léon Bottou, nå ved Facebooks AI-forskningsenhet og New York University, et nytt rammeverk som han har jobbet med med samarbeidspartnere for hvordan vi kan komme dit. Her er min oppsummering av foredraget hans. Du kan også se den i sin helhet nedenfor, fra ca. 12:00.
Idé #1
Eksempelbilder fra MNIST-datasettet. Wikipedia
La oss begynne med Bottou og teamets første store idé: en ny måte å tenke kausalitet på. Si at du vil bygge et datasynssystem som gjenkjenner håndskrevne tall. (Dette er en klassisk introduksjonsoppgave som bruker det allment tilgjengelige MNIST-datasettet avbildet ovenfor.) Du vil trene et nevralt nettverk på tonnevis av bilder av håndskrevne tall, hver merket med nummeret de representerer, og ende opp med et ganske anstendig system for å gjenkjenne nye det aldri hadde sett før.
Men la oss si at treningsdatasettet ditt er litt modifisert og at hvert av de håndskrevne tallene også har en farge – rød eller grønn – knyttet til seg. Utsett vantroen din et øyeblikk og forestill deg at du ikke vet om fargen eller formen på markeringene er en bedre prediktor for sifferet. Standard praksis i dag er å ganske enkelt merke hver del av treningsdataene med begge funksjonene og mate dem inn i det nevrale nettverket slik at det kan bestemme.
Prøver fra et farget MNIST-datasett. Léon Bottou
Her blir ting interessant. Det fargede MNIST-datasettet er med vilje villedende. Tilbake i den virkelige verden vet vi at fargen på markeringene er helt irrelevant, men i akkurat dette datasettet er fargen faktisk en sterkere prediktor for sifferet enn formen. Så vårt nevrale nettverk lærer å bruke farge som den primære prediktoren. Det er greit når vi deretter bruker nettverket til å gjenkjenne andre håndskrevne tall som følger de samme fargemønstrene. Men ytelsen tanker fullstendig når vi snur fargene på tallene. (Da Bottou og hans samarbeidspartnere spilte ut dette tankeeksperimentet med ekte treningsdata og et ekte nevralt nettverk, oppnådde de 84,3 % gjenkjenningsnøyaktighet i det førstnevnte scenariet og 10 % nøyaktighet i sistnevnte.)
Det nevrale nettverket fant med andre ord det Bottou kaller en falsk korrelasjon, som gjør det helt ubrukelig utenfor den snevre konteksten det ble trent innenfor. I teorien, hvis du kunne kvitte deg med alle de falske korrelasjonene i en maskinlæringsmodell, ville du sitte igjen med bare de invariante - de som stemmer uavhengig av kontekst.
Invarians vil igjen tillate deg å forstå kausalitet, forklarer Bottou. Hvis du kjenner de invariante egenskapene til et system og kjenner intervensjonen som utføres på et system, bør du kunne utlede konsekvensen av den intervensjonen. For eksempel, hvis du vet at formen til et håndskrevet siffer alltid dikterer betydningen, kan du antyde at å endre formen (årsaken) vil endre betydningen (effekten). Et annet eksempel: hvis du vet at alle objekter er underlagt tyngdeloven, så kan du slutte at når du slipper en ball (årsak), vil den falle til bakken (effekt).
Selvfølgelig er dette enkle årsak-og-virkning-eksempler basert på invariante egenskaper vi allerede kjenner, men tenk hvordan vi kan bruke denne ideen på mye mer komplekse systemer som vi ennå ikke forstår. Hva om vi kunne finne de invariante egenskapene til våre økonomiske systemer, for eksempel, slik at vi kunne forstå effektene av å implementere universell grunninntekt? Eller de invariante egenskapene til jordens klimasystem, slik at vi kunne evaluere virkningen av ulike geoingeniør-triks?
Idé #2
Så hvordan blir vi kvitt disse falske korrelasjonene? Dette er Bottous teams andre store idé. I dagens maskinlæringspraksis er standardintuisjonen å samle så mye mangfoldig og representativ data som mulig i et enkelt treningssett. Men Bottou sier at denne tilnærmingen gjør en bjørnetjeneste. Ulike data som kommer fra ulike kontekster – enten de er samlet inn til forskjellige tider, på forskjellige steder eller under forskjellige eksperimentelle forhold – bør bevares som separate sett i stedet for å blandes og kombineres. Når de konsolideres, slik de er nå, går viktig kontekstuell informasjon tapt, noe som fører til mye høyere sannsynlighet for falske korrelasjoner.
Med flere kontekstspesifikke datasett er trening av et nevralt nettverk veldig forskjellig. Nettverket kan ikke lenger finne korrelasjonene som bare gjelder i ett enkelt mangfoldig treningsdatasett; den må finne korrelasjonene som er invariante på tvers av alle de forskjellige datasettene. Og hvis disse settene velges smart fra et fullt spekter av sammenhenger, bør de endelige korrelasjonene også samsvare nøye med de invariante egenskapene til grunnsannheten.
Så la oss gå tilbake til vårt enkle fargede MNIST-eksempel en gang til. Med utgangspunkt i teorien deres for å finne invariante egenskaper, kjørte Bottou og samarbeidspartnere sitt opprinnelige eksperiment på nytt. Denne gangen brukte de to fargede MNIST-datasett, hver med forskjellige fargemønstre. De trente deretter det nevrale nettverket sitt for å finne korrelasjonene som gjaldt på tvers av begge gruppene. Da de testet denne forbedrede modellen på nye tall med samme og reverserte fargemønstre, oppnådde den 70 % gjenkjenningsnøyaktighet for begge. Resultatene viste at det nevrale nettverket hadde lært å se bort fra farger og fokusere på markeringenes former alene.
Bottou sier at teamets arbeid med disse ideene ikke er ferdig, og at det vil ta forskermiljøet litt tid å teste teknikkene på problemer som er mer kompliserte enn fargede tall. Men rammeverket antyder potensialet til dyp læring for å hjelpe oss å forstå hvorfor ting skjer, og dermed gi oss mer kontroll over våre skjebner.