Hvorfor mennesker lærer raskere enn AI – foreløpig

I 2013 publiserte DeepMind Technologies, den gang et lite kjent selskap, en banebrytende artikkel som viser hvordan et nevralt nettverk kan lære å spille 1980-talls videospill slik mennesker gjør – ved å se på skjermen. Disse nettverkene fortsatte deretter med å slå de beste menneskelige spillerne.

Noen måneder senere kjøpte Google selskapet for 400 millioner dollar. DeepMind har siden brukt dyp læring i en rekke situasjoner, mest kjent for å utkonkurrere mennesker i det eldgamle spillet Go.

Men selv om dette arbeidet er imponerende, fremhever det en av de betydelige begrensningene ved dyp læring. Sammenlignet med mennesker tar maskiner som bruker denne teknologien enormt mye tid å lære. Hva er det med menneskelig læring som gjør at vi kan prestere så bra med relativt lite erfaring?

I dag får vi et slags svar takket være arbeidet til Rachit Dubey og kolleger ved University of California, Berkeley. De har studert måten mennesker samhandler med videospill for å finne ut hva slags forkunnskaper vi er avhengige av for å forstå dem.

Det viser seg at mennesker bruker et vell av bakgrunnskunnskap når vi tar på oss et nytt spill. Og dette gjør spillene betydelig enklere å spille. Men overfor spill som ikke gjør bruk av denne kunnskapen, flyndre mennesker, mens maskiner suser av sted på nøyaktig samme måte.

Ta en titt på dataspillet vist ovenfor til venstre (det originale spillet). Dette spillet er basert på en klassiker kalt Montezuma's Revenge, opprinnelig utgitt for Atari 8-bits datamaskin i 1984.

Det er ingen manual og ingen instruksjoner; du blir ikke engang fortalt hvilken sprite du kontrollerer. Og du får tilbakemelding bare hvis du fullfører spillet.

Ville du vært i stand til å gjøre det? Hvor lang tid ville det ta? Du kan prøv det på denne nettsiden (sammen med de andre spillene som er nevnt i avisen) .

Etter all sannsynlighet vil spillet ta deg omtrent et minutt, og i prosessen vil du sannsynligvis gjøre rundt 3000 tastaturhandlinger. Det var det Dubey og co fant da de ga spillet til 40 arbeidere fra Amazons crowdsourcingside Mechanical Turk, som ble tilbudt $1 for å fullføre det.

Dette er ikke altfor overraskende ettersom man lett kan gjette at spillets mål er å flytte robotspriten mot prinsessen ved å tråkke på de mursteinlignende gjenstandene og bruke stiger for å nå de høyere plattformene samtidig som man unngår de sinte rosa og brannobjektene, sier forskere.

Derimot er spillet vanskelig for maskiner: mange standard dyplæringsalgoritmer kunne ikke løse det i det hele tatt, fordi det ikke er noen måte for en algoritme å evaluere fremgang i spillet når tilbakemeldinger først kommer fra fullføring.

Den beste maskinutøveren var en nysgjerrighetsbasert forsterkningslæringsalgoritme som tok rundt fire millioner tastaturhandlinger for å fullføre spillet. Det tilsvarer omtrent 37 timer med kontinuerlig spilling.

Så hva gjør mennesker så mye bedre? Det viser seg at vi ikke nærmer oss dette spillet med et blankt ark. Et menneske vil se at han eller hun har kontroll over roboten, og at roboten bør unngå brann, klatre i stiger, hoppe over hull og unngå en rynket fiende for å nå prinsessen. Alt dette er takket være forkunnskaper om at enkelte gjenstander er gode mens andre (med rynker eller flammer) er dårlige, at plattformer støtter gjenstander mens stiger kan klatres, at ting som ser likt oppfører seg på samme måte, at tyngdekraften trekker gjenstander ned. , og til og med hva objekter er: ting som er atskilt fra andre ting og har forskjellige egenskaper.

Derimot vet en maskin ingenting om dette.

Så Dubey og co omformet spillet for å gjøre denne tidligere informasjonen irrelevant og målte deretter hvor lang tid det tok menneskelige Turkers å fullføre. Teamet antok da at enhver økning i denne tiden er en proxy for viktigheten av denne informasjonen.

Vi skapte forskjellige versjoner av videospillet ved å gjengi ulike enheter som stiger, fiender, nøkler, plattformer osv. ved å bruke alternative teksturer, forklarer de. De valgte disse teksturene for å maskere ulike former for forkunnskaper, og de endret fysiske egenskaper ved spillet, som effekten av tyngdekraften, og måten agenten interagerer med omgivelsene på. I hver versjon var den underliggende dynamikken i spillet den samme.

Resultatene gir fascinerende lesning. Vi finner at fjerning av noe forkunnskap fører til en drastisk degradering i hastigheten som menneskelige spillere løser spillet med, sier Dubey og co. Faktisk øker tiden det tar for mennesker å løse spillet fra et minutt til over 20 minutter ettersom forskjellige typer forhåndsinformasjon fjernes.

Fjerning av denne informasjonen gjør derimot vanligvis ingen forskjell for hastigheten som maskinalgoritmen lærer.

Teamet er til og med i stand til å rangere forskjellige typer informasjon i viktighet etter økningen i tid som fjerning av den forårsaker. Å fjerne objektsemantikk, for eksempel et rynkende ansikt eller ildsymbol, krever at menneskelige spillere bruker lengre tid før de er ferdige. Men å maskere objektbegrepet gjør ting så mye vanskeligere at mange tyrkere rett og slett nektet å spille. Vi måtte øke lønnen til $2,25 for å oppmuntre deltakerne til ikke å slutte, sier Dubey og co.

Denne rangeringen har en interessant kobling til måten mennesker lærer på. Psykologer har funnet ut at to måneder gamle babyer har en primitiv forestilling om objekter som de forventer å bevege seg som sammenhengende helheter. Men i denne alderen gjenkjenner ikke babyer objektkategorier.

Ved tre til fem måneders alder lærer spedbarn å gjenkjenne objektkategorier; etter 18 til 24 måneder lærer de å gjenkjenne individuelle gjenstander. Omtrent på dette tidspunktet lærer de også egenskapene til objekter (objektaffordanser, som psykologer kaller dem), og dermed lærer de forskjellen mellom et gangbart trinn langs flat mark og et unwalkable trinn utenfor en klippe.

Det viser seg at Dubey og cos eksperimenter rangerer denne typen lært informasjon i nøyaktig samme rekkefølge som babyer lærer den. Det er ganske interessant å merke seg at rekkefølgen som spedbarn øker kunnskapen i samsvarer med betydningen av ulike objektprioriteringer, sier de.

Vårt arbeid tar de første skritt mot å kvantifisere viktigheten av ulike forutsetninger som mennesker bruker for å løse videospill og for å forstå hvordan forkunnskaper gjør mennesker gode til så komplekse oppgaver, legger de til.

Det antyder en interessant vei videre for informatikere som jobber med maskinintelligens - å programmere ladningene sine med den samme grunnleggende kunnskapen som mennesker fanger opp i en tidlig alder. På denne måten skal maskiner kunne hamle opp med mennesker i deres lærehastighet, og kanskje til og med utkonkurrere dem.

Vi gleder oss til å se resultatene.

Ref: arxiv.org/abs/1802.10217 : Undersøker Human Priors for å spille videospill

gjemme seg