En radikal ny teknikk lar AI lære med praktisk talt ingen data

Et neshorn - en krysning mellom et neshorn og en enhjørning.

Det mytiske neshornet. Ms Tech / Pixabay





Maskinlæring krever vanligvis tonnevis av eksempler. For å få en AI-modell til å gjenkjenne en hest, må du vise den tusenvis av bilder av hester. Det er dette som gjør teknologien beregningsmessig dyr – og veldig forskjellig fra menneskelig læring. Et barn trenger ofte å se noen få eksempler på et objekt, eller til og med bare ett, før det kan gjenkjenne det for livet.

Faktisk trenger barn noen ganger ikke noen eksempler for å identifisere noe. Vist bilder av en hest og et neshorn, og fortalt at en enhjørning er en mellomting, kan de kjenne igjen den mytiske skapningen i en bildebok første gang de ser den.

Rhinocorn, en krysning mellom et neshorn og enhjørning

Hmm...ok, ikke helt.



MS TECH / PIXABAY

Nå til nytt papir fra University of Waterloo i Ontario foreslår at AI-modeller også bør kunne gjøre dette – en prosess forskerne kaller mindre enn one-shot, eller LO-shot, læring. En AI-modell skal med andre ord kunne gjenkjenne nøyaktig mer objekter enn antall eksempler den ble trent på. Det kan være en stor sak for et felt som har blitt stadig dyrere og utilgjengelig etter hvert som datasettene som brukes blir stadig større.

Hvordan mindre enn engangslæring fungerer

Forskerne demonstrerte først denne ideen mens de eksperimenterte med det populære datasettet for datasyn kjent som MNIST . MNIST, som inneholder 60 000 treningsbilder av håndskrevne sifre fra 0 til 9, brukes ofte til å teste ut nye ideer på feltet.

I en tidligere artikkel , MIT-forskere hadde introdusert en teknikk for å destillere gigantiske datasett til bittesmå, og som et proof of concept hadde de komprimert MNIST ned til bare 10 bilder. Bildene ble ikke valgt fra det originale datasettet, men nøye konstruert og optimalisert for å inneholde en tilsvarende mengde informasjon som hele settet. Som et resultat, når den ble trent utelukkende på de 10 bildene, kunne en AI-modell oppnå nesten samme nøyaktighet som en trent på alle MNISTs bilder.



Håndskrevne sifre mellom 0 og 9 samplet fra MNIST-datasettet.

Eksempelbilder fra MNIST-datasettet.

WIKIMEDIA Epler og appelsiner plottet på et diagram etter vekt og farge.

De 10 bildene 'destillert' fra MNIST som kan trene en AI-modell til å oppnå 94 % gjenkjenningsnøyaktighet på håndskrevne sifre.

TONGZHOU WANG ET AL.

Waterloo-forskerne ønsket å ta destillasjonsprosessen videre. Hvis det er mulig å krympe 60 000 bilder ned til 10, hvorfor ikke presse dem til fem? Trikset, innså de, var å lage bilder som blander flere sifre sammen og deretter mate dem inn i en AI-modell med hybride, eller myke, etiketter. (Tenk tilbake på en hest og et neshorn som har delvise trekk som en enhjørning.)



Hvis du tenker på sifferet 3, ser det også ut som sifferet 8, men ingenting som sifferet 7, sier Ilia Sucholutsky, doktorgradsstudent ved Waterloo og hovedforfatter av artikkelen. Myke etiketter prøver å fange opp disse delte funksjonene. Så i stedet for å fortelle maskinen, 'Dette bildet er sifferet 3', sier vi: 'Dette bildet er 60 % sifferet 3, 30 % sifferet 8, og 10 % sifferet 0.

Grensene for LO-skuddlæring

Så snart forskerne brukte myke etiketter for å oppnå LO-shot-læring på MNIST, begynte de å lure på hvor langt denne ideen faktisk kunne gå. Er det en grense for antall kategorier du kan lære en AI-modell å identifisere fra et lite antall eksempler?

Overraskende nok ser svaret ut til å være nei. Med nøye konstruerte myke etiketter kan til og med to eksempler teoretisk kode for et hvilket som helst antall kategorier. Med to poeng kan du skille tusen klasser eller 10 000 klasser eller en million klasser, sier Sucholutsky.



Ulike diagrammer som viser grenselinjene som plottes ut av en kNN-algoritme. Hvert diagram har flere og flere grenselinjer, alle kodet i bittesmå datasett.

Plotte epler (grønne og røde prikker) og appelsiner (oransje prikker) etter vekt og farge.

TILPASSET FRA JASON MAYES 'MACHINE LEARNING 101' SLIDEDEKK

Dette er hva forskerne demonstrerer i sin siste artikkel, gjennom en rent matematisk utforskning. De spiller ut konseptet med en av de enkleste maskinlæringsalgoritmene, kjent som k-nearest neighbors (kNN), som klassifiserer objekter ved hjelp av en grafisk tilnærming.

For å forstå hvordan kNN fungerer, ta oppgaven med å klassifisere frukt som et eksempel. Hvis du vil trene en kNN-modell for å forstå forskjellen mellom epler og appelsiner, må du først velge funksjonene du vil bruke for å representere hver frukt. Kanskje du velger farge og vekt, så for hvert eple og appelsin mater du kNN med ett datapunkt med fruktens farge som x-verdi og vekt som y-verdi. kNN-algoritmen plotter deretter alle datapunktene på et 2D-diagram og tegner en grenselinje rett ned på midten mellom eplene og appelsinene. På dette tidspunktet er plottet pent delt inn i to klasser, og algoritmen kan nå bestemme om nye datapunkter representerer det ene eller det andre basert på hvilken side av linjen de faller på.

For å utforske LO-shot-læring med kNN-algoritmen, skapte forskerne en serie små syntetiske datasett og konstruerte nøye de myke etikettene deres. Deretter lot de kNN plotte grenselinjene den så, og fant ut at den klarte å dele plottet opp i flere klasser enn datapunkter. Forskerne hadde også en høy grad av kontroll over hvor grenselinjene falt. Ved å bruke forskjellige justeringer av de myke etikettene kunne de få kNN-algoritmen til å tegne presise mønstre i form av blomster.

Forskerne brukte mykmerkede eksempler for å trene en kNN-algoritme til å kode stadig mer komplekse grenselinjer, og delte opp diagrammet i langt flere klasser enn datapunkter. Hvert av de fargede områdene på plottene representerer en annen klasse, mens kakediagrammene ved siden av hvert plott viser den myke etikettfordelingen for hvert datapunkt.

ILIA SUCHOLUTSKY ET AL.

Selvfølgelig har disse teoretiske utforskningene noen begrensninger. Mens ideen om LO-shot-læring bør overføres til mer komplekse algoritmer, blir oppgaven med å konstruere de myke-merkede eksemplene betydelig vanskeligere. kNN-algoritmen er tolkbar og visuell, noe som gjør det mulig for mennesker å designe etikettene; nevrale nettverk er kompliserte og ugjennomtrengelige, noe som betyr at det samme kanskje ikke er sant. Datadestillasjon, som fungerer for å designe mykmerkede eksempler for nevrale nettverk, har også en stor ulempe: det krever at du starter med et gigantisk datasett for å krympe det ned til noe mer effektivt.

Sucholutsky sier at han nå jobber med å finne ut andre måter å konstruere disse bittesmå syntetiske datasettene – enten det betyr å designe dem for hånd eller med en annen algoritme. Til tross for disse ekstra forskningsutfordringene gir imidlertid oppgaven det teoretiske grunnlaget for LO-skuddlæring. Konklusjonen er avhengig av hva slags datasett du har, du kan nok få massive effektivitetsgevinster, sier han.

Dette er det mest interesserte Tongzhou Wang, en MIT PhD-student som ledet den tidligere forskningen på datadestillasjon. Oppgaven bygger på et virkelig nytt og viktig mål: å lære kraftige modeller fra små datasett, sier han om Sucholutskys bidrag.

Ryan Khurana, en forsker ved Montreal AI Ethics Institute, gjenspeiler denne følelsen: Mest betydningsfullt, 'mindre enn ett' læring ville radikalt redusere datakravene for å få en fungerende modell bygget. Dette kan gjøre AI mer tilgjengelig for selskaper og bransjer som så langt har blitt hemmet av feltets datakrav. Det kan også forbedre personvernet, fordi mindre informasjon må trekkes ut fra enkeltpersoner for å trene opp nyttige modeller.

Sucholutsky understreker at forskningen fortsatt er tidlig, men han er spent. Hver gang han begynner å presentere papiret sitt for andre forskere, er deres første reaksjon å si at ideen er umulig, sier han. Når de plutselig innser at det ikke er det, åpner det opp en helt ny verden.

gjemme seg