211service.com
Altfor mange AI-forskere mener problemer i den virkelige verden ikke er relevante
Ms Tech | Getty
Enhver forsker som har fokusert på å bruke maskinlæring på problemer i den virkelige verden har sannsynligvis mottatt et svar som dette: Forfatterne presenterer en løsning for et originalt og svært motiverende problem, men det er en applikasjon og betydningen synes begrenset for maskinlæring. samfunnet.
Disse ordene er rett fra en anmeldelse jeg mottok for et papir jeg sendte inn til NeurIPS (Neural Information Processing Systems) konferanse , et toppsted for maskinlæringsforskning. Jeg har sett refrenget gang på gang i anmeldelser av artikler der medforfatterne mine og jeg presenterte en metode motivert av en søknad, og jeg har hørt lignende historier fra utallige andre.
Dette får meg til å lure på: Hvis fellesskapet føler at det å sikte på å løse reelle problemer med høy effekt med maskinlæring er av begrenset betydning, hva prøver vi da å oppnå?
De mål for kunstig intelligens (pdf) er å presse frem grensen til maskinintelligens. Innen maskinlæring betyr en ny utvikling vanligvis en ny algoritme eller prosedyre, eller - i tilfelle av dyp læring - en ny nettverksarkitektur. Som andre har påpekt, fører dette hyperfokuset på nye metoder til en plage av artikler som rapporterer marginale eller inkrementelle forbedringer på referansedatasett og utvis mangelfullt stipend (pdf) som forskere raser til toppen ledertavle .
I mellomtiden presenterer mange artikler som beskriver nye applikasjoner både nye konsepter og effektfulle resultater. Men selv et snev av ordet søknad ser ut til å ødelegge papiret for anmeldere. Som et resultat blir slik forskning marginalisert på store konferanser. Forfatterne deres eneste virkelige håp er å få papirene deres akseptert i workshops, som sjelden får den samme oppmerksomheten fra samfunnet.
Dette er et problem fordi maskinlæring har store løfter for å fremme helse, landbruk, vitenskapelige oppdagelser og mer. Den første bilde av et svart hull ble produsert ved hjelp av maskinlæring. Den mest nøyaktige spådommer av proteinstrukturer , et viktig skritt for legemiddeloppdagelse, er gjort ved hjelp av maskinlæring. Hvis andre i feltet hadde prioritert virkelige applikasjoner, hvilke andre banebrytende funn ville vi ha gjort nå?
Dette er ikke en ny åpenbaring. For å sitere et klassisk papir med tittelen Maskinlæring som betyr noe (pdf) , av NASA dataforsker Forlot Wagstaff f : Mye av nåværende maskinlæringsforskning har mistet forbindelsen til problemer med import til den større verden av vitenskap og samfunn. Samme år som Wagstaff publiserte papiret sitt, vant et konvolusjonelt nevralt nettverk kalt AlexNet en høyprofilert konkurranse for bildegjenkjenning sentrert om det populære ImageNet datasett, noe som fører til en eksplosjon av interesse for dyp læring . Dessverre ser det ut til at frakoblingen hun beskrev har blitt enda verre siden den gang.
Feil spørsmål
Marginalisering av applikasjonsforskning har reelle konsekvenser. Referansedatasett, for eksempel ImageNet eller KOKOSNØTT , har vært nøkkelen til å fremme maskinlæring. De gjør det mulig for algoritmer å trene og sammenlignes på samme data. Men disse datasettene inneholde skjevheter som kan bygges inn i de resulterende modellene.
Mer enn halvparten av bildene i ImageNet (pdf) kommer fra USA og Storbritannia, for eksempel. Denne ubalansen fører til at systemer unøyaktig klassifiserer bilder i kategorier som er forskjellige geografi (pdf) . Populære ansiktsdatasett, for eksempel AT&T-database over ansikter , inneholder primært lyshudede mannlige emner, noe som fører til systemer som sliter med å gjenkjenne mørkhudede og kvinnelige ansikter .
Mens forskere prøver å overgå hverandre på konstruerte målestokker, sulter én av ni mennesker i verden.
Når studier på virkelige anvendelser av maskinlæring er ekskludert fra mainstream, er det vanskelig for forskere å se virkningen av deres partiske modeller, noe som gjør det langt mindre sannsynlig at de vil jobbe for å løse disse problemene.
En grunn til at applikasjonsforskning minimeres kan være at andre innen maskinlæring tror dette arbeidet består i å bruke metoder som allerede eksisterer. I virkeligheten krever det imidlertid betydelig algoritmisk og ingeniørarbeid å tilpasse maskinlæringsverktøy til spesifikke problemer i den virkelige verden. Maskinlæringsforskere som ikke klarer å innse dette og forventer at verktøy skal fungere på hylla ender ofte opp med å lage ineffektive modeller. Enten evaluerer de en modells ytelse ved å bruke beregninger som ikke oversettes til virkelige effekter, eller så velger de helt feil mål.
For eksempel prøver de fleste studier som bruker dyp læring til ekkokardiogramanalyse å overgå en leges evne til å forutsi sykdom. Men forutsi vanlig hjertefunksjon (pdf) ville faktisk spare kardiologer mer tid ved å identifisere pasienter som ikke trenger deres ekspertise. Mange studier som bruker maskinlæring til vindyrking tar sikte på optimalisere drueutbyttet (pdf) , men vinprodusenter vil ha de riktige nivåene av sukker og syre, ikke bare massevis av store vannholdige bær, sier Drake Whitcraft til Whitcraft vingård i California.
Mer skade enn nytte
En annen grunn til at applikasjonsforskning bør ha betydning for mainstream maskinlæring, er at feltets referansedatasett er sørgelig ute av kontakt med virkeligheten.
Nye maskinlæringsmodeller måles mot store, kurerte datasett som mangler støy og har veldefinerte, eksplisitt merkede kategorier (katt, hund, fugl). Dyplæring gjør det bra for disse problemene fordi det antar en stort sett stabil verden (pdf) .
Men i den virkelige verden er disse kategoriene i konstant endring over tid eller i henhold til geografisk og kulturell kontekst. Dessverre har ikke svaret vært å utvikle nye metoder som adresserer vanskelighetene med data fra den virkelige verden; snarere har det vært et press for at applikasjonsforskere skal lage sine egne referansedatasett.
Målet med denne innsatsen er i hovedsak å presse virkelige problemer inn i paradigmet som andre maskinlæringsforskere bruker for å måle ytelse. Men de domenespesifikke datasettene er sannsynligvis ikke bedre enn eksisterende versjoner til å representere virkelige scenarier. Resultatene kan gjøre mer skade enn nytte. Folk som kan ha blitt hjulpet av disse forskernes arbeid vil bli desillusjonert av teknologier som presterer dårlig når det betyr mest.
På grunn av feltets feilorienterte prioriteringer, drar ikke folk som prøver å løse verdens største utfordringer så mye som de kunne av AIs virkelige løfte. Mens forskere prøver å overgå hverandre på konstruerte benchmarks, er én av niende mennesker i verden sulter . Jorden varmes opp og havnivået stiger i en alarmerende hastighet.
Som nevrovitenskapsmann og AI-tankeleder Gary Marcus skrev en gang (pdf) : AIs største bidrag til samfunnet ... kunne og bør til slutt komme innen domener som automatisert vitenskapelig oppdagelse, som blant annet fører til langt mer sofistikerte versjoner av medisin enn det som er mulig for øyeblikket. Men for å komme dit må vi sørge for at feltet som helhet ikke først blir sittende fast i et lokalt minimum.
For at verden skal dra nytte av maskinlæring, må samfunnet igjen spørre seg selv, som Wagstaff en gang sa det: Hva er feltets objektive funksjon? Hvis svaret skal ha en positiv innvirkning i verden, må vi endre måten vi tenker på søknader på.
Hannah Kerner er assisterende forskningsprofessor ved University of Maryland i College Park. Hun forsker på maskinlæringsmetoder for fjernmålingsapplikasjoner innen landbruksovervåking og matsikkerhet som en del av NASA Harvest program.