Den mørke hemmeligheten i hjertet av AI

Ingen vet egentlig hvordan de mest avanserte algoritmene gjør det de gjør. Det kan være et problem. Av

• Will Knight arkivside

11. april 2017

Keith Rankin

I fjor ble en merkelig selvkjørende bil sluppet ut på de stille veiene i Monmouth County, New Jersey. Eksperimentkjøretøyet, utviklet av forskere ved brikkeprodusenten Nvidia, så ikke annerledes ut enn andre autonome biler, men det var ulikt noe som ble demonstrert av Google, Tesla eller General Motors, og det viste den økende kraften til kunstig intelligens. Bilen fulgte ikke en eneste instruksjon gitt av en ingeniør eller programmerer. I stedet stolte den helt på en algoritme som hadde lært seg å kjøre bil ved å se et menneske gjøre det.

Å få en bil til å kjøre på denne måten var en imponerende bragd. Men det er også litt urovekkende, siden det ikke er helt klart hvordan bilen tar sine avgjørelser. Informasjon fra kjøretøyets sensorer går rett inn i et enormt nettverk av kunstige nevroner som behandler dataene og deretter leverer kommandoene som kreves for å betjene rattet, bremsene og andre systemer. Resultatet ser ut til å samsvare med svarene du forventer fra en menneskelig sjåfør. Men hva om den en dag gjorde noe uventet – krasjet i et tre eller satt ved grønt lys? Slik situasjonen er nå, kan det være vanskelig å finne ut hvorfor. Systemet er så komplisert at selv ingeniørene som designet det kan slite med å isolere årsaken til en enkelt handling. Og du kan ikke spørre det: det er ingen åpenbar måte å designe et slikt system slik at det alltid kan forklare hvorfor det gjorde som det gjorde.

Denne historien var en del av vår mai 2017-utgave

• Se resten av saken
• Abonnere

Det mystiske sinnet til dette kjøretøyet peker på et truende problem med kunstig intelligens . Bilens underliggende AI-teknologi, kjent som dyp læring, har vist seg å være svært effektiv til å løse problemer de siste årene, og den har blitt mye brukt for oppgaver som bildeteksting, stemmegjenkjenning og språkoversettelse. Det er nå håp om at de samme teknikkene vil være i stand til å diagnostisere dødelige sykdommer, ta handelsbeslutninger for millioner dollar og gjøre utallige andre ting for å transformere hele industrier.

Men dette vil ikke skje – eller bør ikke skje – med mindre vi finner måter å gjøre teknikker som dyp læring mer forståelige for skaperne og ansvarlige overfor brukerne deres. Ellers vil det være vanskelig å forutsi når feil kan oppstå - og det er uunngåelig at de vil. Det er en grunn til at Nvidias bil fortsatt er eksperimentell.

Allerede brukes matematiske modeller for å finne ut hvem som får prøveløslatelse, hvem som er godkjent for et lån og hvem som blir ansatt for en jobb. Hvis du kunne få tilgang til disse matematiske modellene, ville det vært mulig å forstå resonnementet deres. Men banker, militæret, arbeidsgivere og andre retter nå oppmerksomheten mot mer komplekse maskinlæringstilnærminger som kan gjøre automatisert beslutningstaking helt uutgrunnelig. Dyplæring, den vanligste av disse tilnærmingene, representerer en fundamentalt annerledes måte å programmere datamaskiner på. Det er et problem som allerede er aktuelt, og det kommer til å bli mye mer relevant i fremtiden, sier Tommi Jaakkola, professor ved MIT som jobber med anvendelser av maskinlæring. Enten det er en investeringsbeslutning, en medisinsk avgjørelse eller kanskje en militær beslutning, vil du ikke bare stole på en 'black box'-metode.

Det er allerede et argument om at det å kunne avhøre et AI-system om hvordan det kom til konklusjonene er en grunnleggende juridisk rett. Fra sommeren 2018 kan EU kreve at bedrifter kan gi brukerne en forklaring på beslutninger som automatiserte systemer når. Dette kan være umulig, selv for systemer som virker relativt enkle på overflaten, for eksempel apper og nettsteder som bruker dyp læring for å vise annonser eller anbefale sanger. Datamaskinene som kjører disse tjenestene har programmert seg selv, og de har gjort det på måter vi ikke kan forstå. Selv ingeniørene som bygger disse appene kan ikke fullstendig forklare oppførselen deres.

Dette reiser ufattelige spørsmål. Etter hvert som teknologien utvikler seg, kan vi snart krysse en terskel utover hvilken bruk av AI krever et trossprang. Visst, vi mennesker kan ikke alltid forklare tankeprosessene våre heller - men vi finner måter å intuitivt stole på og måle mennesker på. Vil det også være mulig med maskiner som tenker og tar avgjørelser annerledes enn et menneske ville gjort? Vi har aldri før bygget maskiner som fungerer på måter skaperne deres ikke forstår. Hvor godt kan vi forvente å kommunisere – og komme overens med – intelligente maskiner som kan være uforutsigbare og uutgrunnelige? Disse spørsmålene tok meg med på en reise til den blødende kanten av forskning på AI-algoritmer, fra Google til Apple og mange steder i mellom, inkludert et møte med en av vår tids store filosofer.

Kunstneren Adam Ferriss laget dette bildet, og bildet nedenfor, ved å bruke Google Deep Dream, et program som justerer et bilde for å stimulere mønstergjenkjenningsevnen til et dypt nevralt nettverk. Bildene ble produsert ved å bruke et mellomnivålag av det nevrale nettverket. Adam Ferriss

I 2015 ble en forskergruppe ved Mount Sinai Hospital i New York inspirert til å bruke dyp læring på sykehusets enorme database med pasientjournaler. Dette datasettet inneholder hundrevis av variabler om pasienter, hentet fra deres testresultater, legebesøk og så videre. Det resulterende programmet, som forskerne kalte Deep Patient, ble trent ved hjelp av data fra rundt 700 000 individer, og når det ble testet på nye poster, viste det seg utrolig godt til å forutsi sykdom. Uten noen ekspertinstruksjoner hadde Deep Patient oppdaget mønstre skjult i sykehusdataene som så ut til å indikere når folk var på vei til et bredt spekter av plager, inkludert leverkreft. Det er mange metoder som er ganske gode til å forutsi sykdom fra en pasients journaler, sier Joel Dudley, som leder Mount Sinai-teamet. Men, legger han til, dette var bare mye bedre.

Vi kan bygge disse modellene, men vi vet ikke hvordan de fungerer.

Samtidig er Deep Patient litt forvirrende. Det ser ut til å forutse utbruddet av psykiatriske lidelser som schizofreni overraskende godt. Men siden schizofreni er notorisk vanskelig for leger å forutsi, lurte Dudley på hvordan dette var mulig. Han vet fortsatt ikke. Det nye verktøyet gir ingen anelse om hvordan det gjør dette. Hvis noe som Deep Patient faktisk kommer til å hjelpe leger, vil det ideelt sett gi dem begrunnelsen for spådommen, for å forsikre dem om at den er nøyaktig og for å rettferdiggjøre for eksempel en endring i medisinene noen blir foreskrevet. Vi kan bygge disse modellene, sier Dudley bedrøvet, men vi vet ikke hvordan de fungerer.

Kunstig intelligens har ikke alltid vært slik. Fra begynnelsen var det to tanker om hvor forståelig, eller forklarlig, AI burde være. Mange mente det var mest fornuftig å bygge maskiner som resonnerte i henhold til regler og logikk, og gjorde deres indre funksjoner gjennomsiktige for alle som brydde seg om å undersøke litt kode. Andre mente at intelligens lettere ville dukke opp hvis maskiner hentet inspirasjon fra biologi, og lærte ved å observere og oppleve. Dette betydde å snu dataprogrammering på hodet. I stedet for at en programmerer skriver kommandoene for å løse et problem, genererer programmet sin egen algoritme basert på eksempeldata og en ønsket utgang. Maskinlæringsteknikkene som senere skulle utvikle seg til dagens kraftigste AI-systemer fulgte sistnevnte vei: maskinen programmerer i hovedsak seg selv.

Til å begynne med var denne tilnærmingen av begrenset praktisk nytte, og på 1960- og 70-tallet forble den stort sett begrenset til utkanten av feltet. Da fornyet databehandlingen av mange bransjer og fremveksten av store datasett interessen. Det inspirerte utviklingen av kraftigere maskinlæringsteknikker, spesielt nye versjoner av en kjent som det kunstige nevrale nettverket. På 1990-tallet kunne nevrale nettverk automatisk digitalisere håndskrevne tegn.

Men det var først i begynnelsen av dette tiåret, etter flere smarte justeringer og forbedringer, at veldig store – eller dype – nevrale nettverk viste dramatiske forbedringer i automatisert persepsjon. Dyplæring er ansvarlig for dagens eksplosjon av AI. Det har gitt datamaskiner ekstraordinære krefter, som evnen til å gjenkjenne talte ord nesten like godt som en person kunne, en ferdighet for kompleks til å kode inn i maskinen for hånd. Dyplæring har transformert datasyn og dramatisk forbedret maskinoversettelse. Den brukes nå til å veilede alle slags viktige beslutninger innen medisin, finans, produksjon – og videre.

Adam Ferriss

Virkningen til enhver maskinlæringsteknologi er iboende mer ugjennomsiktig, selv for informatikere, enn et håndkodet system. Dette er ikke å si at alle fremtidige AI-teknikker vil være like ukjente. Men i sin natur er dyp læring en spesielt mørk svart boks.

Du kan ikke bare se inn i et dypt nevralt nettverk for å se hvordan det fungerer. Et nettverks resonnement er innebygd i oppførselen til tusenvis av simulerte nevroner, arrangert i dusinvis eller til og med hundrevis av intrikat sammenkoblede lag. Nevronene i det første laget mottar hver et input, som intensiteten til en piksel i et bilde, og utfører deretter en beregning før de sender ut et nytt signal. Disse utgangene mates, i en kompleks vev, til nevronene i neste lag, og så videre, inntil en samlet utgang er produsert. I tillegg er det en prosess kjent som back-propagation som justerer beregningene av individuelle nevroner på en måte som lar nettverket lære å produsere en ønsket utgang.

De mange lagene i et dypt nettverk gjør det mulig å gjenkjenne ting på forskjellige abstraksjonsnivåer. I et system designet for å gjenkjenne hunder, for eksempel, gjenkjenner de nedre lagene enkle ting som konturer eller farger; høyere lag gjenkjenner mer komplekse ting som pels eller øyne; og det øverste laget identifiserer det hele som en hund. Den samme tilnærmingen kan grovt sett brukes på andre innganger som får en maskin til å lære seg selv: lydene som utgjør ord i tale, bokstavene og ordene som skaper setninger i tekst, eller rattbevegelsene som kreves for å kjøre.

Det kan være en del av intelligensens natur at bare en del av den blir utsatt for rasjonell forklaring. Noe av det er bare instinktivt.

Geniale strategier har blitt brukt for å prøve å fange opp og dermed forklare mer detaljert hva som skjer i slike systemer. I 2015 modifiserte forskere ved Google en dyplæringsbasert bildegjenkjenningsalgoritme slik at den i stedet for å oppdage objekter i bilder, genererte eller modifiserte dem. Ved å effektivt kjøre algoritmen i revers, kan de oppdage funksjonene programmet bruker for å gjenkjenne for eksempel en fugl eller bygning. De resulterende bilder , produsert av et prosjekt kjent som Deep Dream, viste groteske, alien-lignende dyr som dukker opp fra skyer og planter, og hallusinatoriske pagoder som blomstrer over skoger og fjellkjeder. Bildene beviste at dyp læring ikke trenger å være helt uutgrunnelig; de avslørte at algoritmene har kjente visuelle funksjoner som et fuglenebb eller fjær. Men bildene antydet også hvor forskjellig dyp læring er fra menneskelig persepsjon, ved at det kan gjøre noe ut av en artefakt som vi vet å ignorere. Google-forskere bemerket at når algoritmen genererte bilder av en manual, genererte den også en menneskelig arm som holdt den. Maskinen hadde konkludert med at en arm var en del av greia.

Ytterligere fremgang har blitt gjort ved å bruke ideer lånt fra nevrovitenskap og kognitiv vitenskap. Et team ledet av Jeff Clune, en assisterende professor ved University of Wyoming, har brukt AI-ekvivalenten til optiske illusjoner for å teste dype nevrale nettverk. I 2015 viste Clunes gruppe hvordan visse bilder kunne lure et slikt nettverk til å oppfatte ting som ikke er der, fordi bildene utnytter lavnivåmønstrene systemet søker etter. En av Clunes samarbeidspartnere, Jason Yosinski, bygde også et verktøy som fungerer som en sonde som sitter fast i en hjerne. Verktøyet hans retter seg mot enhver nevron i midten av nettverket og søker etter bildet som aktiverer det mest. Bildene som dukker opp er abstrakte (forestill deg en impresjonistisk versjon av en flamingo eller en skolebuss), og fremhever den mystiske naturen til maskinens perseptuelle evner.

Dette tidlige kunstige nevrale nettverket, ved Cornell Aeronautical Laboratory i Buffalo, New York, rundt 1960, behandlet input fra lyssensorer.

Ferriss ble inspirert til å kjøre Cornells kunstige nevrale nettverk gjennom Deep Dream, og produsere bildene over og under. Adam Ferriss

Vi trenger imidlertid mer enn et glimt av AIs tenkning, og det er ingen enkel løsning. Det er samspillet mellom beregninger i et dypt nevralt nettverk som er avgjørende for mønstergjenkjenning på høyere nivå og kompleks beslutningstaking, men disse beregningene er et hengemyr av matematiske funksjoner og variabler. Hvis du hadde et veldig lite nevralt nettverk, kunne du kanskje forstå det, sier Jaakkola. Men når den først blir veldig stor, og den har tusenvis av enheter per lag og kanskje hundrevis av lag, så blir den ganske uforståelig.

På kontoret ved siden av Jaakkola er Regina Barzilay, en MIT-professor som er fast bestemt på å bruke maskinlæring på medisin. Hun ble diagnostisert med brystkreft for et par år siden, 43 år gammel. Diagnosen var sjokkerende i seg selv, men Barzilay var også forferdet over at banebrytende statistiske og maskinlæringsmetoder ikke ble brukt til å hjelpe med onkologisk forskning eller veilede pasientbehandling. Hun sier at AI har et stort potensial til å revolusjonere medisinen, men å innse at potensialet vil bety å gå lenger enn bare medisinske journaler. Hun ser for seg å bruke mer av rådataene som hun sier er underutnyttet for øyeblikket: bildedata, patologidata, all denne informasjonen.

Hvor godt kan vi komme overens med maskiner som er uforutsigbare og uutgrunnelige?

Etter at hun avsluttet kreftbehandling i fjor, begynte Barzilay og studentene hennes å jobbe med leger ved Massachusetts General Hospital for å utvikle et system som er i stand til å utvinne patologirapporter for å identifisere pasienter med spesifikke kliniske egenskaper som forskere kanskje vil studere. Imidlertid forsto Barzilay at systemet måtte forklare resonnementet sitt. Så sammen med Jaakkola og en student la hun til et trinn: systemet trekker ut og fremhever tekstbiter som er representative for et mønster det har oppdaget. Barzilay og studentene hennes utvikler også en dyplæringsalgoritme som er i stand til å finne tidlige tegn på brystkreft i mammografibilder, og de tar sikte på å gi dette systemet en viss evne til å forklare resonnementet også. Du må virkelig ha en løkke der maskinen og mennesket samarbeider, - sier Barzilay.

Det amerikanske militæret strømmer inn milliarder i prosjekter som vil bruke maskinlæring til å pilotere kjøretøy og fly, identifisere mål og hjelpe analytikere med å sile gjennom enorme hauger med etterretningsdata. Her mer enn noe annet sted, enda mer enn i medisin, er det lite rom for algoritmisk mystikk, og Forsvarsdepartementet har identifisert forklarbarhet som en sentral snublestein.

David Gunning, en programleder ved Defense Advanced Research Projects Agency, overvåker det passende navnet Explainable Artificial Intelligence-programmet. En sølvhåret veteran fra byrået som tidligere hadde tilsyn med DARPA-prosjektet som til slutt førte til opprettelsen av Siri, sier Gunning at automatisering kryper inn i utallige områder av militæret. Etterretningsanalytikere tester maskinlæring som en måte å identifisere mønstre i enorme mengder overvåkingsdata. Mange autonome bakkekjøretøyer og fly utvikles og testes. Men soldater vil sannsynligvis ikke føle seg komfortable i en robottank som ikke forklarer seg selv for dem, og analytikere vil være motvillige til å handle på informasjon uten noen begrunnelse. Det er ofte naturen til disse maskinlæringssystemene at de produserer mange falske alarmer, så en intelanalytiker trenger virkelig ekstra hjelp for å forstå hvorfor en anbefaling ble gitt, sier Gunning.

I mars valgte DARPA 13 prosjekter fra akademia og industri for finansiering under Gunnings program. Noen av dem kunne bygge på arbeid ledet av Carlos Guestrin, en professor ved University of Washington. Han og kollegene hans har utviklet en måte for maskinlæringssystemer å gi en begrunnelse for resultatene deres. I hovedsak, under denne metoden, finner en datamaskin automatisk noen få eksempler fra et datasett og serverer dem i en kort forklaring. Et system designet for å klassifisere en e-postmelding som kommer fra en terrorist, kan for eksempel bruke mange millioner meldinger i opplæringen og beslutningsprosessen. Men ved å bruke Washington-teamets tilnærming, kan det fremheve visse nøkkelord som finnes i en melding. Guestrins gruppe har også utviklet måter for bildegjenkjenningssystemer å antyde deres resonnement ved å fremheve de delene av et bilde som var mest betydningsfulle.

Adam Ferriss

En ulempe med denne tilnærmingen og andre lignende, for eksempel Barzilays, er at forklaringene som gis alltid vil være forenklede, noe som betyr at noe viktig informasjon kan gå tapt underveis. Vi har ikke oppnådd hele drømmen, som er der AI har en samtale med deg, og den er i stand til å forklare, sier Guestrin. Vi er langt unna å ha virkelig tolkbar AI.

Det trenger ikke å være en stor situasjon som kreftdiagnose eller militære manøvrer for at dette skal bli et problem. Å kjenne til AIs resonnement vil også være avgjørende hvis teknologien skal bli en vanlig og nyttig del av hverdagen vår. Tom Gruber, som leder Siri-teamet hos Apple, sier at forklaring er en nøkkelfaktor for teamet hans når det prøver å gjøre Siri til en smartere og mer dyktig virtuell assistent. Gruber ville ikke diskutere spesifikke planer for Siris fremtid, men det er lett å forestille seg at hvis du mottar en restaurantanbefaling fra Siri, vil du vite hva begrunnelsen var. Ruslan Salakhutdinov, direktør for AI-forskning hos Apple og førsteamanuensis ved Carnegie Mellon University, ser på forklaring som kjernen i det utviklende forholdet mellom mennesker og intelligente maskiner. Det kommer til å innføre tillit, sier han.

Relatert historie

Les Neste Maskiner som virkelig forstår språk ville være utrolig nyttige. Men vi vet ikke hvordan vi skal bygge dem.

På samme måte som mange aspekter av menneskelig atferd er umulig å forklare i detalj, vil det kanskje ikke være mulig for AI å forklare alt den gjør. Selv om noen kan gi deg en fornuftig forklaring [for hans eller hennes handlinger], er den sannsynligvis ufullstendig, og det samme kan godt være sant for AI, sier Clune, ved University of Wyoming. Det kan bare være en del av intelligensens natur at bare en del av den blir utsatt for rasjonell forklaring. Noe av det er bare instinktivt, eller underbevisst, eller uutgrunnelig.

Hvis det er slik, må vi på et tidspunkt bare stole på AIs dømmekraft eller gjøre uten å bruke den. På samme måte vil den dommen måtte inkludere sosial intelligens. Akkurat som samfunnet er bygget på en kontrakt om forventet atferd, må vi designe AI-systemer for å respektere og passe med våre sosiale normer. Hvis vi skal lage robottanker og andre drapsmaskiner, er det viktig at deres beslutningstaking er i samsvar med våre etiske vurderinger.

For å undersøke disse metafysiske konseptene dro jeg til Tufts University for å møte Daniel Dennett, en kjent filosof og kognitiv vitenskapsmann som studerer bevissthet og sinn. Et kapittel av Dennetts siste bok, Fra bakterier til Bach og tilbake , en encyklopedisk avhandling om bevissthet, antyder at en naturlig del av utviklingen av intelligens i seg selv er å lage systemer som er i stand til å utføre oppgaver deres skapere ikke vet hvordan de skal gjøre. Spørsmålet er hvilke tilpasninger vi må gjøre for å gjøre dette klokt – hvilke standarder krever vi av dem og av oss selv? forteller han meg på sitt rotete kontor på universitetets idylliske campus.

Han har også et ord til advarsel om søken etter forklaring. Jeg tror for all del at hvis vi skal bruke disse tingene og stole på dem, så la oss få et så godt grep om hvordan og hvorfor de gir oss svarene som mulig, sier han. Men siden det kanskje ikke finnes noe perfekt svar, bør vi være like forsiktige med AI-forklaringer som vi er med hverandres – uansett hvor smart en maskin virker. Hvis den ikke kan gjøre det bedre enn oss til å forklare hva den gjør, sier han, så ikke stol på den.

gjemme seg