Hvorfor spør en AI om å forklare seg selv kan gjøre ting verre

Frogger i ferd med å snakke MS Tech / Getty

Upol Ehsan tok en gang en prøvetur i en selvkjørende Uber-bil. I stedet for å bekymre seg over det tomme førersetet, ble engstelige passasjerer oppfordret til å se på en smokkeskjerm som viste en bils øyesyn av veien: farer plukket ut i oransje og rødt, trygge soner i kjølig blått.

Til Ehsan , som studerer måten mennesker samhandler med kunstig intelligens ved Georgia Institute of Technology i Atlanta, var den tiltenkte meldingen klar: Ikke bli skremt – dette er grunnen til at bilen gjør det den gjør. Men noe med det fremmede-utseende gatebildet fremhevet det merkelige ved opplevelsen i stedet for å beroliget. Det fikk Ehsan til å tenke: hva om den selvkjørende bilen virkelig kunne forklare seg selv?

Suksessen med dyp læring skyldes triksing: de beste nevrale nettverkene er finjustert og tilpasset for å lage bedre, og praktiske resultater har overgått teoretisk forståelse. Som et resultat er detaljene om hvordan en trent modell fungerer vanligvis ukjent. Vi har begynt å tenke på dem som svarte bokser.

Mye av tiden er vi ok med det når det kommer til ting som å spille Go eller oversette tekst eller velge det neste Netflix-showet å overvinne. Men hvis AI skal brukes til å hjelpe til med å ta avgjørelser innen rettshåndhevelse, medisinsk diagnose og førerløse biler, må vi forstå hvordan den når disse avgjørelsene – og vite når de tar feil.

Folk trenger makt til å være uenige i eller avvise en automatisert beslutning, sier Iris Howley , en informatiker ved Williams College i Williamstown, Massachusetts. Uten dette vil folk presse tilbake mot teknologien. Du kan se dette spille ut akkurat nå med den offentlige responsen på ansiktsgjenkjenningssystemer, sier hun.

Ehsan er en del av en liten, men voksende gruppe forskere som prøver å gjøre AI-er bedre til å forklare seg, for å hjelpe oss med å se inn i den svarte boksen. Målet med såkalt tolkbar eller forklarbar AI (XAI) er å hjelpe folk å forstå hvilke funksjoner i dataene et nevralt nettverk faktisk lærer – og dermed om den resulterende modellen er nøyaktig og objektiv.

En løsning er å bygge maskinlæringssystemer som viser hvordan de fungerer: såkalt glassbox-i motsetning til black-box-AI. Glassbox-modeller er vanligvis mye forenklede versjoner av et nevralt nettverk der det er lettere å spore hvordan ulike databiter påvirker modellen.

Det er folk i samfunnet som tar til orde for bruken av glassboksmodeller i enhver setting med høy innsats, sier Jennifer Wortman Vaughan , en informatiker ved Microsoft Research. Jeg er stort sett enig. Enkle glassboksmodeller kan fungere like bra som mer kompliserte nevrale nettverk på visse typer strukturerte data, for eksempel statistikktabeller. For noen applikasjoner er det alt du trenger.

Men det avhenger av domenet. Hvis vi ønsker å lære av rotete data som bilder eller tekst, sitter vi fast i dype – og dermed ugjennomsiktige – nevrale nettverk. Evnen til disse nettverkene til å trekke meningsfulle forbindelser mellom svært store antall forskjellige funksjoner er knyttet til deres kompleksitet.

Selv her kan glassbox maskinlæring hjelpe. En løsning er å gå to ganger på dataene, og trene opp en ufullkommen glassbox-modell som et feilsøkingstrinn for å avdekke potensielle feil som du kanskje vil rette. Når dataene er ryddet opp, kan en mer nøyaktig black-box-modell trenes opp.

Det er imidlertid en vanskelig balanse. For mye åpenhet kan føre til overbelastning av informasjon. I en 2018 stud Y ser på hvordan ikke-ekspertbrukere samhandler med maskinlæringsverktøy, fant Vaughan at gjennomsiktige modeller faktisk kan gjøre det vanskeligere å oppdage og korrigere modellens feil.

En annen tilnærming er å inkludere visualiseringer som viser noen få nøkkelegenskaper til modellen og dens underliggende data. Tanken er at du kan se alvorlige problemer på et øyeblikk. For eksempel kan modellen stole for mye på visse funksjoner, noe som kan signalisere skjevhet.

Disse visualiseringsverktøyene har vist seg utrolig populære på den korte tiden de har eksistert. Men hjelper de virkelig? I første studie i sitt slag , har Vaughan og teamet hennes prøvd å finne ut av det – og avslørt noen alvorlige problemer.

Teamet tok to populære tolkbarhetsverktøy som gir en oversikt over en modell via diagrammer og dataplott, og fremhever ting som maskinlæringsmodellen fanget opp mest under trening. Elleve AI-fagfolk ble rekruttert fra Microsoft, alle forskjellige i utdanning, jobbroller og erfaring. De deltok i en falsk interaksjon med en maskinlæringsmodell trent på et nasjonalinntektsdatasett hentet fra 1994-amerikansk folketelling. Eksperimentet ble designet spesifikt for å etterligne måten dataforskere bruker tolkningsverktøy i den typen oppgaver de møter rutinemessig.

Det teamet fant var slående. Jada, verktøyene hjalp noen ganger folk til å oppdage manglende verdier i dataene. Men denne nytten ble overskygget av en tendens til å stole på og feillese visualiseringene. I noen tilfeller kunne brukere ikke engang beskrive hva visualiseringene viste. Dette førte til feilaktige antakelser om datasettet, modellene og selve tolkningsverktøyene. Og det innpodet en falsk tillit til verktøyene som gjorde deltakerne mer flinke til å distribuere modellene, selv når de følte at noe ikke var helt som det skulle. Bekymrende nok var dette sant selv når utdataene hadde blitt manipulert for å vise forklaringer som ikke ga mening.

For å sikkerhetskopiere funnene fra deres småbrukerstudie, gjennomførte forskerne en nettbasert undersøkelse av rundt 200 maskinlærende fagfolk rekruttert via e-postlister og sosiale medier. De fant lignende forvirring og feilplassert tillit.

Enda verre, mange deltakere var glade for å bruke visualiseringene til å ta avgjørelser om å implementere modellen til tross for at de innrømmet at de ikke forsto matematikken bak dem. Det var spesielt overraskende å se folk rettferdiggjøre rariteter i dataene ved å lage fortellinger som forklarte dem, sier Harmanpreet Kaur ved University of Michigan, en medforfatter på studien. Automatiseringsskjevheten var en veldig viktig faktor som vi ikke hadde vurdert.

Ah, automatiseringsskjevheten. Med andre ord, folk er forberedt på å stole på datamaskiner. Det er ikke nytt fenomen . Når det kommer til automatiserte systemer fra flyautopiloter til stavekontrollere, har studier vist at mennesker ofte aksepterer valgene de tar selv når de åpenbart tar feil. Men når dette skjer med verktøy utviklet for å hjelpe oss å unngå nettopp dette fenomenet, har vi et enda større problem.

Hva kan vi gjøre med det? For noen er en del av problemet med den første bølgen av XAI at den er dominert av maskinlæringsforskere, hvorav de fleste er ekspertbrukere av AI-systemer. Sier Tim Miller fra University of Melbourne, som studerer hvordan mennesker bruker AI-systemer: De innsatte driver asylet.

Dette skjønte Ehsan da han satt bak på den førerløse Uberen. Det er lettere å forstå hva et automatisert system gjør – og se når det gjør en feil – hvis det gir grunner for handlingene sine slik et menneske ville gjort. Ehsan og hans kollega Mark Riedl utvikler et maskinlæringssystem som genererer automatisk slike begrunnelser i naturlig språk . I en tidlig prototype tok paret et nevralt nettverk som hadde lært å spille det klassiske videospillet Frogger fra 1980-tallet og trente det opp til å gi en grunn hver gang det gjorde et trekk.

Skjermbilde av Ehsan og Riedls Frogger Explanation-programvare Upol Ehsan

For å gjøre dette, viste de systemet mange eksempler på mennesker som spilte spillet mens de snakket høyt om hva de gjorde. De tok deretter et nevralt nettverk for å oversette mellom to naturlige språk og tilpasset det til å oversette i stedet mellom handlinger i spillet og naturlig språkbegrunnelse for disse handlingene. Nå, når det nevrale nettverket ser en handling i spillet, oversetter det det til en forklaring. Resultatet er en Frogger-spillende AI som sier ting som at jeg beveger meg til venstre for å holde meg bak den blå lastebilen hver gang den beveger seg.

Ehsan og Riedls arbeid er bare en begynnelse. For det første er det ikke klart om et maskinlæringssystem alltid vil være i stand til å gi en naturlig begrunnelse for sine handlinger. Ta DeepMinds brettspillende AI AlphaZero. En av de mest slående egenskapene til programvaren er dens evne til å gjøre vinnende trekk som de fleste menneskelige spillere ikke ville tenkt å prøve på det tidspunktet i et spill. Hvis AlphaZero var i stand til å forklare sine trekk, ville de alltid gi mening?

Grunner hjelper enten vi forstår dem eller ikke, sier Ehsan: Målet med menneskesentrert XAI er ikke bare å få brukeren til å gå med på hva AI sier – det er også å provosere til refleksjon. Riedl husker at han så direktesendingen av turneringskampen mellom DeepMinds AI og Korean Go-mester Lee Sedol. Kommentatorene snakket om hva AlphaGo så og tenkte. 'Det var ikke slik AlphaGo fungerte,' sier Riedl. 'Men jeg følte at kommentaren var avgjørende for å forstå hva som skjedde.'

Det denne nye bølgen av XAI-forskere er enige om, er at hvis AI-systemer skal brukes av flere mennesker, må disse menneskene være en del av designet fra starten – og forskjellige mennesker trenger forskjellige typer forklaringer. (Dette er støttet av en ny studie fra Howley og hennes kolleger, der de viser at folks evne til å forstå en interaktiv eller statisk visualisering avhenger av deres utdanningsnivå.) Tenk på en kreftdiagnosterende AI, sier Ehsan. Du vil at forklaringen den gir til en onkolog skal være veldig forskjellig fra forklaringen den gir til pasienten.

Til syvende og sist vil vi at AI-er skal forklare seg ikke bare for dataforskere og leger, men også for politifolk som bruker ansiktsgjenkjenningsteknologi, lærere som bruker analyseprogramvare i klasserommene, studenter som prøver å forstå sine sosiale medier-feeds – og alle som sitter i baksetet. av en selvkjørende bil. Vi har alltid visst at folk overstoler teknologi, og det gjelder spesielt med AI-systemer, sier Riedl. Jo mer du sier at det er smart, jo flere er overbevist om at det er smartere enn de er.

Forklaringer som alle kan forstå bør hjelpe til med å spre den boblen.

gjemme seg