Vi må designe mistillit inn i AI-systemer for å gjøre dem tryggere

med tillatelse fra ACM

Ayanna Howard har alltid forsøkt å bruke roboter og AI for å hjelpe mennesker. I løpet av sin nesten 30 år lange karriere har hun bygget utallige roboter: for å utforske Mars, for å rense farlig avfall og for å hjelpe barn med spesielle behov. I prosessen har hun utviklet en imponerende rekke teknikker innen robotmanipulering, autonom navigasjon og datasyn. Og hun har ledet feltet når det gjelder å studere en vanlig feil mennesker gjør: vi stoler for mye på automatiserte systemer.

Den 12. mai tildelte Association for Computing Machinery Howard årets Athena Lecturer Award, som anerkjenner kvinner som har gjort grunnleggende bidrag innen informatikk. Organisasjonen hedret ikke bare Howards imponerende liste over vitenskapelige prestasjoner, men også hennes lidenskap og forpliktelse til å gi tilbake til samfunnet hennes. Så lenge hun har vært en berømt teknolog, har hun også skapt og ledet mange programmer utformet for å øke deltakelsen og oppbevaringen av unge kvinner og underrepresenterte minoriteter i feltet.

I mars, etter 16 år som professor ved Georgia Institute of Technology, begynte hun i en ny stilling som dekan ved ingeniørhøyskolen ved Ohio State University. Hun er den første kvinnen som har stillingen. Den dagen hun mottok ACM-prisen, snakket jeg med Howard om hennes karriere og hennes siste forskning.

Følgende er redigert for lengde og klarhet.

Jeg har lagt merke til at du bruker begrepet humanisert intelligens for å beskrive forskningen din, i stedet for kunstig intelligens. Hvorfor det?

Ja, jeg begynte å bruke det i en artikkel i 2004. Jeg tenkte på hvorfor vi jobber med intelligens for robotikk og AI-systemer. Det er ikke det at vi ønsker å skape disse intelligente funksjonene utenfor vår interaksjon med mennesker. Vi er motivert av den menneskelige erfaringen, menneskelige data, menneskelige input. Kunstig intelligens innebærer at det er en annen type intelligens, mens humanisert intelligens sier at den er intelligent, men motivert av den menneskelige konstruksjonen. Og det betyr at når vi lager disse systemene, sikrer vi også at de har noen av våre samfunnsverdier også.

Hvordan kom du inn i dette arbeidet?

Det var først og fremst motivert av doktorgradsforskningen min. På den tiden jobbet jeg med å trene en robotmanipulator for å fjerne farer på et sykehus. Dette var på den tiden da du ikke hadde de fine trygge stedene å sette nåler på. Nåler ble lagt i samme søppel som alt annet, og det var tilfeller der sykehusarbeidere ble syke. Så jeg tenkte på: Hvordan designer du roboter for å hjelpe i det miljøet?

Så veldig tidlig handlet det om å bygge roboter som er nyttige for mennesker. Og det var å erkjenne at vi ikke visste hvordan vi skulle bygge roboter for å gjøre noen av disse oppgavene veldig bra. Men folk gjør dem hele tiden, så la oss etterligne hvordan folk gjør det. Det var slik det startet.

Så jobbet jeg med NASA og prøvde å tenke på fremtidig Mars-rovernavigasjon. Og igjen, det var som: Forskere kan gjøre dette veldig, veldig bra. Så jeg ville ha forskere til å fjernoperere disse rovere og se på hva de så på kameraene til disse rovere, og deretter prøve å korrelere hvordan de kjører basert på det. Det var alltid temaet: Hvorfor går jeg ikke bare til menneskeekspertene, koder hva de gjør i en algoritme, og så får jeg roboten til å forstå det?

Var det andre som tenkte og snakket om AI og robotikk på denne menneskesentrerte måten den gang? Eller var du en merkelig uteligger?

Å, jeg var en helt merkelig uteligger. Jeg så annerledes på ting enn alle andre. Og den gang var det ingen veiledning for hvordan man gjør denne typen forskning. Faktisk, når jeg ser tilbake på hvordan jeg gjorde forskningen, ville jeg gjort det helt annerledes. Det er all denne erfaringen og kunnskapen som siden har kommet ut i feltet.

På hvilket tidspunkt gikk du fra å tenke på å bygge roboter som hjelper mennesker til å tenke mer på forholdet mellom roboter og mennesker?

Det var i stor grad motivert av dette studere vi gjorde på nødevakuering og robottillit. Det vi ønsket å se var når mennesker er i en høyrisiko, tidskritisk situasjon, vil de stole på veiledningen til en robot? Så vi brakte folk inn i en forlatt kontorbygning utenfor campus, og de ble sluppet inn av en reiselederrobot. Vi laget en historie om roboten og hvordan de måtte ta en undersøkelse – den slags. Mens de var der inne, fylte vi bygningen med røyk og satte i gang brannalarmen.

Så vi ønsket å se, mens de navigerte ut, ville de gå til inngangsdøren, ville de gå til utgangsskiltet, eller ville de følge veiledningen til roboten som ledet dem i en annen retning?

Vi trodde folk ville gå til inngangsdøren fordi det var måten de kom inn på, og tidligere forskning har sagt at når folk er i en nødssituasjon, har de en tendens til å gå dit de er kjent. Eller vi trodde de ville følge utgangsskiltene, fordi det er en trent oppførsel. Men det gjorde deltakerne ikke gjør dette. De følger faktisk veiledningen til roboten.

Så introduserte vi noen feil. Vi fikk roboten til å bryte sammen, vi fikk den til å gå i sirkler, vi fikk den til å ta deg i en retning som krevde at du flyttet møbler. Vi trodde på et tidspunkt at mennesket ville si: La meg gå til inngangsdøren, eller la meg gå til utgangsskiltet der. Det tok oss bokstavelig talt helt til slutten før folk sluttet å følge veiledningen til roboten.

Det var første gang hypotesene våre var helt feil. Det var som om jeg ikke kan tro at folk stoler på systemet på denne måten. Dette er interessant og fascinerende, og det er et problem.

Siden det eksperimentet, har du sett dette fenomenet replikeres i den virkelige verden?

Hver gang jeg ser en Tesla-ulykke. Spesielt de tidligere. Jeg tenkte: Jepp, der er det. Folk stoler for mye på disse systemene. Og jeg husker etter den aller første, hva gjorde de? De var som om du nå må holde rattet i trinn på fem sekunder. Hvis du ikke har hånden på rattet, vil systemet deaktiveres.

Men du vet, de kom aldri og snakket med meg eller gruppen min, for det kommer ikke til å fungere. Og hvorfor det ikke fungerer, er fordi det er veldig enkelt å spille systemet. Hvis du ser på mobiltelefonen din og så hører pipet, er det bare å strekke opp hånden, ikke sant? Det er underbevisst. Du er fortsatt ikke oppmerksom. Og det er fordi du synes systemet er i orden og at du fortsatt kan gjøre hva det enn var du gjorde – lese en bok, se på TV eller se på telefonen. Så det fungerer ikke fordi de ikke økte nivået av risiko eller usikkerhet, eller vantro eller mistillit. De økte ikke det nok til at noen kunne engasjere seg på nytt.

Relatert historie

Når algoritmer roter, får det nærmeste mennesket skylden En titt på historiske case-studier viser oss hvordan vi håndterer ansvar for automatiserte systemer.

Det er interessant at du snakker om hvordan du i slike scenarier aktivt må designe mistillit inn i systemet for å gjøre det tryggere.

Ja, det er det du må gjøre. Vi prøver faktisk et eksperiment akkurat nå rundt ideen om tjenestenekt. Vi har ikke resultater ennå, og vi sliter med noen etiske bekymringer. For når vi først har snakket om det og publisert resultatene, må vi forklare hvorfor du noen ganger kanskje ikke vil gi AI muligheten til å nekte en tjeneste heller. Hvordan fjerner du tjenesten hvis noen virkelig trenger den?

Men her er et eksempel med Teslas mistillit. Denial of service vil være: Jeg oppretter en profil av tilliten din, som jeg kan gjøre basert på hvor mange ganger du har deaktivert eller koblet fra å holde rattet. Gitt disse profilene av frigjøring, kan jeg modellere på hvilket tidspunkt du er fullt ut i denne tillitstilstanden. Vi har gjort dette, ikke med Tesla-data, men våre egne data. Og på et visst tidspunkt, neste gang du kommer inn i bilen, vil du få et tjenestenekt. Du har ikke tilgang til systemet i X tidsperiode.

Det er nesten som når du straffer en tenåring ved å ta fra seg telefonen. Du vet at tenåringer ikke vil gjøre det du ikke ville at de skulle gjøre hvis du kobler det til kommunikasjonsmåten deres.

Hva er noen andre mekanismer du har utforsket for å øke mistillit til systemer?

Den andre metodikken vi har utforsket kalles grovt sett forklarbar AI, der systemet gir en forklaring med hensyn til noen av risikoene eller usikkerhetene. Fordi alle disse systemene har usikkerhet - ingen av dem er 100 %. Og et system vet når det er usikkert. Så det kan gi det som informasjon på en måte et menneske kan forstå, slik at folk vil endre oppførselen sin.

Som et eksempel, si at jeg er en selvkjørende bil, og at jeg har all kartinformasjonen min, og jeg vet at visse veikryss er mer utsatt for ulykker enn andre. Når vi nærmer oss en av dem, vil jeg si, vi nærmer oss et veikryss der 10 mennesker døde i fjor. Du forklarer det på en måte hvor det får noen til å gå. Å, vent, kanskje jeg burde være mer oppmerksom.

Vi har allerede snakket om noen av bekymringene dine rundt vår tendens til å overtro disse systemene. Hva er andre? På baksiden, er det også fordeler?

De negative er virkelig knyttet til skjevhet. Det er derfor jeg alltid snakker om skjevhet og tillit om hverandre. Fordi hvis jeg overstoler disse systemene og disse systemene tar beslutninger som har ulike utfall for ulike grupper av individer – for eksempel, et medisinsk diagnosesystem har forskjeller mellom kvinner og menn – lager vi nå systemer som øker ulikhetene vi har i dag. . Det er et problem. Og når du kobler det til ting som er knyttet til helse eller transport, som begge kan føre til liv-eller-død-situasjoner, kan en dårlig avgjørelse faktisk føre til noe du ikke kan komme deg fra. Så vi må virkelig fikse det.

Det positive er at automatiserte systemer er bedre enn mennesker generelt. Jeg tror de kan være det til og med bedre, men jeg personlig vil heller samhandle med et AI-system i noen situasjoner enn visse mennesker i andre situasjoner. Jeg vet at det har noen problemer, men gi meg AI. Gi meg roboten. De har mer data; de er mer nøyaktige. Spesielt hvis du har en nybegynner. Det er et bedre resultat. Det kan bare være at resultatet ikke er likt.

I tillegg til robotikk- og AI-forskningen din, har du vært en stor talsmann for å øke mangfoldet i feltet gjennom hele karrieren. Du startet et program for å veilede jenter på ungdomstrinnet i risikogruppen for 20 år siden, noe som er lenge før mange tenkte på dette problemet. Hvorfor er det viktig for deg, og hvorfor er det også viktig for feltet?

Det er viktig for meg fordi jeg kan identifisere tider i livet mitt hvor noen i utgangspunktet ga meg tilgang til ingeniørfag og informatikk. Jeg visste ikke engang at det var en ting. Og det er egentlig derfor jeg senere aldri hadde problemer med å vite at jeg kunne gjøre det. Og derfor følte jeg alltid at det bare var mitt ansvar å gjøre det samme for de som har gjort det for meg. Da jeg også ble eldre, la jeg merke til at det var mange mennesker som ikke så ut som meg i rommet. Så jeg skjønte: Vent, det er definitivt et problem her, fordi folk bare ikke har rollemodellene, de har ikke tilgang, de vet ikke engang at dette er en ting.

Og hvorfor det er viktig for feltet er fordi alle har forskjellig erfaring. Akkurat som jeg hadde tenkt på interaksjon mellom menneske og robot før det i det hele tatt var en ting. Det var ikke fordi jeg var strålende. Det var fordi jeg så på problemet på en annen måte. Og når jeg snakker med noen som har et annet synspunkt, er det som: Å, la oss prøve å kombinere og finne ut det beste fra begge verdener.

Kollisjonsputer dreper flere kvinner og barn. Hvorfor det? Vel, jeg skal si at det er fordi noen ikke var i rommet for å si, hei, hvorfor tester vi ikke dette på kvinner i forsetet? Det er en haug med problemer som har drept eller vært farlige for visse grupper av mennesker. Og jeg vil påstå at hvis du går tilbake, er det fordi du ikke hadde nok folk som kunne si hei, har du tenkt på dette? fordi de snakker fra sin egen erfaring og fra miljøet og samfunnet.

Hvordan håper du forskning på kunstig intelligens og robotikk vil utvikle seg over tid? Hva er din visjon for feltet?

Hvis du tenker på koding og programmering, kan stort sett alle gjøre det. Det er så mange organisasjoner nå som Code.org. Ressursene og verktøyene er der. Jeg vil gjerne ha en samtale med en student en dag hvor jeg spør: Vet du om AI og maskinlæring? og de sier: Dr. H, jeg har gjort det siden tredje klasse! Jeg vil bli sjokkert slik, for det ville vært fantastisk. Selvfølgelig, da må jeg tenke på hva som er min neste jobb, men det er en helt annen historie.

Men jeg tror at når du har verktøyene med koding og AI og maskinlæring, kan du skape dine egne jobber, du kan skape din egen fremtid, du kan lage din egen løsning. Det ville vært drømmen min.

gjemme seg