Når algoritmer roter, får det nærmeste mennesket skylden

Et bilde som viser kjølvannet av en selvkjørende bilulykke, med et uber-kjøretøy på siden Tempe politiavdeling

Tidligere denne måneden, Bloomberg publiserte en artikkel om en utfoldende rettssak om investeringer tapt av en algoritme. En Hong Kong-magnat tapte mer enn 20 millioner dollar etter å ha betrodd deler av formuen sin til en automatisert plattform. Uten juridiske rammer for å saksøke teknologien, la han skylden på det nærmeste mennesket: mannen som solgte den til ham.

Det er det første kjente tilfellet om automatiserte investeringstap, men ikke det første som involverer ansvar for algoritmer. I mars 2018, en selvkjørende Uber slått og drept en fotgjenger i Tempe, Arizona, sender en ny sak til retten. Et år senere var Uber frikjent av alt straffbart ansvar, men sikkerhetssjåføren kan bli siktet for drap i kjøretøy i stedet.

Begge sakene tar opp et av de sentrale spørsmålene vi står overfor når automatiserte systemer sildrer inn i alle aspekter av samfunnet: Hvem eller hva fortjener skylden når en algoritme forårsaker skade? Hvem eller hva som faktisk får skylden er et annet, men like viktig spørsmål.

Madeleine Clare Elish, forsker ved Data & Society og utdannet kulturantropolog, har brukt de siste årene på å studere det siste spørsmålet for å se hvordan det kan bidra til å svare på førstnevnte. For å gjøre det har hun sett tilbake på historiske kasusstudier. Mens moderne AI-systemer ikke har eksistert lenge, er spørsmålene rundt deres ansvar ikke nye.

Den selvkjørende Uber-ulykken er parallell til 2009-ulykken med Air France flight 447, for eksempel, og en titt på hvordan vi behandlet ansvar gir ledetråder for hva vi kan gjøre nå. I den tragiske ulykken styrtet flyet i Atlanterhavet på vei fra Brasil til Frankrike, og drepte alle 228 personer om bord. Flyets automatiserte system ble designet for å være fullstendig idiotsikkert, i stand til å håndtere nesten alle scenarier bortsett fra de sjeldne kanttilfellene da det trengte en menneskelig pilot for å ta over. I den forstand var pilotene omtrent som dagens sikkerhetssjåfører for selvkjørende biler - ment å passivt overvåke flyturen det store flertallet av tiden, men hoppe til handling under ekstreme scenarier.

Relatert historie

Beslektet historie Bare noen få lovgivere vet virkelig hva de snakker om, men det er en start.

Hva som skjedde natten til krasjet er på dette tidspunktet en velkjent historie. Omtrent halvannen time inn i flyturen sluttet flyets lufthastighetssensorer å fungere på grunn av isdannelse. Etter at autopilotsystemet overførte kontrollen tilbake til pilotene, førte forvirring og feilkommunikasjon til at flyet stoppet. Mens en av pilotene forsøkte å reversere stallen ved å peke flyets nese nedover, løftet den andre, sannsynligvis i panikk, nesen for å fortsette å klatre. Systemet ble designet for at én pilot skulle ha kontroll til enhver tid, og ga ingen signaler eller haptisk tilbakemelding for å indikere hvilken som faktisk hadde kontroll og hva den andre gjorde. Til slutt klatret flyet til en vinkel så bratt at systemet anså det som ugyldig og sluttet å gi tilbakemelding helt. Pilotene, som fløy helt i blinde, fortsatte å fomle helt til flyet stupte i sjøen.

I en fersk papir , undersøkte Elish kjølvannet av tragedien og identifiserte et viktig mønster i måten publikum kom til å forstå hva som skjedde. Mens en føderal etterforskning av hendelsen konkluderte med at en blanding av dårlig systemdesign og utilstrekkelig pilotopplæring hadde forårsaket den katastrofale feilen, fanget publikum seg raskt til en fortelling som la den eneste skylden på sistnevnte. Spesielt mediefremstillinger foreviget troen på at det sofistikerte autopilotsystemet ikke hadde noen feil i saken til tross for betydelig forskning på menneskelige faktorer som viser at mennesker alltid har vært ganske udugelige til å hoppe inn i nødsituasjoner i siste øyeblikk med et jevnt hode og et klart sinn. .

Mennesker fungerer som en 'ansvarssvamp'.

I andre case-studier fant Elish at det samme mønsteret var sant: selv i et svært automatisert system der mennesker har begrenset kontroll over dets oppførsel, bærer de fortsatt mesteparten av skylden for dets feil. Elish kaller dette fenomenet en moralsk krøllesone. Mens krøllesonen i en bil er ment å beskytte den menneskelige sjåføren, skriver hun i sin artikkel, beskytter den moralske krøllesonen integriteten til det teknologiske systemet, på bekostning av den nærmeste menneskelige operatøren. Mennesker fungerer som en ansvarssvamp, sier hun, og absorberer alt juridisk og moralsk ansvar i algoritmiske ulykker, uansett hvor lite eller utilsiktet de er involvert.

Dette mønsteret gir viktig innsikt i den urovekkende måten vi snakker om ansvaret til moderne AI-systemer. I umiddelbar kjølvann av Uber-ulykken pekte overskriftene pekefinger mot Uber, men mindre enn noen få dager senere ble fortellingen forskjøvet å fokusere på distraksjonen til sjåføren.

Vi må begynne å spørre hvem som bærer risikoen for [teknologiselskapenes] teknologiske eksperimenter, sier Elish. Sikkerhetssjåfører og andre menneskelige operatører har ofte liten makt eller innflytelse over utformingen av teknologiplattformene de samhandler med. Likevel vil de i det gjeldende regulatoriske vakuumet fortsette å betale de største kostnadene.

Regulatorer bør også ha mer nyanserte samtaler om hva slags rammeverk som vil bidra til å fordele ansvar rettferdig. De må tenke nøye gjennom regulering av sosiotekniske systemer og ikke bare algoritmiske svarte bokser, sier Elish. Med andre ord bør de vurdere om systemets design fungerer innenfor konteksten det opererer i og om det setter opp menneskelige operatører underveis for fiasko eller suksess. Selvkjørende biler bør for eksempel reguleres på en måte som tar hensyn til om rollen sikkerhetssjåfører blir bedt om å spille er rimelig.

Det som står på spill i begrepet den moralske krøllesonen er ikke bare hvordan ansvarlighet kan fordeles i et hvilket som helst robotisk eller autonomt system, skriver hun, men også hvordan verdien og potensialet til mennesker kan få utvikle seg i sammenheng med menneske-maskin-team. .

Denne historien dukket opprinnelig opp i vårt Webby-nominerte AI-nyhetsbrev The Algorithm. For å få flere historier som dette levert direkte til innboksen din, registrer deg her. Det er gratis.

gjemme seg