Hva er en algoritme? Det kommer an på hvem du spør

Getty

Å beskrive et beslutningssystem som en algoritme er ofte en måte å avlede ansvarlighet for menneskelige beslutninger. For mange innebærer begrepet et sett med regler basert objektivt på empiriske bevis eller data. Det antyder også et system som er svært komplekst - kanskje så komplekst at et menneske vil slite med å forstå dets indre virkemåte eller forutse dets oppførsel når det distribueres.

Men er denne karakteriseringen nøyaktig? Ikke alltid.

For eksempel ble Stanford Medical Centers feilallokering av covid-19-vaksiner i slutten av desember skyldt på en distribusjonsalgoritme som favoriserte høytstående administratorer fremfor frontlinjeleger. Sykehuset hevdet å ha rådført seg med etikere for å designe sin svært komplekse algoritme, som en representant sa tydeligvis ikke fungerte riktig, ettersom MIT Technology Review rapporterte den gang. Mens mange mennesker tolket bruken av begrepet til å bety at AI eller maskinlæring var involvert, var systemet faktisk en medisinsk algoritme, som er funksjonelt annerledes. Det var mer beslektet med en veldig enkel formel eller beslutningstre designet av en menneskelig komité.

Denne frakoblingen fremhever et økende problem. Etter hvert som prediktive modeller sprer seg, blir publikum mer på vakt mot bruken av dem når de tar kritiske beslutninger. Men som beslutningstakere begynner å utvikle standarder for vurdering og revisjon algoritmer, må de først definere klassen av beslutnings- eller beslutningsstøtteverktøy som deres retningslinjer skal gjelde for. Å la begrepsalgoritmen være åpen for tolkning kan plassere noen av modellene med størst innvirkning utenfor rekkevidden av retningslinjer utformet for å sikre at slike systemer ikke skader mennesker.

Hvordan identifisere en algoritme

Så er Stanfords algoritme en algoritme? Det kommer an på hvordan du definerer begrepet. Selv om det ikke er noen universelt akseptert definisjon, kommer en vanlig fra en lærebok fra 1971 skrevet av informatiker Harold Stone, som sier: En algoritme er et sett med regler som nøyaktig definerer en sekvens av operasjoner. Denne definisjonen omfatter alt fra oppskrifter til komplekse nevrale nettverk: en revisjonspolicy basert på den ville være latterlig bred.

I statistikk og maskinlæring tenker vi vanligvis på algoritmen som settet med instruksjoner en datamaskin utfører for å lære av data. I disse feltene kalles den resulterende strukturerte informasjonen vanligvis en modell. Informasjonen datamaskinen lærer fra dataene via algoritmen kan se ut som vekter for å multiplisere hver inngangsfaktor med, eller den kan være mye mer komplisert. Kompleksiteten til selve algoritmen kan også variere. Og virkningen av disse algoritmene avhenger til syvende og sist av dataene de brukes på og konteksten som den resulterende modellen er distribuert i. Den samme algoritmen kan ha en netto positiv effekt når den brukes i en kontekst og en helt annen effekt når den brukes i en annen.

Relatert historie

Dette er Stanford-vaksinealgoritmen som utelot leger i frontlinjen Universitetssykehuset beskyldte en svært kompleks algoritme for dens ujevn vaksinedistribusjonsplan. Her er hva som gikk galt.

I andre domener kalles det som er beskrevet ovenfor som en modell i seg selv en algoritme. Selv om det er forvirrende, er det under den bredeste definisjonen også nøyaktig: modeller er regler (lært av datamaskinens treningsalgoritme i stedet for oppgitt direkte av mennesker) som definerer en sekvens av operasjoner. For eksempel, i fjor i Storbritannia, beskrev media feilen til en algoritme å gi rettferdige poeng til studenter som ikke kunne gå opp til eksamen på grunn av covid-19. Det disse rapportene diskuterte var helt klart modellen – settet med instruksjoner som oversatte input (en elevs tidligere prestasjoner eller en lærers evaluering) til utdata (en poengsum).

Det som ser ut til å ha skjedd på Stanford er at mennesker – inkludert etikere – satte seg ned og bestemte hvilken serie operasjoner systemet skulle bruke for å bestemme, på grunnlag av input som en ansatts alder og avdeling, om denne personen skulle være blant de første å få vaksine. Fra det vi vet, var ikke denne sekvensen basert på en estimeringsprosedyre som optimaliserte for et kvantitativt mål. Det var et sett med normative beslutninger om hvordan vaksiner skulle prioriteres, formalisert på språket til en algoritme. Denne tilnærmingen kvalifiserer som en algoritme i medisinsk terminologi og under den brede definisjonen, selv om den eneste intelligensen involvert var den til mennesker.

Fokuser på innvirkning, ikke input

Lovgivere vurderer også hva en algoritme er. Introdusert i den amerikanske kongressen i 2019, HR2291 , eller Algorithmic Accountability Act, bruker begrepet automatisert beslutningssystem og definerer det som en beregningsprosess, inkludert en avledet fra maskinlæring, statistikk eller annen databehandling eller kunstig intelligens-teknikker, som tar en beslutning eller letter menneskelig beslutningstaking, som påvirker forbrukerne.

Relatert historie

Revisorer tester ansettelsesalgoritmer for skjevhet, men det er ingen enkel løsning

AI-revisjoner kan overse visse typer skjevheter, og de bekrefter ikke nødvendigvis at et ansettelsesverktøy velger de beste kandidatene til en jobb.

På samme måte vurderer New York City I 1894 , en lov som vil innføre obligatoriske revisjoner av automatiserte ansettelsesbeslutningsverktøy, definert som ethvert system hvis funksjon er styrt av statistisk teori, eller systemer hvis parametere er definert av slike systemer. Spesielt gir begge lovforslagene mandat til revisjon, men gir bare retningslinjer på høyt nivå om hva en revisjon er.

Ettersom beslutningstakere i både myndigheter og industri lager standarder for algoritmiske revisjoner, er det sannsynlig at uenighet om hva som teller som en algoritme. I stedet for å prøve å bli enige om en felles definisjon av 'algoritme' eller en spesiell universell revisjonsteknikk, foreslår vi å evaluere automatiserte systemer primært basert på deres innvirkning. Ved å fokusere på resultat i stedet for input, unngår vi unødvendige debatter om teknisk kompleksitet. Det som betyr noe er potensialet for skade, uavhengig av om vi diskuterer en algebraisk formel eller et dypt nevralt nettverk.

Påvirkning er en kritisk vurderingsfaktor på andre felt. Det er innebygd i klassikeren GRUE SEG rammeverk i cybersikkerhet, som først ble populært av Microsoft på begynnelsen av 2000-tallet og fortsatt brukes i enkelte selskaper. A-en i DREAD ber trusselbedømmere om å kvantifisere berørte brukere ved å spørre hvor mange mennesker som vil lide påvirkningen av en identifisert sårbarhet. Konsekvensanalyser er også vanlig i menneskerettighets- og bærekraftsanalyser, og vi har sett noen tidlige utviklere av AI-konsekvensanalyser lage lignende rubrikker. For eksempel Canadas Algoritmisk konsekvensvurdering gir en score basert på kvalitative spørsmål som Er klienter i denne bransjen spesielt sårbare? (Ja eller nei).

Det som betyr noe er potensialet for skade, uavhengig av om vi diskuterer en algebraisk formel eller et dypt nevralt nettverk.

Det er absolutt vanskeligheter med å introdusere et løst definert begrep som konsekvens i enhver vurdering. DREAD-rammeverket ble senere supplert eller erstattet av STRIDE, delvis på grunn av utfordringer med å forene ulike oppfatninger om hva trusselmodellering innebærer. Microsoft sluttet å bruke DREAD i 2008.

På AI-feltet har konferanser og tidsskrifter allerede introdusert konsekvensuttalelser med ulik grad av suksess og kontrovers. Det er langt fra idiotsikkert: konsekvensanalyser som er rent formelt kan lett spilles, mens en altfor vag definisjon kan føre til vilkårlige eller umulig lange vurderinger.

Likevel er det et viktig skritt fremover. Begrepet algoritme, uansett hvordan det er definert, bør ikke være et skjold for å frita menneskene som designet og implementerte ethvert system med ansvar for konsekvensene av bruken. Dette er grunnen til at offentligheten i økende grad krever algoritmisk ansvarlighet – og konseptet påvirkning tilbyr et nyttig felles grunnlag for ulike grupper som jobber for å møte denne etterspørselen.

Kristian Lum er assisterende forskningsprofessor ved avdelingen for data- og informasjonsvitenskap ved University of Pennsylvania.

Rumman Chowdhury er direktør for Machine Ethics, Transparency, and Accountability (META)-teamet på Twitter. Hun var tidligere administrerende direktør og grunnlegger av Parity, en algoritmisk revisjonsplattform, og global leder for ansvarlig AI hos Accenture.

gjemme seg