211service.com
Ny forskning tar sikte på å løse problemet med AI-bias i Black Box-algoritmer
Siobhan Gallagher
Fra å plukke aksjer til å undersøke røntgen, blir kunstig intelligens i økende grad brukt til å ta avgjørelser som tidligere var opp til mennesker. Men AI er bare så god som dataene den er trent på, og i mange tilfeller ender vi opp med å bygge våre altfor menneskelige skjevheter inn i algoritmer som har potensial til å ha stor innvirkning på folks liv.
I en ny artikkel publisert på arXiv , sier forskere at de kan ha funnet ut en måte å dempe problemet for algoritmer som er vanskelige for utenforstående å undersøke – såkalte black box-systemer.
Et spesielt problematisk område for skjevhet å vise seg er i risikovurderingsmodellering, som kan avgjøre for eksempel en persons sjanser for å bli innvilget kausjon eller godkjent for et lån. Det er vanligvis ulovlig å vurdere faktorer som rase i slike tilfeller, men algoritmer kan lære å gjenkjenne og utnytte det faktum at en persons utdanningsnivå eller hjemmeadresse kan korrelere med annen demografisk informasjon, som effektivt kan gjennomsyre dem med rasemessige og andre skjevheter.
Det som gjør dette problemet enda vanskeligere er at mange av AI-ene som brukes til å ta disse valgene, er svarte bokser – enten er de for kompliserte til å forstå, eller så er de proprietære algoritmer som selskaper nekter å forklare. Forskere har jobbet med verktøy for å se hva som skjer under panseret , men problemet er utbredt og økende (se Biased Algorithms Are Everywhere, and No One Seems to Care).
I avisen prøvde Sarah Tan (som jobbet i Microsoft på den tiden) og kollegene metoden deres på to svarte boks-risikovurderingsmodeller: en om lånerisiko og misligholdsrater fra peer-to-peer-selskapet LendingClub, og en fra Northpointe , et selskap som leverer algoritmebaserte tjenester til domstoler rundt om i landet, og forutsier tilbakefallsrisiko for tiltalte.
Forskerne brukte en todelt tilnærming for å belyse hvordan disse potensielt partiske algoritmene fungerer. Først opprettet de en modell som etterligner black-box-algoritmen som blir undersøkt og kommer opp med en risikoscore basert på et første sett med data, akkurat som LendingClub og Northpointe ville. Deretter bygde de en andre modell som de trente på resultater i den virkelige verden, og brukte den til å finne ut hvilke variabler fra det opprinnelige datasettet som var viktige for endelige utfall.
Når det gjelder LendingClub, analyserte forskerne data om en rekke forfalte lån fra 2007 til 2011. LendingClubs database inneholdt en rekke ulike felt, men forskerne fant at selskapets lånemodell sannsynligvis ignorerte både søkerens årlige inntekt og formålet med lånet. . Inntekt kan være fornuftig å ignorere, siden den er selvrapportert og kan forfalskes. Men formålet med lånet er sterkt korrelert med risiko - lån til små bedrifter er mye mer risikable enn de som brukes til å betale for bryllup, for eksempel. Så LendingClub så ut til å ignorere en viktig variabel.
Northpointe sier i mellomtiden at COMPAS-algoritmen ikke inkluderer rase som en variabel når de gir anbefalinger om straffutmåling. Imidlertid i en etterforskning av ProPublica , samlet journalister raseinformasjon om tiltalte som ble dømt med hjelp fra COMPAS og fant bevis på rasemessig skjevhet. I deres mimiske modell brukte forskerne dataene samlet inn av ProPublica, samt informasjon om de tiltaltes alder, kjønn, siktelsesgrad, antall tidligere domfellelser og lengden på eventuelle tidligere fengselsopphold. Metoden stemte overens med ProPublicas funn, og antydet at COMPAS sannsynligvis var partisk for noen alders- og rasegrupper.
Kritikere kan påpeke at dette ikke er eksakte kopier - av nødvendighet gjorde forskerne mange utdannede gjetninger. Men hvis selskapet bak en algoritme ikke er villig til å gi ut informasjon om hvordan systemet fungerer, er tilnærmingsmodeller som de fra denne forskningen en rimelig måte å få innsikt på, sier Brendan O'Connor, assisterende professor ved University of Massachusetts , Amherst, som har publisert en artikkel om skjevhet i naturlig språkbehandling.
Vi må være klar over at dette skjer, og ikke lukke øynene for det og oppføre oss som om det ikke skjer, sier O'Connor.