211service.com
Dette er hvordan AI-bias virkelig skjer - og hvorfor det er så vanskelig å fikse
Ms. Tech; Foto: PIXOLOGICSTUDIO/VITENSKAP FOTOBIBLIOTEK
I løpet av de siste månedene har vi dokumentert hvordan det store flertallet av AI-applikasjonene i dag er basert på kategorien algoritmer kjent som dyp læring, og hvordan dyplæringsalgoritmer finner mønstre i data. Vi har også dekket hvordan disse teknologiene påvirker folks liv: hvordan de kan opprettholde urettferdighet i ansettelse, detaljhandel og sikkerhet, og kanskje allerede gjør det i det strafferettslige systemet.
Men det er ikke nok bare å vite at denne skjevheten eksisterer. Hvis vi ønsker å kunne fikse det, må vi forstå mekanikken for hvordan det oppstår i utgangspunktet.
Hvordan AI-bias oppstår
Vi stenografier ofte vår forklaring på AI-bias ved å skylde på partiske treningsdata. Virkeligheten er mer nyansert: skjevhet kan snike seg inn lenge før dataene er hentet samt kl mange andre stadier av dyplæringsprosessen. For formålet med denne diskusjonen vil vi fokusere på tre viktige stadier.
Innramming av problemet. Det første informatikere gjør når de lager en dyplæringsmodell, er å bestemme hva de faktisk vil at den skal oppnå. Et kredittkortselskap, for eksempel, vil kanskje forutsi en kundes kredittverdighet, men kredittverdighet er et ganske uklart konsept. For å oversette det til noe som kan beregnes, må selskapet bestemme om det vil for eksempel maksimere fortjenestemarginene eller maksimere antallet lån som blir tilbakebetalt. Den kan da definere kredittverdighet innenfor rammen av dette målet. Problemet er at disse avgjørelsene tas av ulike forretningsmessige årsaker andre enn rettferdighet eller diskriminering, forklarer Solon Barocas, en assisterende professor ved Cornell University som spesialiserer seg på rettferdighet innen maskinlæring. Hvis algoritmen oppdaget at det å gi ut subprime-lån var en effektiv måte å maksimere profitt på, ville den ende opp med å engasjere seg i rovdrift selv om det ikke var selskapets intensjon.
Innsamling av data. Det er to hovedmåter som skjevhet viser seg i treningsdata: enten er dataene du samler inn ikke representativt for virkeligheten, eller så gjenspeiler de eksisterende fordommer. Det første tilfellet kan for eksempel oppstå hvis en dyplæringsalgoritme mates med flere bilder av lyshudede ansikter enn mørkhudede ansikter. Det resulterende ansiktsgjenkjenningssystemet ville uunngåelig være dårligere til å gjenkjenne ansikter med mørkere hud. Det andre tilfellet er nettopp det som skjedde da Amazon oppdaget at dets interne rekrutteringsverktøy var det avskjedige kvinnelige kandidater . Fordi den ble opplært i historiske ansettelsesbeslutninger, som favoriserte menn fremfor kvinner, lærte den å gjøre det samme.
Klargjøring av data. Til slutt er det mulig å introdusere skjevhet under dataforberedelsesstadiet, som innebærer å velge hvilke attributter du vil at algoritmen skal vurdere. (Dette må ikke forveksles med problem-framing-stadiet. Du kan bruke de samme attributtene for å trene en modell for svært forskjellige mål eller bruke veldig forskjellige attributter for å trene en modell for det samme målet.) Når det gjelder modellering av kredittverdighet, et attributt kan være kundens alder, inntekt eller antall nedbetalte lån. Når det gjelder Amazons rekrutteringsverktøy, kan en egenskap være kandidatens kjønn, utdanningsnivå eller års erfaring. Dette er det folk ofte kaller kunsten med dyp læring: Å velge hvilke egenskaper som skal vurderes eller ignoreres kan påvirke modellens prediksjonsnøyaktighet betydelig. Men selv om innvirkningen på nøyaktigheten er enkel å måle, er dens innvirkning på modellens skjevhet ikke.
Hvorfor AI-bias er vanskelig å fikse
Gitt den konteksten kan noen av utfordringene med å redusere skjevheter allerede være tydelige for deg. Her trekker vi frem fire hovedtrekk.
Ukjente ukjente. Innføringen av skjevhet er ikke alltid åpenbar under konstruksjonen av en modell fordi du kanskje ikke innser nedstrømsvirkningene av dataene og valgene dine før mye senere. Når du først har gjort det, er det vanskelig å identifisere i ettertid hvor den skjevheten kom fra og deretter finne ut hvordan du kan bli kvitt den. I Amazons tilfelle, da ingeniørene først oppdaget at verktøyet straffet kvinnelige kandidater, omprogrammerte de det til å ignorere eksplisitt kjønnsordnede ord som kvinners. De oppdaget snart at det reviderte systemet fortsatt tok seg opp implisitt kjønnede ord -verb som var sterkt korrelert med menn fremfor kvinner, for eksempel henrettet og tatt til fange - og bruke det til å ta sine beslutninger.
Ufullkomne prosesser. For det første er mange av standardpraksisene innen dyp læring ikke utformet med tanke på skjevhetsdeteksjon. Dyplæringsmodeller testes for ytelse før de distribueres, og skaper det som ser ut til å være en perfekt mulighet for å fange skjevheter. Men i praksis ser testingen vanligvis slik ut: dataforskere deler dataene sine tilfeldig før opplæring i en gruppe som faktisk brukes til trening og en annen som er reservert for validering når treningen er fullført. Det betyr at dataene du bruker for å teste ytelsen til modellen din har de samme skjevhetene som dataene du brukte til å trene den. Dermed vil den ikke flagge skjeve eller fordomsfulle resultater.
Mangel på sosial kontekst. På samme måte er måten informatikere blir lært opp til å ramme problemer ofte ikke forenlig med den beste måten å tenke på sosiale problemer. For eksempel i et nytt papir , Andrew Selbst, en postdoc ved Data & Society Research Institute, identifiserer det han kaller portabilitetsfellen. Innenfor informatikk anses det som god praksis å designe et system som kan brukes til ulike oppgaver i ulike sammenhenger. Men det som gjør er å ignorere mye sosial kontekst, sier Selbst. Du kan ikke ha et system designet i Utah og deretter brukt i Kentucky direkte fordi forskjellige samfunn har forskjellige versjoner av rettferdighet. Eller du kan ikke ha et system som du søker om 'rettferdige' strafferettslige resultater og deretter brukt på ansettelse. Hvordan vi tenker om rettferdighet i disse sammenhengene er bare helt annerledes.
Definisjonene av rettferdighet. Det er heller ikke klart hvordan fraværet av skjevhet skal se ut. Dette er ikke sant bare i informatikk - dette spørsmålet har en lang historie med debatt innen filosofi, samfunnsvitenskap og juss. Det som er annerledes med informatikk er at begrepet rettferdighet må defineres i matematiske termer, som å balansere de falske positive og falske negative frekvensene til et prediksjonssystem. Men som forskere har oppdaget, er det mange forskjellige matematiske definisjoner av rettferdighet som også utelukker hverandre. Betyr rettferdighet for eksempel at samme andel av svarte og hvite individer bør få høy risikovurdering score? Eller at samme risikonivå bør resultere i samme poengsum uansett rase? Det er umulig å oppfylle begge definisjonene samtidig ( her er en mer dyptgående titt på hvorfor), så på et tidspunkt må du velge en. Men mens denne beslutningen på andre felt forstås å være noe som kan endre seg over tid, har informatikkfeltet en forestilling om at den bør fikses. Ved å fikse svaret, løser du et problem som ser veldig annerledes ut enn hvordan samfunnet har en tendens til å tenke på disse problemene, sier Selbst.
Hvor vi går herfra
Hvis du nøler etter vår virvelvindende omvisning av hele omfanget av AI-bias-problemet, så er jeg det også. Men heldigvis jobber en sterk kontingent av AI-forskere hardt for å løse problemet. De har tatt en rekke tilnærminger: algoritmer som hjelper oppdage og minske skjulte skjevheter i treningsdata eller som reduserer skjevheter lært av modellen uavhengig av datakvaliteten; prosesser som holder selskaper ansvarlig til mer rettferdige resultater og diskusjoner som hash ut de forskjellige definisjonene av rettferdighet.
Å «fikse» diskriminering i algoritmiske systemer er ikke noe som kan løses enkelt, sier Selbst. Det er en pågående prosess, akkurat som diskriminering i alle andre aspekter av samfunnet.
Dette dukket opprinnelig opp i vårt AI-nyhetsbrev The Algorithm. For å få den levert direkte til innboksen din, registrer deg her gratis.