211service.com
Kan du lage en AI som ikke er i stand?
Doug Maloney/Unsplash
Kunstig intelligens har et velkjent skjevhetsproblem, spesielt når det kommer til rase og kjønn. Du har kanskje sett noen av overskriftene: ansiktsgjenkjenningssystemer som ikke klarer å gjenkjenne svarte kvinner , eller automatiserte rekrutteringsverktøy som forbigå kvinnelige kandidater .
Men mens forskere har prøvd hardt å ta opp noen av de mest alvorlige problemene, er det én gruppe mennesker de har oversett: de med funksjonshemming. Ta selvkjørende biler. Algoritmene deres er avhengige av treningsdata for å lære hvordan fotgjengere ser ut, slik at kjøretøyene ikke kjører på dem. Hvis treningsdataene ikke inkluderer personer i rullestol, kan teknologien sette disse menneskene i livsfare.
For Shari Trewin, en forsker i IBMs ledelsesteam for tilgjengelighet, er dette uakseptabelt. Som en del av en nytt initiativ , hun er nå å utforske nye designprosesser og tekniske metoder for å dempe maskinskjevhet mot mennesker med funksjonshemming. Hun snakket med oss om noen av utfordringene – samt noen mulige løsninger.
Følgende er redigert for lengde og klarhet.
Hvorfor er rettferdighet overfor mennesker med nedsatt funksjonsevne et annet problem enn rettferdighet når det gjelder andre beskyttede egenskaper som rase og kjønn?
Funksjonshemmingsstatus er mye mer mangfoldig og kompleks i måten den påvirker mennesker. Mange systemer vil modellere rase eller kjønn som en enkel variabel med et lite antall mulige verdier. Men når det gjelder funksjonshemming, er det så mange forskjellige former og ulike alvorlighetsgrader. Noen av dem er permanente, noen er midlertidige. Enhver av oss kan bli med eller forlate denne kategorien når som helst i livet. Det er en dynamisk ting.
Omtrent én av fem personer i USA har for tiden en funksjonshemming av noe slag. Så det er veldig utbredt, men vanskelig å finne en enkel variabel med et lite antall mulige verdier. Det kan være et system som diskriminerer blinde, men ikke døve. Så det blir mye vanskeligere å teste for rettferdighet.
Informasjon om funksjonshemninger er også svært sensitiv. Folk er mye mer motvillige til å avsløre det enn informasjon om kjønn eller alder eller rase, og i noen situasjoner er det til og med ulovlig å be om denne informasjonen. Så mange ganger i dataene er det mye mindre sannsynlig at du vet noe om funksjonshemminger som en person kanskje har eller ikke. Det gjør det også mye vanskeligere å vite om du har et rettferdig system.
Jeg ville spørre deg om det. Som mennesker bestemte vi oss for at den beste måten å unngå diskriminering av funksjonshemninger på er å ikke avsløre funksjonshemmingsstatus. Hvorfor skulle ikke det gjelde for maskinlæringssystemer?
Shari Trewin, forsker på IBMs Accessibility Leadership-team takket være IBM
Ja, det er det første folk tenker på: hvis systemet ikke vet noe om individers funksjonshemmingsstatus, vil det sikkert være rettferdig. Men problemet er at funksjonshemmingen ofte påvirker andre biter av informasjon som mates inn i modellen. Si for eksempel at jeg er en person som bruker en skjermleser for å få tilgang til nettet, og at jeg tar en online test for en jobbsøknad. Hvis testprogrammet ikke er godt utformet og tilgjengelig for skjermleseren min, vil det ta lengre tid å navigere rundt på siden før jeg kan svare på spørsmålet. Hvis den tiden ikke tas i betraktning når jeg vurderer meg, så er alle som bruker det samme verktøyet med en lignende funksjonshemming i en systematisk ulempe – selv om systemet ikke vet at jeg er blind.
Så hvis det er så mange forskjellige nyanser til funksjonshemming, er det faktisk mulig å oppnå rettferdighet?
Jeg tror den mer generelle utfordringen for AI-fellesskapet er hvordan de skal håndtere uteliggere, fordi maskinlæringssystemer – de lærer normer, ikke sant? De optimerer for normer og behandler ikke uteliggere på noen spesiell måte. Men ofte passer ikke mennesker med funksjonshemninger til normen. Måten maskinlæring dømmer folk etter hvem den tror de ligner på – selv når den kanskje aldri har sett noen som ligner på deg – er en grunnleggende begrensning når det gjelder rettferdig behandling av funksjonshemmede.
Det som ville fungere mye bedre ville være en metode som kombinerer maskinlæring med en tilleggsløsning, som logiske regler som er implementert i et lag over. Det er også noen situasjoner der mer oppmerksomhet på å samle inn et mer mangfoldig datasett definitivt vil hjelpe. Noen mennesker eksperimenterer med teknikker der du tar ut kjernen i dataene og prøver å trene for uteliggere. Andre eksperimenterer med forskjellige læringsteknikker som kan optimalisere bedre for uteliggere i stedet for normen.
Jeg tror det er først når du begynner å tenke på funksjonshemming at du begynner å tenke på mangfoldet av individer og viktigheten av uteliggere. Hvis du ikke har nok kjønnsmangfold i datasettet ditt, kan du fikse det. Det er ikke så lett å fikse funksjonshemmingsmangfold.
Hvordan kommer du over problemet med at folk er private om funksjonshemmingen sin?
Ja, for å teste et system for rettferdighet, trenger du litt data. Og funksjonshemmede som gir disse dataene er et sosialt gode, men det er en personlig risiko. Mennesker med nedsatt funksjonsevne er ofte lett å identifisere selv i anonyme data, bare fordi de er så unike. Så hvordan kan vi dempe det? Vi finner fortsatt ut av det.
Hva er dine største bekymringer om dette problemet?
Ofte optimaliserer AI-systemer noe som ikke er velferden til menneskene som er berørt av beslutningene. Denne innvirkningen må ha mye mer fremtredende plass i designprosessen, slik at vi ikke bare introduserer et system som ser på hvor mye penger vi sparer eller hvor effektivt vi behandler folk. Vi trenger nye måter å måle systemer på som inkluderer aspektet av innvirkning på sluttbrukerne, spesielt hvis det er en vanskeligstilt gruppe.
Hvordan ville vi gjort det?
Å teste for rettferdighet er en måte å måle den effekten på. Å inkludere den vanskeligstilte gruppen i designprosessen og høre deres bekymringer er en annen. Til og med eksplisitt inkludert noen beregninger for interessenttilfredshet som du kan måle gjennom intervjuer eller undersøkelser - den slags ting.
Hva er det du er begeistret for i dette forskningsområdet?
AI-teknologier endrer allerede verden for funksjonshemmede ved å gi dem nye funksjoner, som applikasjoner som forteller deg hva som er i synsfeltet ditt når du peker på telefonen.
Jeg tror at hvis vi gjør det riktig, er det en reell mulighet for AI-systemer til å forbedre seg på tidligere systemer kun for mennesker. Det er mye diskriminering og skjevhet og misforståelser av mennesker med nedsatt funksjonsevne i samfunnet i dag. Hvis vi kan finne en måte å produsere AI-systemer som eliminerer den slags skjevhet, kan vi begynne å endre behandlingen av mennesker med funksjonshemminger og redusere diskriminering.