Deltakelsesvask kan bli den neste farlige kjepphest innen maskinlæring

Ms Tech | Getty, Unsplash

AI-fellesskapet våkner endelig opp til det faktum at maskinlæring kan forårsake uforholdsmessig skade på allerede undertrykte og vanskeligstilte grupper. Vi har aktivister og arrangører å takke for det. Nå leter maskinlæringsforskere og lærde etter måter å gjøre AI mer rettferdig, ansvarlig og transparent – ​​men også, nylig, mer deltakende.

Et av de mest spennende og godt besøkte arrangementene på Internasjonal konferanse om maskinlæring i juli ble kalt Deltakende tilnærminger til maskinlæring . Denne workshopen benyttet seg av samfunnets ambisjon om å bygge mer demokratiske, samarbeidende og rettferdige algoritmiske systemer ved å inkorporere deltakende metoder i deres design. Slike metoder bringer de som samhandler med og er påvirket av et algoritmisk system inn i designprosessen – for eksempel å be sykepleiere og leger om å hjelpe til med å utvikle en sepsisdeteksjonsverktøy .

Dette er en sårt tiltrengt intervensjon innen maskinlæring, som kan være overdrevent hierarkisk og homogen. Men det er ingen sølvkule: faktisk kan deltakelsesvasking bli feltets neste farlige kjepphest. Det er det jeg, sammen med mine medforfattere Emanuel Moss, Olaitan Awomolo og Laura Forlano, argumenterer i vår nylige artikkel Deltakelse er ikke en designfiks for maskinlæring .

Å ignorere mønstre av systemisk undertrykkelse og privilegier fører til uansvarlige maskinlæringssystemer som er dypt ugjennomsiktige og urettferdige. Disse mønstrene har gjennomsyret feltet de siste 30 årene. I mellomtiden har verden sett den eksponentielle veksten av rikdomsulikhet og fossilt drivstoff-drevne klimaendringer. Disse problemene er forankret i en nøkkeldynamikk i kapitalismen: utvinning. Deltakelse er også ofte basert på den samme ekstraktive logikken, spesielt når det kommer til maskinlæring.

Deltakelse er ikke gratis

La oss starte med denne observasjonen: deltakelse er allerede en stor del av maskinlæring, men på problematiske måter. En måte er deltakelse som arbeid.

Uansett om arbeidet deres er anerkjent eller ikke, spiller mange deltakere en viktig rolle i å produsere data som brukes til å trene og evaluere maskinlæringsmodeller. Bilder som noen har tatt og lagt ut blir skrapet fra nettet, og lavtlønnede arbeidere på plattformer som Amazon Mechanical Turk kommenterer disse bildene for å gjøre dem til treningsdata. Vanlige nettstedbrukere gjør også denne merknaden når de fullfører en reCAPTCHA. Og det er mange eksempler på det som kalles spøkelsesarbeid – Antropolog Mary Grays betegnelse for alt arbeid bak kulissene som går med til å få tilsynelatende automatiserte systemer til å fungere. Mye av denne deltakelsen blir ikke riktig kompensert, og i mange tilfeller blir den knapt engang anerkjent.

Deltakelse som konsultasjon er i mellomtiden en trend som sees innen områder som bydesign, og i økende grad også innen maskinlæring. Men effektiviteten til denne tilnærmingen er begrenset. Det er generelt kortvarig, uten plan om å etablere meningsfulle langsiktige partnerskap. Bekymringer om intellektuell eiendom gjør det vanskelig å virkelig undersøke disse verktøyene. Som et resultat er denne formen for deltakelse for ofte bare performativ.

Relatert historie

Problemene AI har i dag går århundrer tilbake Algoritmisk diskriminering og spøkelsesarbeid dukket ikke opp ved et uhell. Å forstå deres lange, urovekkende historie er det første skrittet mot å fikse dem.

Mer lovende er ideen om deltakelse som rettferdighet . Her jobber alle medlemmer av designprosessen sammen i tett koblede relasjoner med hyppig kommunikasjon. Deltakelse som rettferdighet er en langsiktig forpliktelse som fokuserer på å designe produkter veiledet av mennesker fra ulike bakgrunner og samfunn, inkludert funksjonshemmingssamfunnet, som lenge har spilt en hovedrolle her. Dette konseptet har sosial og politisk betydning, men kapitalistiske markedsstrukturer gjør det nesten umulig å implementere godt.

Maskinlæring utvider teknologiindustriens bredere prioriteringer, som fokuserer på skala og utvinning. Det betyr at deltakende maskinlæring foreløpig er en oksymoron. Som standard har de fleste maskinlæringssystemer evnen til å overvåke, undertrykke og tvinge (inkludert i arbeidsplass ). Disse systemene har også måter å produsere samtykke på – for eksempel ved å kreve at brukere velger overvåkingssystemer for å bruke visse teknologier, eller ved å implementere standard instillinger som fraråder dem å utøve sin rett til privatliv.

Gitt det er det ingen overraskelse at maskinlæring ikke klarer å ta hensyn til eksisterende kraftdynamikk og tar en ekstraktiv tilnærming til samarbeid. Hvis vi ikke er forsiktige, kan deltakende maskinlæring følge banen til AI-etikk og bli bare enda en kjepphest som brukes til å legitimere i Rettferdighet.

En bedre måte

Hvordan kan vi unngå disse farene? Det finnes ikke noe enkelt svar. Men her er fire forslag:

Anerkjenne deltakelse som arbeid. Mange bruker allerede maskinlæringssystemer i hverdagen. Mye av dette arbeidet vedlikeholder og forbedrer disse systemene og er derfor verdifullt for systemenes eiere. For å erkjenne det, bør alle brukere bes om samtykke og gis måter å velge bort ethvert system på. Dersom de velger å delta, bør de tilbys kompensasjon. Å gjøre dette kan bety å avklare når og hvordan data generert av en brukers atferd vil bli brukt til opplæringsformål (for eksempel via et banner i Google Maps eller et påmeldingsvarsel). Det vil også bety å gi passende støtte til innholdsmoderatorer , ganske kompenserende spøkelsesarbeidere, og utvikle monetære eller ikke-monetære belønningssystemer for å kompensere brukere for deres data og arbeid.

Gjør deltakelse kontekstspesifikk . I stedet for å prøve å bruke en tilnærming som passer alle, må teknologer være klar over de spesifikke kontekstene de opererer i. For eksempel når du designer en system for å forutsi ungdoms- og gjengvold , bør teknologer kontinuerlig revurdere måtene de bygger på levd erfaring og domeneekspertise på, og samarbeide med menneskene de designer for. Dette er spesielt viktig ettersom konteksten til et prosjekt endres over tid. Å dokumentere selv små endringer i prosess og kontekst kan danne et kunnskapsgrunnlag for langsiktig, effektiv deltakelse. Bør for eksempel bare leger konsulteres i utformingen av et maskinlæringssystem for klinisk behandling, eller bør sykepleiere og pasienter også inkluderes? Å gjøre det klart hvorfor og hvordan visse samfunn var involvert, gjør slike beslutninger og relasjoner transparente, ansvarlige og handlingsrettede.

Planlegg for langsiktig deltakelse fra start. Folk er mer sannsynlig å forbli engasjert i prosesser over tid hvis de er i stand til å dele og få kunnskap, i motsetning til å få den hentet fra dem. Dette kan være vanskelig å oppnå i maskinlæring, spesielt for proprietære designtilfeller. Her er det verdt å erkjenne spenningene som kompliserer langsiktig deltakelse i maskinlæring, og erkjenne at samarbeid og rettferdighet ikke skaleres på friksjonsfrie måter. Disse verdiene krever konstant vedlikehold og må artikuleres om og om igjen i nye sammenhenger.

Lær av tidligere feil. Mer skade kan gjøres ved å kopiere tankegangene som opprinnelig produserte skadelig teknologi. Vi som forskere må styrke vår kapasitet for sideveis tenkning på tvers av applikasjoner og profesjoner. For å lette dette kan maskinlærings- og designfellesskapet utvikle en søkbar database for å fremheve feil ved designdeltakelse (som f.eks. Sidewalk Labs’ vannkantprosjekt i Toronto ). Disse feilene kan kryssreferanser med sosiostrukturelle konsepter (som spørsmål knyttet til rasemessig ulikhet). Denne databasen bør dekke designprosjekter i alle sektorer og domener, ikke bare de innen maskinlæring, og eksplisitt erkjenne fravær og uteliggere. Disse kantsakene er ofte de vi kan lære mest av.

Det er spennende å se maskinlæringssamfunnet omfavne spørsmål om rettferdighet og rettferdighet. Men svarene bør ikke baseres på deltakelse alene. Ønsket om en sølvkule har plaget teknologimiljøet for lenge. Det er på tide å omfavne kompleksiteten som følger med å utfordre den ekstraktive kapitalistiske logikken til maskinlæring.

Mona Sloane er sosiolog med base ved New York University. Hun jobber med designulikhet i sammenheng med AI-design og policy.

gjemme seg