211service.com
AI-programmer lærer å ekskludere noen afroamerikanske stemmer
Stemmegrensesnitt, chatbots og andre systemer diskriminerer visse minoritetsdialekter. 16. august 2017
Altfor ofte gjør folk raske vurderinger basert på hvordan du snakker. Noen AI-systemer lærer også å være fordommer mot noen dialekter. Og etter hvert som språkbaserte AI-systemer blir stadig mer vanlig, kan noen minoriteter automatisk bli diskriminert av maskiner, advarer forskere som studerer problemet.
Alle med en sterk eller uvanlig aksent kan vite hvordan det er å ha problemer med å bli forstått av Siri eller Alexa. Dette er fordi stemmegjenkjenningssystemer bruker naturlig språkteknologi for å analysere innholdet i tale, og det er ofte avhengig av algoritmer som er trent med eksempeldata. Hvis det ikke er nok eksempler på en bestemt aksent eller et bestemt språk, kan disse systemene rett og slett ikke forstå deg (se AIs språkproblem).
Problemet kan være mer utbredt og skadelig enn de fleste er klar over. Naturlig-språkteknologi driver nå automatiserte interaksjoner med kunder, gjennom automatiserte telefonsystemer eller chatbots. Den brukes til å gruve opinionen på nettet og sosiale nettverk, og til å finkjemme skriftlige dokumenter for nyttig informasjon. Dette betyr at tjenester og produkter bygget på toppen av språksystemer allerede kan være urettferdig diskriminerende mot visse grupper.
Brendan O'Connor , en assisterende professor ved University of Massachusetts, Amherst, og en av hans hovedfagsstudenter, Su Lin Blodgett , så på språkbruken på Twitter. Ved å bruke demografisk filtrering samlet forskerne 59,2 millioner tweets med høy sannsynlighet for å inneholde afroamerikansk slang eller folkespråk. De testet deretter flere behandlingsverktøy for naturlig språk på dette datasettet for å se hvordan de ville behandle disse utsagnene. De fant ut at ett populært verktøy klassifiserte disse innleggene som danske med høy grad av selvtillit.
Hvis du analyserer Twitter for folks meninger om en politiker og du ikke engang vurderer hva afroamerikanere sier eller unge voksne sier, virker det problematisk, sier O'Connor.
Paret testet også flere populære maskinlæringsbaserte APIer som analyserer tekst for mening og følelser, og de fant ut at disse systemene også slet. Hvis du kjøper en sentimentanalysator fra et eller annet selskap, vet du ikke engang hvilke skjevheter den har i seg, sier O'Connor. Vi har ikke mye revisjon eller kunnskap om disse tingene.
Han sier at problemet strekker seg til alle systemer som bruker språk, inkludert søkemotorer.
Spørsmålet om urettferdighet som dukker opp ved bruk av AI-algoritmer får oppmerksomhet i enkelte hold ettersom disse algoritmene brukes mer utbredt. Et kontroversielt eksempel på mulig skjevhet er en proprietær algoritme kalt Compass, som brukes til å avgjøre om fengselsinnsatte skal innvilges prøveløslatelse. Virkemåten til algoritmen er ukjent, men undersøkelser antyder at det er partisk mot svarte innsatte.
Noen eksperter sier imidlertid at problemet kan være mer alvorlig enn mange vet, og påvirker et økende antall beslutninger innen finans, helsevesen og utdanning (se Forutinntatte algoritmer er overalt og ingen ser ut til å bry seg ).
UMass-forskerne presenterte arbeidet sitt på en workshop dedikert til å utforske spørsmålet om skjevhet i AI. Arrangementet, Fairness and Transparency in Machine Learning, var en del av en større datavitenskapskonferanse i år, men det vil bli en frittstående konferanse i seg selv i 2018. Solon barokker , en assisterende professor ved Cornell og en av grunnleggerne av arrangementet, sier at feltet vokser, med flere og flere forskere som utforsker spørsmålet om skjevheter i AI-systemer.
Delt Goel , en assisterende professor ved Stanford University som studerer algoritmisk rettferdighet og offentlig politikk, sier at problemet ikke alltid er enkelt. Han bemerker at det kan være for forenklet å kalle algoritmer partiske, ved at de kan fungere helt etter hensikten, lage spådommer som er nøyaktige, og ganske enkelt reflekterer bredere sosiale skjevheter. Det er bedre å beskrive hva en algoritme gjør, grunnen til at den gjør det, og deretter bestemme om det er det vi vil at den skal gjøre, sier Goel.