En amerikansk regjeringsundersøkelse bekrefter at de fleste ansiktsgjenkjenningssystemer er rasistiske

Kategori: Kunstig intelligens Lagt ut 20. desember

Nesten 200 ansiktsgjenkjenningsalgoritmer – et flertall i bransjen – hadde dårligere ytelse på ikke-hvite ansikter, ifølge en landemerkestudie .

Hva de testet: US National Institute of Standards and Technology (NIST) testet hver algoritme på to av de vanligste oppgavene for ansiktsgjenkjenning. Den første, kjent som en-til-en-matching, innebærer å matche et bilde av noen med et annet bilde av samme person i en database. Dette brukes for eksempel til å låse opp smarttelefoner eller sjekke pass. Det andre, kjent som en-til-mange-søk, innebærer å avgjøre om et bilde av noen har noen treff i en database. Dette brukes ofte av politiavdelinger for å identifisere mistenkte i en etterforskning.

Byrået studerte fire ansiktsdatasett som for tiden brukes i amerikanske regjeringsapplikasjoner: krusbilder av mennesker som bor i USA; søknadsbilder fra personer som søker om immigrasjonsstøtte; søknadsbilder fra personer som søker om visum; og bilder av mennesker da de krysset grensen til USA. Totalt inkluderte datasettene 18,27 millioner bilder av 8,49 millioner mennesker.

Hva de fant: NIST delte noen resultater på høyt nivå fra studien. De viktigste:

1. For en-til-en-matching hadde de fleste systemer en høyere andel falske positive samsvar for asiatiske og afroamerikanske ansikter over kaukasiske ansikter, noen ganger med en faktor på 10 eller til og med 100. Med andre ord var det mer sannsynlig at de finne en match når det ikke var en.

2. Dette endret seg for ansiktsgjenkjenningsalgoritmer utviklet i asiatiske land, som ga svært liten forskjell i falske positiver mellom asiatiske og kaukasiske ansikter.

3. Algoritmer utviklet i USA var alle konsekvent dårlige til å matche asiatiske, afroamerikanske og indianske ansikter. Innfødte amerikanere led de høyeste falske positive prisene.

4. En-til-mange-matching, systemer hadde de verste falske positive ratene for afroamerikanske kvinner, noe som setter denne befolkningen i høyest risiko for å bli falskt anklaget for en forbrytelse.

Hvorfor dette er viktig: Bruken av ansiktsgjenkjenningssystemer vokser raskt innen rettshåndhevelse, grensekontroll og andre applikasjoner i hele samfunnet. Mens flere akademiske studier tidligere har vist at populære kommersielle systemer er partiske på rase og kjønn, er NISTs studie den mest omfattende evalueringen til dags dato og bekrefter disse tidligere resultatene. Funnene stiller spørsmål ved om disse systemene bør fortsette å være så mye brukt.

Neste skritt: Det er nå opp til beslutningstakere å finne ut den beste måten å regulere disse teknologiene på. NIST oppfordrer også utviklere for ansiktsgjenkjenning til å forske mer på hvordan disse skjevhetene kan reduseres.

For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.