211service.com
Storbritannia dropper en immigrasjonsalgoritme som kritikere sier er rasistisk
James Cridland / Flickr
Nyhetene: Det britiske innenriksdepartementet har sagt det vil slutte å bruke en algoritme å behandle visumsøknader som kritikere hevder er rasistisk partisk. Motstandere av det argumentere at algoritmens bruk av nasjonalitet for å avgjøre hvilke søknader som skal spores har ført til et system der folk fra rike hvite land får Speedy Boarding; fattigere fargede blir skjøvet bakerst i køen.
På tide med et redesign: Innenriksdepartementet avviser at systemet deres er rasistisk partisk og rettssaker pågår fortsatt. Likevel har innenrikskontoret gått med på å droppe algoritmen og planlegger å relansere en redesignet versjon senere i år, etter å ha utført en fullstendig gjennomgang som vil se etter ubevisst skjevhet. I mellomtiden vil Storbritannia ta i bruk et midlertidig system som ikke bruker nasjonalitet til å sortere søknader.
Trafikksystem: Siden 2015 har Storbritannia filtrert visumsøknader ved å bruke et trafikklyssystem som tildeler et rødt, gult eller grønt risikonivå til hver søker. Personer som ble tildelt et rødt risikonivå var mer sannsynlig å bli nektet.
Bredere trend: Algoritmer er kjent for forankre institusjonelle skjevheter , spesielt rasistiske. Likevel blir de brukt mer og mer for å hjelpe til med å ta viktige avgjørelser, fra kredittsjekker til visumsøknader til forhåndshøringer og politiarbeid . Kritikere har klaget over at det amerikanske immigrasjonssystemet er det rasistisk partisk også. Men i de fleste tilfeller er det vanskelig å pakke ut nøyaktig hvordan disse algoritmene fungerer og avsløre bevis på deres skjevhet fordi mange er proprietære og bruken av dem har lite offentlig tilsyn.
Men kritikken vokser. I USA suspenderer enkelte politiavdelinger kontroversielle prediktive algoritmer og teknologiselskaper har sluttet å levere forutinntatt ansiktsgjenkjenningsteknologi . I februar slo en nederlandsk domstol fast at et system som forutså hvor sannsynlig en person var til å begå velferds- eller skattesvindel var ulovlig fordi det var urettferdig rettet mot minoriteter. Det britiske innenrikskontorets beslutning om å revidere systemet uten å vente på en juridisk avgjørelse kan vise seg å være en milepæl.