Talsmenn for funksjonshemmingsrettigheter er bekymret for diskriminering i AI-ansettelsesverktøy

Ms Tech | Getty

Din evne til å få din neste jobb kan avhenge av hvor godt du spiller et av de AI-drevne spillene som selskaper liker AstraZeneca og Postkamerater bruker i økende grad i ansettelsesprosessen.

Noen selskaper som lager disse spillene, som Pymetrics og Arctic Shores, hevder at de begrenser skjevheter i ansettelse. Men AI-ansettespill kan være spesielt vanskelig å navigere for arbeidssøkere med funksjonshemminger.

I den siste episoden av MIT Technology Review sin podcast In Machines We Trust, utforsker vi hvordan AI-drevne ansettelsesspill og andre verktøy kan ekskludere personer med funksjonshemminger. Og mens mange mennesker i USA ser til den føderale kommisjonen som er ansvarlig for arbeidsdiskriminering for å regulere disse teknologiene, har byrået ennå ikke handlet.

For å se nærmere, spurte vi Henry Claypool , en funksjonshemmingspolitisk analytiker, å spille en av Pymetri sine spill. Pymetrics måler ni ferdigheter, inkludert oppmerksomhet, generøsitet og risikotoleranse, som administrerende direktør og medgründer Frida Polly sier forholder seg til jobbsuksess.

Når det jobber med et selskap som ønsker å ansette nye folk, ber Pymetrics først selskapet identifisere personer som allerede lykkes med jobben det prøver å fylle og få dem til å spille sine spill. Deretter, for å identifisere ferdighetene som er mest spesifikke for de vellykkede ansatte, sammenligner den spilldataene deres med data fra et tilfeldig utvalg av spillere.

Da han meldte seg på, fikk spillet Claypool til å velge mellom en modifisert versjon – designet for de med fargeblindhet, ADHD eller dysleksi – og en umodifisert versjon. Dette spørsmålet utgjør et dilemma for søkere med nedsatt funksjonsevne, sier han.

Frykten er at hvis jeg klikker på en av disse, vil jeg avsløre noe som vil diskvalifisere meg for jobben, og hvis jeg ikke klikker på – si – dysleksi eller hva det nå er som gjør det vanskelig for meg å lese brev og behandle den informasjonen raskt, da vil jeg være i en ulempe, sier Claypool. Jeg kommer til å mislykkes uansett.

Relatert historie

Vi testet AI-intervjuverktøy. Her er hva vi fant.

En ga kandidaten vår høy poengsum for engelskkunnskaper da hun kun snakket tysk.

Polli sier at Pymetrics ikke forteller arbeidsgivere hvilke søkere som ba om innkvartering i spillet under ansettelsesprosessen, noe som skulle bidra til å forhindre at arbeidsgivere diskriminerer personer med visse funksjonshemminger. Hun la til at som svar på vår rapportering, vil selskapet gjøre denne informasjonen mer tydelig slik at søkere vet at deres behov for en innkvartering i spillet er privat og konfidensielt.

Americans with Disabilities Act krever at arbeidsgivere sørger for rimelige tilrettelegginger til personer med funksjonshemminger. Og hvis en bedrifts ansettelsesvurderinger ekskluderer personer med nedsatt funksjonsevne, må det bevise at disse vurderingene er nødvendige for jobben.

For arbeidsgivere, bruk av spill som de produsert av Arctic Shores kan virke mer objektiv. I motsetning til tradisjonell psykometrisk testing, evaluerer Arctic Shores sin algoritme kandidater på grunnlag av deres valg gjennom hele spillet. Imidlertid vet kandidater ofte ikke hva spillet måler eller hva de kan forvente mens de spiller. For søkere med nedsatt funksjonsevne gjør dette det vanskelig å vite om de skal be om tilrettelegging.

Safe Hammad, CTO og medgründer av Arctic Shores, sier teamet hans er fokusert på å gjøre sine vurderinger tilgjengelige for så mange mennesker som mulig. Personer med fargeblindhet og hørselshemninger kan bruke selskapets programvare uten spesielle tilpasninger, sier han, men arbeidsgivere bør ikke bruke slike forespørsler for å sile ut kandidater.

Bruken av disse verktøyene kan noen ganger ekskludere folk på måter som kanskje ikke er åpenbare for en potensiell arbeidsgiver. patty sanchez er arbeidsspesialist ved MacDonald treningssenter i Florida som jobber med arbeidssøkere som er døve eller tunghørte. For rundt to år siden søkte en av hennes klienter jobb hos Amazon som krevde et videointervju gjennom HireVue .

Sanchez, som også er døv, forsøkte å ringe og be om hjelp fra selskapet, men klarte ikke å komme gjennom. I stedet tok hun med seg klienten sin og en tegnspråktolk til ansettelsesstedet og overtalte representanter der til å intervjue ham personlig. Amazon ansatt klienten hennes, men Sanchez sier at problemer som disse er vanlige når du navigerer i automatiserte systemer. (Amazon svarte ikke på en forespørsel om kommentar.)

Å gjøre ansettelsesteknologi tilgjengelig betyr å sikre både at en kandidat kan bruke teknologien og at ferdighetene den måler ikke urettferdig ekskluderer kandidater med nedsatt funksjonsevne, sier Alexandra Givens , administrerende direktør i Senter for demokrati og teknologi , en organisasjon fokusert på borgerrettigheter i den digitale tidsalderen.

AI-drevne ansettelsesverktøy klarer ofte ikke å inkludere personer med funksjonshemminger når de genererer treningsdataene deres, sier hun. Slike mennesker har lenge vært ekskludert fra arbeidsstyrken, så algoritmer som er modellert etter et selskaps tidligere ansettelser, vil ikke reflektere potensialet deres.

Selv om modellene kan forklare uteliggere, varierer måten en funksjonshemming presenterer seg på mye fra person til person. To personer med autisme kan for eksempel ha svært forskjellige styrker og utfordringer.

Ettersom vi automatiserer disse systemene, og arbeidsgivere presser frem til det som er raskest og mest effektivt, mister de sjansen for at folk faktisk kan vise sine kvalifikasjoner og sin evne til å gjøre jobben, sier Givens. Og det er et stort tap.

En hands-off tilnærming

Offentlige regulatorer finner det vanskelig å overvåke AI-ansettelsesverktøy. I desember 2020 skrev 11 senatorer ett brev til US Equal Employment Opportunity Commission uttrykker bekymring for bruken av ansettelsesteknologier etter covid-19-pandemien. Brevet spurte om byråets myndighet til å undersøke om disse verktøyene diskriminerer, spesielt mot funksjonshemmede.

EEOC svarte med et brev i januar som ble lekket til MIT Technology Review . I brevet indikerte kommisjonen at den ikke kan undersøke verktøy for AI-innleie uten et spesifikt krav om diskriminering. Brevet skisserte også bekymringer om industriens nøling med å dele data og sa at variasjon mellom ulike selskapers programvare ville hindre EEOC i å innføre noen brede retningslinjer.

Jeg ble overrasket og skuffet da jeg så responsen, sier Roland Behm , en advokat og talsmann for mennesker med atferdshelseproblemer. Hele innholdet i det brevet så ut til å få EEOC til å virke mer som en passiv tilskuer enn et håndhevingsorgan.

Byrået starter vanligvis en etterforskning når en person sender inn et krav om diskriminering. Med AI-ansettelsesteknologi vet imidlertid de fleste kandidater ikke hvorfor de ble avvist for jobben. Jeg tror at en grunn til at vi ikke har sett flere håndhevingstiltak eller private rettssaker på dette området skyldes det faktum at kandidater ikke vet at de blir vurdert eller vurdert av en datamaskin, sier Keith Nerd , en EEOC-kommissær.

Sonderling sier han tror at kunstig intelligens vil forbedre ansettelsesprosessen, og han håper byrået vil gi veiledning til arbeidsgivere om hvordan den best kan implementeres. Han sier han ønsker velkommen tilsyn fra kongressen.

Relatert historie

Revisorer tester ansettelsesalgoritmer for skjevhet, men det er ingen enkel løsning

AI-revisjoner kan overse visse typer skjevheter, og de bekrefter ikke nødvendigvis at et ansettelsesverktøy velger de beste kandidatene til en jobb.

Derimot, Aaron Rieke , administrerende direktør i Opptur , en ideell organisasjon dedikert til sivile rettigheter og teknologi, uttrykte skuffelse over EEOCs svar: Jeg håper faktisk at EEOC i årene fremover kan være litt mer aggressive og kreative når det gjelder å tenke på hvordan man bruker denne autoriteten.

Pauline Kim , en jusprofessor ved Washington University i St. Louis , hvis forskning fokuserer på algoritmiske ansettelsesverktøy, sier at EEOC kan være mer proaktiv i å samle forskning og oppdatere retningslinjer for å hjelpe arbeidsgivere og AI-selskaper med å overholde loven.

Behm legger til at EEOC kan forfølge andre veier for håndhevelse, inkludert en kommissæravgift, som lar kommisjonærer starte en etterforskning av mistanke om diskriminering i stedet for å kreve et individuelt krav (Sonderling sier at han vurderer å fremsette en slik siktelse). Han foreslår også at EEOC rådfører seg med advokatgrupper for å utvikle retningslinjer for AI-selskaper som håper å representere mennesker med funksjonshemninger bedre i deres algoritmemodeller.

Det er usannsynlig at AI-selskaper og arbeidsgivere siler ut mennesker med funksjonshemminger med vilje, sier Behm. Men de har ikke brukt tiden og kreftene som er nødvendige for å forstå systemene som tar det som for mange mennesker er livsendrende beslutninger: Skal jeg bli ansatt eller ikke? Kan jeg forsørge familien min eller ikke?

gjemme seg