Revisorer tester ansettelsesalgoritmer for skjevhet, men det er ingen enkel løsning

AI-revisjoner kan overse visse typer skjevheter, og de bekrefter ikke nødvendigvis at et ansettelsesverktøy velger de beste kandidatene til en jobb.

Simon Simard

av

• Hilke Schellmann arkivside

11. februar 2021

Jeg er hjemme og spiller et videospill på datamaskinen min. Jobben min er å pumpe opp en ballong om gangen og tjene så mye penger som mulig. Hver gang jeg klikker på Pumpe, utvides ballongen og jeg mottar fem virtuelle cent. Men hvis ballongen spretter før jeg trykker på Samle, forsvinner alle mine digitale inntekter.

Etter å ha fylt 39 ballonger, har jeg tjent $14,40. En melding vises på skjermen: Du holder deg til en konsekvent tilnærming i høyrisikosituasjoner. Egenskap målt: Risiko.

Dette spillet er et av en serie laget av et selskap kalt Pymetrics, som mange store amerikanske firmaer leier inn for å undersøke jobbsøkere. Hvis du søker til McDonald's, Boston Consulting Group, Kraft Heinz eller Colgate-Palmolive, kan du bli bedt om å spille Pymetrics' spill.

Mens jeg spiller, måler et kunstig intelligens-system egenskaper, inkludert raushet, rettferdighet og oppmerksomhet. Hvis jeg faktisk søkte på en stilling, ville systemet sammenlignet poengsummene mine med de ansatte som allerede jobber i den jobben. Hvis personlighetsprofilen min reflekterte egenskapene som er mest spesifikke for folk som lykkes i rollen, ville jeg gått videre til neste ansettelsesstadium.

Flere og flere selskaper bruker AI-baserte ansettelsesverktøy som disse for å håndtere flommen av søknader de mottar – spesielt nå som det er omtrent dobbelt så mange arbeidsløse arbeidere i USA som før pandemien. En undersøkelse av over 7 300 HR-ledere over hele verden av Mercer, et kapitalforvaltningsfirma, fant at andelen som sa at avdelingen deres bruker prediktiv analyse hoppet fra 10 % i 2016 til 39 % i 2020.

Stills of Pymetrics kjerneprodukt, en pakke med 12 AI-baserte spill som selskapet sier kan skjelne en jobbsøkers sosiale, kognitive og emosjonelle egenskaper.

PYMETRIKK

Som med andre AI-applikasjoner, har forskere imidlertid funnet ut at noen ansettelsesverktøy produserer partiske resultater – utilsiktet favorisering av menn eller personer med en viss sosioøkonomisk bakgrunn, for eksempel. Mange tar nå til orde for større åpenhet og mer regulering. Spesielt én løsning foreslås igjen og igjen: AI-revisjoner.

I fjor betalte Pymetrics et team av informatikere fra Northeastern University for å revidere ansettelsesalgoritmen. Det var en av de første gangene et slikt selskap hadde bedt om en tredjepartsrevisjon av sitt eget verktøy. Administrerende direktør Frida Polli fortalte meg at hun trodde opplevelsen kunne være en modell for etterlevelse av en foreslått lov som krever slike revisjoner for selskaper i New York City, hvor Pymetrics er basert.

Pymetrics markedsfører programvaren sin som fullstendig skjevhetsfri.

Det Pymetrics gjør, som henter inn en nøytral tredjepart til revisjon, er en veldig god retning å bevege seg i, sier Pauline Kim, jusprofessor ved Washington University i St. Louis, som har ekspertise innen arbeidsrett og kunstig. intelligens. Hvis de kan presse bransjen til å være mer gjennomsiktig, er det et veldig positivt skritt fremover.

Til tross for all oppmerksomheten som AI-revisjoner har fått, forblir deres evne til å faktisk oppdage og beskytte mot skjevhet ikke bevist. Begrepet AI-revisjon kan bety mange forskjellige ting, noe som gjør det vanskelig å stole på resultatene av revisjoner generelt. De strengeste revisjonene kan fortsatt være begrenset i omfang. Og selv med uhindret tilgang til innsiden av en algoritme, kan det være overraskende vanskelig å si med sikkerhet om den behandler søkere rettferdig. I beste fall gir revisjoner et ufullstendig bilde, og i verste fall kan de hjelpe selskaper med å skjule problematisk eller kontroversiell praksis bak en revisors godkjenningsstempel.

Inne i en AI-revisjon

Mange typer AI-ansettelsesverktøy er allerede i bruk i dag. De inkluderer programvare som analyserer en kandidats ansiktsuttrykk, tone og språk under videointervjuer, samt programmer som skanner CV-er, forutsier personlighet eller undersøker en søkers sosiale medieaktivitet.

Uansett hva slags verktøy de selger, lover AI-ansatte leverandører generelt at disse teknologiene vil finne bedre kvalifiserte og mer mangfoldige kandidater til lavere kostnader og på kortere tid enn tradisjonelle HR-avdelinger. Det er imidlertid svært lite bevis for at de gjør det, og i alle fall er det ikke det AI-revisjonen av Pymetrics sin algoritme testet for. I stedet hadde den som mål å avgjøre om et bestemt ansettelsesverktøy grovt diskriminerer kandidater på grunnlag av rase eller kjønn.

Christo Wilson ved Northeastern hadde gransket algoritmer før, inkludert de som drive Ubers høye priser og Googles søkemotor . Men før Pymetrics ringte, hadde han aldri jobbet direkte med et selskap han undersøkte.

Wilsons team, som inkluderte hans kollega Alan Mislove og to doktorgradsstudenter, stolte på data fra Pymetrics og hadde tilgang til selskapets dataforskere. Revisorene var redaksjonelt uavhengige, men gikk med på å varsle Pymetrics om eventuelle negative funn før publisering. Selskapet betalte Northeastern $104.465 via et stipend , inkludert $64 813 som gikk til lønn til Wilson og teamet hans.

Relatert historie

Deepfake porno ødelegger kvinners liv. Nå kan loven endelig forby det.

Etter år med aktivister som kjemper for å beskytte ofre for bildebasert seksuell vold, tvinger dype forfalskninger endelig lovgivere til å ta hensyn.

Pymetrics' kjerneprodukt er en pakke med 12 spill som den sier hovedsakelig er basert på kognitive vitenskapelige eksperimenter . Spillene er ikke ment å vinnes eller tapes; de er designet for å skjelne søkerens kognitive, sosiale og emosjonelle egenskaper, inkludert risikotoleranse og læringsevne. Pymetrics markedsfører sin programvare som helt fri for partiskhet . Pymetrics og Wilson bestemte at revisorene ville fokusere snevert på ett spesifikt spørsmål: Er selskapets modeller rettferdige?

De baserte definisjonen av rettferdighet på det som i daglig tale er kjent som fire-femtedelsregelen, som har blitt en uformell ansettelsesstandard i USA. Equal Employment Opportunity Commission (EEOC) utgitt retningslinjer i 1978 som sier at ansettelsesprosedyrer bør velge omtrent samme andel av menn og kvinner, og av personer fra ulike rasegrupper. Under fire-femtedelsregelen, forklarer Kim, hvis menn gikk 100 % av tiden til neste trinn i ansettelsesprosessen, må kvinner bestå minst 80 % av tiden.

Hvis et selskaps ansettelsesverktøy bryter fire-femtedelsregelen, kan EEOC se nærmere på praksisen. For en arbeidsgiver er det ikke en dårlig sjekk, sier Kim. Hvis arbeidsgivere sørger for at disse verktøyene ikke er grovt diskriminerende, vil de etter all sannsynlighet ikke trekke oppmerksomheten til føderale regulatorer.

For å finne ut om Pymetrics programvare ryddet denne linjen, måtte Northeastern-teamet først prøve å forstå hvordan verktøyet fungerer.

Når en ny klient registrerer seg hos Pymetrics, må den velge ut minst 50 ansatte som har lykkes i rollen den ønsker å fylle. Disse ansatte spiller Pymetrics sine spill for å generere treningsdata. Deretter sammenligner Pymetrics-systemet dataene fra de 50 ansatte med spilldata fra mer enn 10 000 personer tilfeldig valgt ut fra over to millioner. Systemet bygger deretter en modell som identifiserer og rangerer ferdighetene som er mest spesifikke for kundens vellykkede ansatte.

For å sjekke for skjevhet, kjører Pymetrics denne modellen mot et annet datasett på rundt 12 000 personer (tilfeldig valgt fra over 500 000) som ikke bare har spilt spillene, men også avslørt demografien deres i en undersøkelse. Tanken er å finne ut om modellen ville bestå fire-femtedeler-testen hvis den evaluerte disse 12 000 personene.

Hvis systemet oppdager noen skjevhet, bygger og tester det flere modeller til det finner en som både forutsier suksess og produserer omtrent samme beståttrater for menn og kvinner og for medlemmer av alle rasegrupper. I teorien, selv om de fleste av en klients vellykkede ansatte er hvite menn, kan Pymetrics korrigere for skjevhet ved å sammenligne spilldataene fra de mennene med data fra kvinner og personer fra andre rasegrupper. Det den leter etter er datapunkter som forutsier egenskaper som ikke korrelerer med rase eller kjønn, men som skiller vellykkede ansatte.

Christo Wilson fra Northeastern University

SIMON SIMARD

Wilson og hans team av revisorer ønsket å finne ut om Pymetrics anti-bias-mekanisme faktisk forhindrer skjevhet og om den kan lures. For å gjøre det prøvde de i utgangspunktet å spille systemet ved for eksempel å duplisere spilldata fra den samme hvite mannen mange ganger og prøve å bruke det til å bygge en modell. Resultatet var alltid det samme: Slik koden deres er lagt ut og måten dataforskerne bruker verktøyet på, var det ingen åpenbar måte å lure dem i hovedsak til å produsere noe som var partisk og få det ryddet, sier Wilson.

I fjor høst delte revisorene sine funn med selskapet: Pymetrics system tilfredsstiller fire-femtedelsregelen. Northeastern-laget publiserte nylig studien av algoritmen på nett og vil presentere en rapport om arbeidet i mars på den algoritmiske ansvarlighetskonferansen FAccT.

Den store takeawayen er at Pymetrics faktisk gjør en veldig god jobb, sier Wilson.

En ufullkommen løsning

Men selv om Pymetrics-programvaren oppfyller fire-femtedelsregelen, beviste ikke revisjonen at verktøyet er fritt for skjevheter overhodet, og heller ikke at det faktisk plukker ut de mest kvalifiserte kandidatene for noen jobb.

Det føltes effektivt som om spørsmålet som ble stilt var mer 'Gjør Pymetrics det de sier de gjør?' i motsetning til 'Gjør de det riktige eller riktige?' sier Manish Raghavan, en doktorgradsstudent i informatikk ved Cornell University, som har publisert mye om kunstig intelligens og ansettelse.

Det føltes effektivt som om spørsmålet som ble stilt var mer 'Gjør Pymetrics det de sier de gjør?' i motsetning til 'Gjør de det riktige eller riktige?'

For eksempel krever fire-femtedelsregelen bare at personer fra forskjellige kjønn og rasegrupper går videre til neste runde av ansettelsesprosessen til omtrent samme rater. Et ansettelsesverktøy for kunstig intelligens kan tilfredsstille dette kravet og fortsatt være veldig inkonsekvent i å forutsi hvor godt folk fra forskjellige grupper faktisk lykkes i jobben når de først er ansatt. Og hvis et verktøy forutsier suksess mer nøyaktig for menn enn kvinner, for eksempel, vil det bety at det faktisk ikke identifiserer de best kvalifiserte kvinnene, så kvinnene som blir ansatt kan ikke være like vellykkede på jobben, sier Kim.

Et annet problem som verken fire-femtedelsregelen eller Pymetrics revisjon tar opp, er interseksjonalitet. Regelen sammenligner menn med kvinner og en rasegruppe med en annen for å se om de passerer med samme hastighet, men den sammenligner for eksempel ikke hvite menn med asiatiske menn eller svarte kvinner. Du kan ha noe som tilfredsstiller fire-femtedels-regelen [for] menn versus kvinner, svarte versus hvite, men det kan skjule en skjevhet mot svarte kvinner, sier Kim.

Pymetrics er ikke det eneste selskapet som har sin AI revidert. HireVue, en annen stor leverandør av AI-programvare, fikk et selskap kalt O'Neil Risk Consulting and Algorithmic Auditing (ORCAA) til å evaluere en av sine algoritmer. Dette firmaet eies av Cathy O'Neil, en dataforsker og forfatter av Weapons of Math Destruction, en av de mest populære bøkene om AI-bias, som har tatt til orde for AI-revisjoner i årevis.

ORCAA og HireVue fokuserte revisjonen sin på ett produkt: HireVues ansettelsesvurderinger, som mange selskaper bruker for å evaluere nyutdannede. I dette tilfellet evaluerte ikke ORCAA den tekniske utformingen av selve verktøyet. I stedet intervjuet selskapet interessenter (inkludert en jobbsøker, en AI-etiker og flere ideelle organisasjoner) om potensielle problemer med verktøyene og ga HireVue-anbefalinger for å forbedre dem. Den endelige rapporten er publisert på HireVues nettside, men kan bare leses etter signering av en taushetserklæring.

Alex Engler, en stipendiat ved Brookings Institution som har studert AI-ansettelsesverktøy og som er kjent med begge revisjonene, mener at Pymetrics er den beste: Det er en stor forskjell i dybden av analysen som ble aktivert, sier han. Men nok en gang tok ingen av revisjonene opp om produktene virkelig hjelper bedrifter til å ta bedre ansettelsesvalg. Og begge ble finansiert av selskapene som ble revidert, noe som skaper litt risiko for at revisor blir påvirket av at dette er en klient, sier Kim.

Av disse grunner, sier kritikere, er frivillige revisjoner ikke nok. Dataforskere og ansvarlighetseksperter presser nå på for bredere regulering av AI-ansettelsesverktøy, samt standarder for revisjon av dem.

Fyller hullene

Noen av disse tiltakene begynner å dukke opp i USA. Tilbake i 2019 introduserte senatorene Cory Booker og Ron Wyden og representanten Yvette Clarke Algoritmisk ansvarlighetslov å gjøre partisk revisjon obligatorisk for alle store selskaper som bruker kunstig intelligens, selv om lovforslaget ikke er ratifisert.

I mellomtiden er det en viss bevegelse på delstatsnivå. De AI Video Intervju Act i Illinois, som trådte i kraft i januar 2020, krever at selskaper forteller kandidater når de bruker AI i videointervjuer. Byer tar også grep - i Los Angeles foreslo byrådsmedlem Joe Buscaino et rettferdig ansettelsesforslag for automatiserte systemer i november.

De New York City-regning spesielt kunne tjene som modell for byer og stater over hele landet. Det vil gjøre årlige revisjoner obligatoriske for leverandører av automatiserte ansettelsesverktøy. Det vil også kreve at selskaper som bruker verktøyene, forteller søkere hvilke egenskaper systemet deres brukte for å ta en beslutning.

Men spørsmålet om hvordan de årlige revisjonene faktisk ville se ut er fortsatt åpent. For mange eksperter ville en revisjon på linje med hva Pymetrics gjorde ikke gå veldig langt i å avgjøre om disse systemene diskriminerer, siden den revisjonen ikke sjekket for interseksjonalitet eller evaluerte verktøyets evne til nøyaktig å måle egenskapene det hevder å måle for mennesker av forskjellige raser og kjønn.

Og mange kritikere vil gjerne se revisjon utført av myndighetene i stedet for private selskaper, for å unngå interessekonflikter. Det bør være en forebyggende regulering slik at før du bruker noen av disse systemene, bør Equal Employment Opportunity Commission måtte gjennomgå den og deretter lisensiere den, sier Frank Pasquale, professor ved Brooklyn Law School og ekspert på algoritmisk ansvarlighet. Han har i tankene en forhåndsgodkjenningsprosess for algoritmiske ansettelsesverktøy som ligner på det Food and Drug Administration bruker med narkotika.

Så langt har EEOC ikke engang gitt klare retningslinjer for ansettelsesalgoritmer som allerede er i bruk. Men ting kan begynne å endre seg snart. I desember, 10 senatorer sendte et brev til EEOC der de spurte om det har myndighet til å begynne å politie AI-ansettelsessystemer for å forhindre diskriminering av fargede mennesker, som allerede har blitt uforholdsmessig påvirket av tap av jobber under pandemien.