Vi testet AI-intervjuverktøy. Her er hva vi fant.

Etter mer enn ett år med covid-19-pandemien, søker millioner av mennesker etter jobb i USA. AI-drevet intervjuprogramvare hevder å hjelpe arbeidsgivere med å søke gjennom applikasjoner for å finne de beste personene til jobben. Selskaper som spesialiserer seg på denne teknologien rapporterte en økning i virksomheten under pandemien.

Men ettersom etterspørselen etter disse teknologiene øker, gjør det også spørsmål om deres nøyaktighet og pålitelighet . I den siste episoden av MIT Technology Review sin podcast In Machines We Trust testet vi programvare fra to firmaer som spesialiserer seg på AI-jobbintervjuer, Mittintervju og Nysgjerrig ting . Og vi fant variasjoner i spådommene og jobbmatching-skårene som vekker bekymring for hva disse algoritmene nøyaktig evaluerer.

Bli kjent med deg

MyInterview måler egenskaper vurdert i Big Five Personality Test, en psykometrisk evaluering som ofte brukes i ansettelsesprosessen. Disse egenskapene inkluderer åpenhet, samvittighetsfullhet, utadvendthet, behagelighet og følelsesmessig stabilitet. Curious Thing måler også personlighetsrelaterte egenskaper, men i stedet for Big Five, blir kandidater evaluert på andre beregninger, som ydmykhet og motstandskraft.

Dette skjermbildet viser kandidatens kampscore og personlighetsanalyse på MyInterview etter å ha svart på alle intervjuspørsmål på tysk i stedet for engelsk.

HELKE SCHELLMANN

Algoritmene analyserer kandidatenes svar for å bestemme personlighetstrekk. MyInterview kompilerer også score som indikerer hvor godt en kandidat samsvarer med egenskapene identifisert av ansettelsesledere som ideelle for stillingen.

For å fullføre testene våre konfigurerer vi først programvaren. Vi lastet opp en falsk stillingsannonse for en kontoradministrator/forsker på både MyInterview og Curious Thing. Deretter konstruerte vi vår ideelle kandidat ved å velge personlighetsrelaterte egenskaper når systemet ble bedt om det.

På MyInterview valgte vi egenskaper som oppmerksomhet på detaljer og rangerte dem etter viktighetsnivå. Vi valgte også intervjuspørsmål, som vises på skjermen mens kandidaten tar opp videosvar. På Curious Thing valgte vi egenskaper som ydmykhet, tilpasningsevne og motstandskraft.

En av oss, Hilke, søkte så på stillingen og gjennomførte intervjuer for rollen på både MyInterview og Curious Thing.

Vår kandidat gjennomførte et telefonintervju med Curious Thing. Hun gjorde først et vanlig jobbintervju og fikk 8,5 av 9 for engelskkompetanse. I et nytt forsøk stilte den automatiske intervjueren de samme spørsmålene, og hun svarte på hvert enkelt spørsmål ved å lese Wikipedia-oppføringen for psykometri på tysk.

Men Curious Thing ga henne 6 av 9 for engelskkompetanse. Hun fullførte intervjuet på nytt og fikk samme poengsum.

Et skjermbilde viser vår kandidats engelskkompetansescore i Curious Things programvare etter at hun svarte på alle spørsmålene på tysk.

HELKE SCHELLMANN

Vår kandidat henvendte seg til MyInterview og gjentok eksperimentet. Hun leste den samme Wikipedia-oppføringen høyt på tysk. Algoritmen returnerte ikke bare en personlighetsvurdering, men den spådde også kandidaten vår til å være en 73 % match for den falske jobben, og plasserte henne i den øverste halvdelen av alle søkerne vi hadde bedt om å søke.

MyInterview gir ansettelsesledere en utskrift av intervjuene sine. Da vi inspiserte kandidatens karakterutskrift, fant vi ut at systemet tolket hennes tyske ord som engelske ord. Men transkripsjonen ga ingen mening. De første par linjene, som tilsvarer svaret ovenfor, lyder:

|_+_|

Ikke samsvarende

I stedet for å score kandidaten vår på innholdet i svarene hennes, trakk algoritmen personlighetstrekk fra stemmen hennes, sier Clayton Donnelly , en industri- og organisasjonspsykolog som jobber med MyInterview.

Men intonasjon er ikke en pålitelig indikator på personlighetstrekk, sier Fred Oswald , professor i industriell organisasjonspsykologi ved Rice University . Vi kan virkelig ikke bruke intonasjon som data for ansettelse, sier han. Det virker bare ikke rettferdig eller pålitelig eller gyldig.

Å bruke åpne spørsmål for å bestemme personlighetstrekk utgjør også betydelige utfordringer, selv når – eller kanskje spesielt når – den prosessen er automatisert. Det er derfor mange personlighetstester, som Big Five, gir folk alternativer å velge mellom.

Poenget på bunnlinjen er at personlighet er vanskelig å frese ut i denne åpne forstand, sier Oswald. Det er muligheter for AI eller algoritmer og måten spørsmålene stilles på er mer strukturert og standardisert. Men jeg tror ikke vi nødvendigvis er der når det gjelder dataene, når det gjelder designene som gir oss dataene.

Medgründer og teknologisjef i Curious Thing, Han Xu , svarte på funnene våre i en e-post og sa: Dette er aller første gang systemet vårt testes på tysk, derfor et ekstremt verdifullt datapunkt for oss å undersøke og se om det avslører noe i systemet vårt.

Bias paradokset

Ytelse på AI-drevne intervjuer er ofte ikke den eneste beregningen potensielle arbeidsgivere bruker for å evaluere en kandidat. Og disse systemene kan faktisk redusere skjevhet og finne bedre kandidater enn menneskelige intervjuere gjør. Men mange av disse verktøyene er ikke uavhengig testet, og selskapene som bygde dem er motvillige til å dele detaljer om hvordan de fungerer, noe som gjør det vanskelig for verken kandidater eller arbeidsgivere å vite om algoritmene er nøyaktige eller hvilken innflytelse de bør ha på ansettelse. beslutninger.

Mark Gray , som jobber på en dansk eiendomsforvaltningsplattform kalt Ordentlig , begynte å bruke AI-videointervjuer under sin tidligere personalrolle i elektronikkselskapet Airtame . Han sier at han opprinnelig inkorporerte programvaren, produsert av et tysk selskap kalt Retorisk , inn i intervjuer for å bidra til å redusere den menneskelige skjevheten som ofte utvikler seg når ansettelsesledere småprater med kandidater.

Selv om Gray ikke baserer ansettelsesbeslutninger utelukkende på Retorios evaluering, som også trekker på Big Five-trekkene, tar han det i betraktning som ett av mange datapunkter når han velger kandidater. Jeg tror ikke det er en sølvkule for å finne ut hvordan man ansetter den rette personen, sier han.

Grays vanlige ansettelsesprosess inkluderer en screeningsamtale og et Retorio-intervju, som han inviterer de fleste kandidater til å delta i uavhengig av hvilket inntrykk de gjorde i screeningen. Vellykkede kandidater vil deretter gå videre til en jobbferdighetstest, etterfulgt av et direkteintervju med andre medlemmer av teamet.

Relatert historie

LinkedIns jobbmatchende AI var partisk. Selskapets løsning? Mer AI.

ZipRecruiter, CareerBuilder, LinkedIn – de fleste av verdens største jobbsøkesider bruker AI for å matche folk med ledige stillinger. Men algoritmene spiller ikke alltid rettferdige.

Med tiden, produkter som Retorio og Retorio selv – alle selskap bør bruke det fordi det bare gir deg så mye innsikt, sier Gray. Selv om det er noen spørsmålstegn og kontroverser i AI-sfæren generelt, tror jeg det større spørsmålet er, er vi en bedre eller dårligere dommer av karakter?

Gray erkjenner kritikken rundt AI-intervjuverktøy. An etterforskning utgitt i februar av Bavarian Public Broadcasting fant ut at Retorios algoritme vurderte kandidater annerledes når de brukte forskjellige videobakgrunner og tilbehør, som briller, under intervjuet.

Retorios medgründer og administrerende direktør, Christopher Hohenberger , sier at selv om han ikke er klar over spesifikasjonene bak journalistenes testmetoder, har ikke selskapet til hensikt at programvaren skal være den avgjørende faktoren ved ansettelse av kandidater. Vi er et hjelpeverktøy, og det brukes i praksis også sammen med mennesker på den andre siden. Det er ikke et automatisk filter, sier han.

Likevel er innsatsen så høy for jobbsøkere som forsøker å navigere i disse verktøyene at det absolutt er nødvendig med mer forsiktighet. For de fleste handler tross alt ikke bare en ny utfordring eller et nytt miljø å sikre jobben – det å finne en jobb er avgjørende for deres økonomiske overlevelse.

gjemme seg