211service.com
AI kan ikke forutsi hvordan et barns liv vil bli, selv med massevis av data
SHARON MCCUTCHEON / UNSPLASH
Politikere trekker ofte på arbeidet til samfunnsvitere for å forutsi hvordan spesifikke retningslinjer kan påvirke sosiale utfall som sysselsetting eller kriminalitet. Tanken er at hvis de kan forstå hvordan ulike faktorer kan endre banen til noens liv, kan de foreslå intervensjoner for å fremme de beste resultatene.
De siste årene har de imidlertid i økende grad stolt på maskinlæring, som lover å produsere langt mer presise spådommer ved å knuse langt større datamengder. Slike modeller brukes nå for å forutsi sannsynligheten for at en tiltalt kan bli arrestert for en ny forbrytelse, eller at et barn er i faresonen for overgrep og omsorgssvikt hjemme. Antakelsen er at en algoritme matet med nok data om en gitt situasjon vil gi mer nøyaktige spådommer enn et menneske eller en mer grunnleggende statistisk analyse.
Nå a ny studie publisert i Proceedings of the National Academy of Sciences sår tvil om hvor effektiv denne tilnærmingen egentlig er. Tre sosiologer ved Princeton University ba hundrevis av forskere om å forutsi seks livsutfall for barn, foreldre og husholdninger ved å bruke nesten 13 000 datapunkter på over 4000 familier. Ingen av forskerne kom engang i nærheten av et rimelig nivå av nøyaktighet, uavhengig av om de brukte enkel statistikk eller banebrytende maskinlæring.
Studien fremhever virkelig denne ideen om at maskinlæringsverktøy til syvende og sist ikke er magi, sier Alice Xiang, leder for rettferdighets- og ansvarlighetsforskning ved nonprofit Partnership on AI.
Forskerne brukte data fra en 15 år lang sosiologistudie kalt Studie av skjøre familier og barnevelvære , ledet av Sara McLanahan, professor i sosiologi og offentlige anliggender ved Princeton og en av hovedforfatterne av den nye artikkelen. Den opprinnelige studien forsøkte å forstå hvordan livene til barn født av ugifte foreldre kan slå ut over tid. Familier ble tilfeldig valgt blant barn født på sykehus i store amerikanske byer i løpet av år 2000. De ble fulgt opp for datainnsamling da barna var 1, 3, 5, 9 og 15 år gamle.
McLanahan og hennes kolleger Matthew Salganik og Ian Lundberg designet deretter en utfordring for å crowdsource spådommer om seks utfall i sluttfasen som de anså som sosiologisk viktige. Disse inkluderte barnas karaktergjennomsnitt på skolen; deres grad av grus, eller selvrapportert utholdenhet på skolen; og det generelle fattigdomsnivået i husholdningen deres. Utfordringsdeltakere fra ulike universiteter fikk bare deler av dataene for å trene algoritmene sine, mens arrangørene holdt noe tilbake for sluttevalueringer. I løpet av fem måneder sendte hundrevis av forskere, inkludert datavitere, statistikere og beregningssosiologer, inn sine beste teknikker for prediksjon.
Det faktum at ingen innsending var i stand til å oppnå høy nøyaktighet på noen av resultatene, bekreftet at resultatene ikke var tilfeldig. Du kan ikke bortforklare det basert på feilen til en bestemt forsker eller noen spesiell maskinlæring eller AI-teknikker, sier Salganik, professor i sosiologi. De mest kompliserte maskinlæringsteknikkene var heller ikke mye mer nøyaktige enn langt enklere metoder.
For eksperter som studerer bruken av AI i samfunnet, er ikke resultatene så overraskende. Selv de mest nøyaktige risikovurderingsalgoritmene i strafferettssystemet, for eksempel, er maks. 60 % eller 70 %, sier Xiang. Kanskje i det abstrakte høres det litt bra ut, legger hun til, men antallet gjentatte lovbrudd kan uansett være lavere enn 40 %. Det betyr at å forutsi ingen gjentatte lovbrudd allerede vil gi deg en nøyaktighetsgrad på mer enn 60 %.
På samme måte har forskning gjentatte ganger vist at innenfor kontekster der en algoritme vurderer risiko eller velger hvor de skal rette ressursene, har enkle, forklarbare algoritmer ofte nær den samme prediksjonskraften som black-box-teknikker som dyp læring. Den ekstra fordelen med black-box-teknikkene er derfor ikke verdt de store kostnadene ved tolkning.
Resultatene betyr ikke nødvendigvis at prediktive algoritmer, enten de er basert på maskinlæring eller ikke, aldri vil være nyttige verktøy i politikkverdenen. Noen forskere påpeker for eksempel at data som samles inn for formål med sosiologisk forskning er forskjellig fra data som vanligvis analyseres i politikkutforming.
Rashida Richardson, policy-direktør ved AI Now-instituttet, som studerer den sosiale effekten av AI, merker også bekymringer i måten prediksjonsproblemet ble utformet på. Hvorvidt et barn har grus, for eksempel, er en iboende subjektiv vurdering som forskning har vist å være en rasistisk konstruksjon for å måle suksess og ytelse, sier hun. Detaljen fikk henne umiddelbart til å tenke: Å, det er ingen måte at dette kommer til å fungere.
Salganik erkjenner også begrensningene i studien.
Men han understreker at det viser hvorfor beslutningstakere bør være mer forsiktige med å evaluere nøyaktigheten til algoritmiske verktøy på en transparent måte. Å ha en stor mengde data og ha komplisert maskinlæring garanterer ikke nøyaktig prediksjon, legger han til. Politikere som ikke har så mye erfaring med å jobbe med maskinlæring kan ha urealistiske forventninger til det.
For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.