211service.com
Den britiske eksamensdebakelen minner oss om at algoritmer ikke kan fikse ødelagte systemer
Ms Tech | AP, Getty
Da Storbritannia først satte i gang for å finne et alternativ til skoleavslutningskvalifikasjoner, virket forutsetningen helt rimelig. Covid-19 hadde avsporet enhver mulighet for studenter til å ta eksamenene personlig, men regjeringen ønsket fortsatt en måte å vurdere dem for universitetsopptaksbeslutninger.
Den viktigste bekymringen var et spørsmål om rettferdighet. Lærere hadde allerede gjort spådommer om elevenes eksamensresultater, men tidligere studier hadde vist at disse kunne være partiske på grunnlag av alder, kjønn og etnisitet. Etter en rekke ekspertpaneler og konsultasjoner , Ofqual, Office of Qualifications and Examination Regulation, vendte seg til en algoritme. Derfra gikk det fryktelig galt.
Nesten 40 % av studentene endte opp med å få eksamensresultater nedgradert fra lærernes spådommer, og truet med å koste dem universitetsplassene deres. Analyse av algoritmen avslørte også at den hadde uforholdsmessig skadet elever fra arbeiderklassen og vanskeligstilte samfunn og økt antallet elever fra private skoler. 16. august sang hundrevis Faen algoritmen foran Storbritannias Department of Education-bygning i London for å protestere mot resultatene. Dagen etter hadde Ofqual omgjorde vedtaket . Studentene vil nå bli tildelt enten lærerens antatte poengsum eller algoritmens – avhengig av hva som er høyest.
Debakelen føles som et lærebokeksempel på algoritmisk diskriminering . De som har siden dissekert algoritmen har påpekt hvor forutsigbart det var at ting skulle gå galt; Det ble delvis trent ikke bare på hver elevs tidligere akademiske prestasjoner, men også på tidligere opptaksprøver på elevens skole. Tilnærmingen kunne bare ha ført til straff for utestående uteliggere til fordel for et konsistent gjennomsnitt.
Men roten til problemet stikker dypere enn dårlige data eller dårlig algoritmisk design. De mer grunnleggende feilene ble gjort før Ofqual valgte til og med å forfølge en algoritme. I bunnen mistet regulatoren det endelige målet av syne: å hjelpe studenter med å gå over til universitetet i tider med angst. I denne enestående situasjonen burde eksamenssystemet vært fullstendig gjennomtenkt.
Det var bare en spektakulær svikt i fantasien, sier Hye Jung Han, en forsker ved Human Rights Watch i USA, som fokuserer på barns rettigheter og teknologi. De stilte bare ikke spørsmål ved selve premisset for så mange av prosessene deres, selv når de burde ha gjort det.
På et grunnleggende nivå møtte Ofqual to potensielle mål etter at eksamener ble kansellert. Den første var å unngå karakterinflasjon og standardisere poengsummene; den andre var å vurdere studentene så nøyaktig som mulig på en måte som var nyttig for universitetsopptak. I henhold til et direktiv fra statssekretæren prioriterte den det første målet. Jeg tror egentlig det var det øyeblikket som var problemet, sier Hannah Fry, universitetslektor ved University College London og forfatter av Hello World: How to Be Human in the Age of the Machine . De optimaliserte for feil ting. Da spiller det egentlig ingen rolle hva algoritmen er - den kom aldri til å bli perfekt.
Det var bare en spektakulær svikt i fantasien.
Hye Jung Han
Målet formet helt måten Ofqual gikk frem for å forfølge problemet på. Behovet for standardisering overstyrte alt annet. Regulatoren valgte deretter logisk sett et av de beste standardiseringsverktøyene, en statistisk modell, for å forutsi en fordeling av opptaksprøvescore for 2020 som ville samsvare med fordelingen fra 2019.
Hadde Ofqual valgt det andre målet, ville ting gått ganske annerledes. Det ville sannsynligvis ha fjernet algoritmen og samarbeidet med universiteter for å endre hvordan eksamenskarakterene vektes i opptaksprosessene deres. Hvis de bare så ett skritt forbi det umiddelbare problemet sitt og så på hva som er hensikten med karakterer – å gå på universitetet, for å kunne få jobb – kunne de fleksibelt ha jobbet med universiteter og arbeidsplasser for å si: 'Hei, i år karakterer kommer til å se annerledes ut, noe som betyr at alle viktige avgjørelser som tradisjonelt ble tatt basert på karakterer, også må være fleksible og må endres, sier Han.
Ved å fiksere på den oppfattede rettferdigheten til en algoritmisk løsning, blindet Ofqual seg selv for de åpenbare ulikhetene i det totale systemet. Det er en iboende urettferdighet i å definere problemet med å forutsi studentkarakterer som om en pandemi ikke hadde skjedd, sier Han. Den ignorerer faktisk det vi allerede vet, som er at pandemien avslørte alle disse digitale skillene i utdanning.
Ofquals feil er ikke unike. I en rapport publisert i forrige uke av Oxford Internet Institute, fant forskere at en av de vanligste fellene organisasjoner faller i når de implementerer algoritmer, er troen på at de vil fikse virkelig komplekse strukturelle problemer. Disse prosjektene egner seg til en slags magisk tenkning, sier Gina Neff, førsteamanuensis ved instituttet, som var medforfatter av rapporten. På en eller annen måte vil algoritmen ganske enkelt vaske bort enhver lærerskjevhet, vaske bort ethvert forsøk på å jukse eller spille systemet.
Jeg tror det er første gang at en hel nasjon har følt urettferdigheten til en algoritme samtidig.
Hannah Fry
Men sannheten er at algoritmer ikke kan fikse ødelagte systemer. De arver feilene til systemene de er plassert i. I dette tilfellet var det studentene og deres fremtid som til slutt bar hovedtyngden av skaden. Jeg tror det er første gang at en hel nasjon har følt urettferdigheten til en algoritme samtidig, sier Fry.
Fry, Neff og Han bekymrer seg alle for at dette ikke vil være slutten på algoritmiske feil. Til tross for den nye offentlige bevisstheten om problemene, er utforming og implementering av rettferdige og fordelaktige algoritmer ærlig talt veldig vanskelig.
Ikke desto mindre oppfordrer de organisasjoner til å få mest mulig ut av erfaringene fra denne erfaringen. Gå først tilbake til målet og tenk kritisk på om det er det rette. For det andre, evaluer de strukturelle problemene som må fikses for å nå målet. (Da regjeringen avlyste eksamen i mars, burde det ha vært signalet om å komme med en annen strategi for å la en mye større økologi for beslutningstakere rettferdig vurdere studentenes prestasjoner, sier Neff.)
Til slutt, velg en løsning som er enkel å forstå, implementere og bestride, spesielt i tider med usikkerhet. I dette tilfellet, sier Fry, betyr det å gi avkall på algoritmen til fordel for lærerspådde skårer: Jeg sier ikke at det er perfekt, sier hun, men det er i det minste et enkelt og gjennomsiktig system.