Dette er Stanford-vaksinealgoritmen som utelot leger i frontlinjen

Yichuan Cao/Sipa USA

Da fastboende leger ved Stanford Medical Center – hvorav mange jobber i frontlinjen av covid-19-pandemien – fant ut at bare syv av over 1300 av dem hadde blitt prioritert for de første 5000 dosene av covid-vaksinen, ble de sjokkert . Da de så hvem andre som hadde laget listen, inkludert administratorer og leger som så pasienter eksternt hjemmefra, ble de sinte.

Under en planlagt fotooperasjon for å feire de første vaksinasjonene som finner sted fredag ​​18. desember, minst 100 innbyggere møtte opp for å protestere. Sykehusledelsen ba om unnskyldning for ikke å prioritere dem, og skyldte feilene på en svært kompleks algoritme.

Algoritmen vår, som etikerne, eksperter på infeksjonssykdommer jobbet med i flere uker … fungerte tydeligvis ikke riktig, sa Tim Morrison, direktøren for det ambulerende omsorgsteamet, til beboerne under arrangementet i en video som ble lagt ut på nett .

Innbyggere i Stanford protesterer mot en fotooperasjon for å feire ankomsten av en vaksine.

TILLATS AV WILLIAM FITZGERALD

Mange så det som en unnskyldning, spesielt siden sykehusledelsen hadde ble gjort oppmerksom på problemet tirsdag – da bare fem innbyggere kom på listen – og svarte ikke med å fikse algoritmen, men ved å legge til ytterligere to beboere for totalt syv.

En av kjerneattraksjonene til algoritmer er at de lar de mektige klandre en svart boks for politisk uattraktive utfall som de ellers ville vært ansvarlige for, skrev Roger McNamee, en fremtredende Silicon Valley-innsider som ble kritiker, på Twitter. Men *folk* bestemte hvem som skulle få vaksinen, twitret Veena Dubal, professor i jus ved University of California, Hastings, som forsker på teknologi og samfunn. Algoritmen utførte nettopp deres vilje.

Men hva var egentlig Stanfords vilje? Vi tok en titt på algoritmen for å finne ut hva den var ment å gjøre.

Hvordan algoritmen fungerer

Lysbildet som beskriver algoritmen kom fra beboere som hadde mottatt det fra avdelingslederen sin. Det er ikke en kompleks maskinlæringsalgoritme (som ofte omtales som svarte bokser), men en regelbasert formel for å beregne hvem som skulle få vaksinen først på Stanford. Den tar for seg tre kategorier: ansatte-baserte variabler, som har å gjøre med alder; jobbbaserte variabler; og retningslinjer fra California Department of Public Health. For hver kategori fikk personalet et visst antall poeng, med en samlet mulig poengsum på 3,48. Antagelig, jo høyere poengsum, desto høyere er personens prioritet i kø. (Stanford Medical Center svarte ikke på flere forespørsler om kommentarer til algoritmen i løpet av helgen.)

Ansattvariablene øker en persons skår lineært med alderen, og ekstrapoeng legges til de over 65 eller under 25. Dette prioriterer de eldste og yngste ansatte, noe som er til ulempe for beboere og andre frontlinjearbeidere som typisk er midt i alderen område.

Jobbvariabler bidrar mest til totalskåren. Algoritmen teller utbredelsen av covid-19 blant ansattes jobbroller og avdeling på to forskjellige måter, men forskjellen mellom dem er ikke helt klar. Verken beboerne eller to ikke-tilknyttede eksperter vi ba om å gjennomgå algoritmen forsto hva disse kriteriene betydde, og Stanford Medical Center svarte ikke på en forespørsel om kommentar. De vurderer også andelen tester tatt etter jobbrolle som en prosentandel av legesenterets totale antall innsamlede tester.

Relatert historie

Vi har kanskje bare uker på oss før en variant av koronavirus dominerer USA. En covid-19-stamme som ser ut til å spre seg raskere, kolliderer med kampanjen for å vaksinere amerikanere.

Det disse faktorene ikke tar hensyn til er eksponering for pasienter med covid-19, sier beboere. Det betyr at algoritmen ikke skilte mellom de som hadde fått covid fra pasienter og de som fikk det fra spredning i samfunnet – inkludert ansatte som jobber eksternt. Og som først rapportert av ProPublica ble innbyggerne fortalt at fordi de roterer mellom avdelinger i stedet for å opprettholde en enkelt oppgave, tapte de poeng knyttet til avdelingene der de jobbet.

Algoritmens tredje kategori refererer til California Department of Public Health sine retningslinjer for vaksinetildeling . Disse fokuserer på eksponeringsrisiko som den høyeste enkeltfaktoren for vaksineprioritering. Retningslinjene er primært ment for at fylkeskommuner og lokale myndigheter skal bestemme hvordan vaksinen skal prioriteres, fremfor hvordan de skal prioritere mellom sykehusets avdelinger. Men de inkluderer spesifikt beboere, sammen med avdelingene der de jobber, i det høyest prioriterte nivået.

Det kan være at CDPH rekkeviddefaktoren gir beboerne en høyere score, men likevel ikke høy nok til å motvirke de andre kriteriene.

Hvorfor gjorde de det på den måten?

Stanford prøvde å ta hensyn til mange flere variabler enn andre medisinske fasiliteter, men Jeffrey Kahn, direktøren for Johns Hopkins Berkman Institute of Bioethics, sier tilnærmingen var overkomplisert. Jo mer det er forskjellige vekter for forskjellige ting, blir det vanskeligere å forstå – ‘Hvorfor gjorde de det på den måten?’ sier han.

Kahn, som satt i Johns Hopkins' 20-medlemmers komité for vaksinetildeling, sier at universitetet hans tildelte vaksiner bare basert på jobb og risiko for eksponering for covid-19.

Han sier at avgjørelsen var basert på diskusjoner som målrettet inkluderte forskjellige perspektiver – inkludert beboernes – og i koordinering med andre sykehus i Maryland. andre steder, University of California San Franciscos plan er basert på en lignende vurdering av risiko for eksponering for viruset. Mass General Brigham i Boston kategoriserer ansatte i fire grupper basert på avdeling og jobbplassering, ifølge en intern e-post gjennomgått av MIT Technology Review.

Det er så lite tillit rundt så mye relatert til pandemien, vi kan ikke kaste bort den.

Det er veldig viktig [for] enhver tilnærming som denne å være gjennomsiktig og offentlig ... og ikke noe veldig vanskelig å finne ut, sier Kahn. Det er så lite tillit rundt så mye relatert til pandemien, vi kan ikke kaste bort den.

Algoritmer brukes ofte i helsevesenet for å rangere pasienter etter risikonivå i et forsøk på å fordele omsorg og ressurser mer rettferdig. Men jo flere variabler som brukes, desto vanskeligere er det å vurdere om beregningene kan være feil.

For eksempel, i 2019, en studie publisert i Science viste at 10 mye brukte algoritmer for å distribuere omsorg i USA endte opp med å favorisere hvite pasienter fremfor svarte. Problemet, viste det seg, var at algoritmenes designere antok at pasienter som brukte mer på helsetjenester var mer syke og trengte mer hjelp. I virkeligheten er høyere brukere også rikere, og mer sannsynlig at de er hvite. Som et resultat tildelte algoritmen mindre omsorg til svarte pasienter med samme medisinske tilstander som hvite.

Irene Chen, en MIT doktorgradskandidat som studerer bruken av rettferdige algoritmer i helsevesenet, mistenker at dette er hva som skjedde på Stanford: Formelens designere valgte variabler som de trodde ville tjene som gode proxyer for en gitt medarbeiders nivå av covid-risiko. Men de bekreftet ikke at disse fullmaktene førte til fornuftige utfall, eller responderte på en meningsfull måte på samfunnets innspill da vaksineplanen kom frem tirsdag i forrige uke. Det er ikke en dårlig ting at folk hadde tanker om det etterpå, sier Chen. Det er at det ikke var en mekanisme for å fikse det.

En kanarifugl i kullgruven?

Etter protestene utstedte Stanford en formell unnskyldning , og sa at den ville revidere distribusjonsplanen.

Sykehusrepresentanter svarte ikke på spørsmål om hvem de vil inkludere i nye planprosesser, eller om algoritmen fortsatt skal brukes. En intern e-post som oppsummerer medisinstudiets svar, delt med MIT Technology Review, sier at verken programledere, avdelingsledere, behandlende leger eller pleiepersonell var involvert i den opprinnelige algoritmedesignen. Nå presser imidlertid noen fakulteter på for å få en større rolle, eliminerer algoritmenes resultater fullstendig og gir i stedet avdelingssjefer og ledere myndighet til å ta beslutninger for sine egne lag.

Andre avdelingsledere har oppfordret beboerne til å vaksinere seg først. Noen har til og med bedt fakultetet om å ta med beboere når de blir vaksinert, eller utsette skuddene slik at andre kan gå først.

Noen innbyggere omgår universitetets helsevesen helt. Nuriel Moghavem, en nevrologisk beboer som var den første som offentliggjorde problemene ved Stanford, tvitret fredag ​​ettermiddag at han endelig hadde fått vaksinen sin – ikke på Stanford, men på et offentlig fylkessykehus i Santa Clara County.
Jeg ble vaksinert i dag for å beskytte meg selv, familien min og pasientene mine, tvitret han . Men jeg hadde bare muligheten fordi mitt offentlige fylkessykehus mener at innbyggerne er kritiske frontlinjeleverandører. Takknemlig.

gjemme seg