211service.com
Hvordan et AI-verktøy for å bekjempe sykehusdødsfall faktisk fungerte i den virkelige verden
Getty
I november 2018 ble et nytt dyplæringsverktøy online på akuttavdelingen til Duke University Health System. Kalt Sepsis Watch, den ble designet for å hjelpe leger med å oppdage tidlige tegn på en av de viktigste årsakene til sykehusdødsfall globalt.
Sepsis oppstår når en infeksjon utløser betennelse i hele kroppen og til slutt får organer til å stenge. Det kan behandles hvis det diagnostiseres tidlig nok, men det er en notorisk vanskelig oppgave fordi symptomene lett forveksles med tegn på noe annet.
Sepsis Watch lovet å endre det. Produktet av tre og et halvt års utvikling (som inkluderte digitalisering av helsejournaler, analysering av 32 millioner datapunkter og utforming av et enkelt grensesnitt i form av en iPad-app), scorer pasienter på timebasis for deres sannsynlighet for å utvikle tilstand. Den flagger deretter de som har middels eller høy risiko og de som allerede oppfyller kriteriene. Når en lege bekrefter diagnosen, får pasientene umiddelbar oppmerksomhet.
I løpet av de to årene siden verktøyet ble introdusert, har anekdotisk bevis fra Duke Healths sykehusledere og klinikere antydet at Sepsis Watch virkelig fungerer. Det har dramatisk redusert sepsis-indusert pasientdødsfall og er nå en del av en føderalt registrert klinisk studie som forventes å dele resultatene i 2021.
Ved første øyekast er dette et eksempel på en stor teknisk seier. Gjennom nøye utvikling og testing har en AI-modell forbedret legenes evne til å diagnostisere sykdom. men a ny rapport fra Data & Society forskningsinstituttet sier at dette bare er halve historien. Den andre halvparten er mengden dyktig sosial arbeidskraft som klinikerne som leder prosjektet trengte å utføre for å integrere verktøyet i deres daglige arbeidsflyt. Dette inkluderte ikke bare å designe nye kommunikasjonsprotokoller og lage nytt opplæringsmateriell, men også å navigere arbeidsplasspolitikk og maktdynamikk.
Kasusstudien er en ærlig refleksjon av hva som virkelig skal til for at AI-verktøy skal lykkes i den virkelige verden. Det var veldig komplekst, sier medforfatter Madeleine Clare Elish, en kulturantropolog som undersøker virkningen av AI.
Reparere innovasjon
Innovasjon er ment å være forstyrrende. Det rister opp gamle måter å gjøre ting på for å oppnå bedre resultater. Men sjelden i samtaler om teknologisk disrupsjon er det en erkjennelse av at disrupsjon også er en form for brudd. Eksisterende protokoller blir foreldet; sosiale hierarkier blir forvrengt. Å få innovasjonene til å fungere innenfor eksisterende systemer krever det Elish og hennes medforfatter Elizabeth Anne Watkins kaller reparasjonsarbeid.
Under forskernes toårige studie av Sepsis Watch ved Duke Health, dokumenterte de en rekke eksempler på denne forstyrrelsen og reparasjonen. Et stort problem var måten verktøyet utfordret den medisinske verdenens dypt inngrodde maktdynamikk mellom leger og sykepleiere på.
I de tidlige stadiene av verktøydesign ble det klart at sykepleiere i rask responsteam (RRT) måtte være hovedbrukerne. Selv om behandlende leger vanligvis har ansvaret for å evaluere pasienter og stille sepsisdiagnoser, har de ikke tid til kontinuerlig å overvåke en annen app i tillegg til deres eksisterende oppgaver i akuttmottaket. I kontrast er hovedansvaret til en RRT-sykepleier er å kontinuerlig overvåke pasientens velvære og gi ekstra assistanse der det trengs. Å sjekke Sepsis Watch-appen passet naturlig inn i arbeidsflyten deres.
Men her kom utfordringen. Når appen flagget en pasient som høyrisiko, må en sykepleier ringe den behandlende legen (kjent i medisinsk tale som ED-besøk). Ikke bare hadde disse sykepleierne og behandlerne ofte ikke noe tidligere forhold fordi de tilbrakte dagene sine i helt forskjellige seksjoner av sykehuset, men protokollen representerte en fullstendig reversering av den typiske kommandokjeden på ethvert sykehus. Tuller du med meg? en sykepleier husket at hun tenkte etter å ha lært hvordan ting ville fungere. Vi skal ringe ED-oppmøte ?
Men dette var virkelig den beste løsningen. Så prosjektteamet gikk i gang med å reparere forstyrrelsen på ulike store og små måter. Hovedsykepleierne var vertskap for uformelle pizzafester for å bygge opp spenning og tillit til Sepsis Watch blant sine medsykepleiere. De utviklet også kommunikasjonstaktikker for å jevne over samtalene med deltakerne. For eksempel bestemte de seg for kun å ringe én gang per dag for å diskutere flere høyrisikopasienter samtidig, tidsbestemt for når legene var minst opptatt.
På toppen av det begynte prosjektlederne regelmessig å rapportere virkningen av Sepsis Watch til den kliniske ledelsen. Prosjektteamet oppdaget at ikke alle sykehusansatte trodde sepsis-indusert død var et problem ved Duke Health. Spesielt leger som ikke hadde et fugleperspektiv av sykehusets statistikk, var langt mer opptatt av nødsituasjonene de hadde å gjøre med dag til dag, som brukne bein og alvorlige psykiske lidelser. Som et resultat opplevde noen Sepsis Watch som en plage. Men for den kliniske ledelsen var sepsis en stor prioritet, og jo mer de så Sepsis Watch fungere, jo mer hjalp de til med å smøre tannhjulene til operasjonen.
Endring av normer
Elish identifiserer to hovedfaktorer som til slutt hjalp Sepsis Watch til å lykkes. Først ble verktøyet tilpasset en hyperlokal, hyperspesifikk kontekst: det ble utviklet for akuttmottaket ved Duke Health og ingen andre steder. Denne virkelig skreddersydde utviklingen var nøkkelen til suksessen, sier hun. Dette er i strid med typiske AI-normer.
For det andre, gjennom hele utviklingsprosessen, søkte teamet jevnlig tilbakemeldinger fra sykepleiere, leger og andre ansatte opp og ned i sykehushierarkiet. Dette gjorde ikke bare verktøyet mer brukervennlig, men dyrket også en liten gruppe engasjerte medarbeidere for å hjelpe med å fremme suksessen. Det gjorde også en forskjell at prosjektet ble ledet av Duke Healths egne klinikere, sier Elish, snarere enn av teknologer som hadde hoppet i fallskjerm fra et programvareselskap. Hvis du ikke har en forklarbar algoritme, sier hun, må du bygge tillit på andre måter.
Disse leksjonene er veldig kjent for Marzyeh Ghassemi, en kommende assisterende professor ved MIT som studerer maskinlæringsapplikasjoner for helsevesenet. Alle maskinlæringssystemer som noen gang er ment å bli evaluert på eller brukt av mennesker, må ha sosio-tekniske begrensninger foran hodet, sier hun. Spesielt i kliniske omgivelser, som styres av menneskelige beslutningstakere og involverer omsorg for mennesker på deres mest sårbare, er begrensningene som folk trenger å være klar over, virkelig menneskelige og logistiske begrensninger, legger hun til.
Elish håper casestudien hennes av Sepsis Watch overbeviser forskere til å tenke nytt om hvordan de kan nærme seg medisinsk AI-forskning og AI-utvikling for øvrig. Så mye av arbeidet som gjøres akkurat nå fokuserer på hva AI kanskje være eller kunne gjøre i teorien , hun sier. Det er for lite informasjon om hva som faktisk skjer på bakken. Men for at AI skal leve opp til løftet, må folk tenke like mye på sosial integrasjon som teknisk utvikling.
Arbeidet hennes reiser også alvorlige spørsmål. Ansvarlig AI må kreve oppmerksomhet til lokal og spesifikk kontekst, sier hun. Min lesing og trening lærer meg at du ikke bare kan utvikle én ting på ett sted og deretter rulle den ut et annet sted.
Så utfordringen er faktisk å finne ut hvordan vi beholder den lokale spesifisiteten mens vi prøver å jobbe i stor skala, legger hun til. Det er den neste frontlinjen for AI-forskning.