Leksjoner fra pandemiens superstjernedataforsker, Youyang Gu

Ms Tech | Bilde med høflighet

Dataforskeren Youyang Gu tenker på seg selv som en realist - han erklærer det i sitt Twitter-profil : Presenter av objektive opptak. Realist.

Da han la merke til spredebilder av covid-19 i fjor vår – en modell anslo 2 millioner amerikanske dødsfall innen sommeren, en annen spådde 60 000 – stilte Gu spørsmålstegn ved om det var så bra som modellen kunne bli. Han bestemte seg for å prøve å lage en covid-19-modell selv. Hele målet mitt var å produsere en mest mulig nøyaktig modell, sier Gu fra leiligheten sin på Manhattan. Ingen 'hvis dette' eller 'hvis det.' I utgangspunktet ingen 'hvis'. Det spiller egentlig ingen rolle hva scenariene er. Jeg ville bare legge det ut: 'Dette er den mest sannsynlige eller realistiske prognosen for hva som kommer til å skje.'

I løpet av en uke hadde han bygget en maskinlæringsmodell og lansert sin Covid-19 Projections nettsted . Han kjørte modellen hver dag - det tok bare én time på den bærbare datamaskinen hans - og la ut dødsprognoser for covid-19 for 50 amerikanske stater, 34 fylker og 71 land.

Relatert historie

Kan covid føre til en levetid med autoimmun sykdom?

Det øker stadig flere bevis på at covid-infeksjoner hos noen mennesker produserer autoantistoffer som retter seg mot kroppens organer. Hvis det er sant, kan det bety år med langvarig sykdom og elendighet for mange.

I slutten av april vakte han oppmerksomhet - til syvende og sist var det millioner som sjekket nettsiden hans daglig. Carl Bergstrom, professor i biologi ved University of Washington, la merke til og kommenterte på Twitter at Gus modell kom med spådommer som virket like gode som noen jeg har sett.

Jeg kan være litt av en ML-skeptiker. Men i dette tilfellet, ikke la teksten «maskinlæring» lure deg til å tro at dette er slangeolje, tvitret Bergstrom.

En MIT-utdannet med en mastergrad i elektroteknikk og informatikk (pluss en grad i matematikk), Gu, 27, hadde jobbet med en sportsanalysestart da pandemien rammet. Men han satte denne satsingen på pause da major league-idretter la ned. Og så, ganske enkelt ved å google epidemiologi, begynte han sitt forsøk på covid-19-modellering.

Jeg hadde null bakgrunn i infeksjonsmodellering, sier han. Men han hadde noen års erfaring som dataforsker innen finans, og jobbet med statistiske modeller – modeller som, basert på visse statistiske forutsetninger, analyserer data og foretar anslag om for eksempel hvor prisen på en aksje vil være i fremtiden. .

Det viser seg at mye infeksjonssykdomsmodellering i utgangspunktet er statistisk modellering, sier Gu. Og finansnæringens profittdrevne mål for nøyaktighet tjente ham godt i det epidemiologiske domenet. Hvis du ikke kan lage en nøyaktig modell innen finans, har du ikke jobb lenger, sier han. Derimot er målet i akademia - fra Gus perspektiv, i det minste - ikke så mye å lage nøyaktige modeller, men snarere å publisere artikler og informere offentlig politikk. Det betyr ikke at de ikke lager nøyaktige modeller - bare at de ikke optimaliserer spesifikt for nøyaktighet, sier han.

Gus modell kombinerer maskinlæring med en klassisk infeksjonssykdomsimulator kalt en SEIR-modell (tar hensyn til individer i befolkningen som er mottakelige, utsatte, smittsomme, friske eller fjernet på grunn av død).

SEIR-komponenten bruker som input et simulert sett med parametere – et beste gjetningsområde for variabler som det grunnleggende reproduksjonstallet (hastigheten som nye tilfeller oppstår i en fullstendig mottakelig populasjon ved starten av et utbrudd, før intervensjoner eller immunitet) , infeksjonsrate, lockdown-dato, gjenåpningsdato og effektivt reproduksjonsnummer (frekvensen der nye tilfeller oppstår etter noen inngrep). Når det gjelder utganger, beregner SEIR-simulatoren først infeksjonene over tid, og beregner deretter dødsfallene (multipliserer infeksjoner med infeksjonsdødeligheten).

Gus maskinlæringslag genererer deretter tusenvis av forskjellige kombinasjoner for disse parametersettene i forsøk på å finne de virkelige parameterne for hver geografisk region. Den lærer hvilke parametere som genererer de mest nøyaktige dødsprognosene ved å sammenligne SEIR-spådommene med reelle data om daglige dødsfall fra Johns Hopkins University. Den prøver å finne ut hvilke parametersett som genererer dødsfall som samsvarer best med de faktiske observerte dataene, ser tilbake, sier Gu. Og så bruker den disse parameterne til å forutsi og lage anslag om dødsfall inn i fremtiden.

Prognosene viste seg bemerkelsesverdig nøyaktige. For eksempel, 3. mai dukket han opp på CNN i kveld og delte modellens anslag om at USA ville nå 70 000 dødsfall 5. mai, 80.000 dødsfall 11. mai, 90.000 dødsfall 18. mai og 100.000 dødsfall 27. mai. Den 28. mai twitret , covid19-projections.com fikk alle 4 datoene nøyaktig korrekte. Med litt avrunding var det sant.

Jeg sier ikke at jeg har vært perfekt det siste året. Jeg har tatt feil mange ganger. Men jeg tror vi alle kan lære å nærme oss vitenskap som en metode for å finne sannheten, snarere enn sannheten i seg selv.

Youyang Gu

Modellen var selvfølgelig ikke perfekt, men den imponerte Nicholas Reich, en biostatistiker og infeksjonsforsker ved University of Massachusetts, Amherst, hvis laboratorium, i samarbeid med US Centers for Disease Control and Prevention, samler resultater fra rundt 100 internasjonale modellteam. Blant alle de aggregerte modellene, observerte Reich, var Gus modell konsekvent blant de beste.

6. oktober la Gu ut sin endelige dødsmelding, rett før høstbølgen. Modellen anslått at det ville være 231 000 dødsfall i USA innen 1. november. Totalt registrert innen den datoen: 230 995.

Gu la ned sin første modell i begynnelsen av oktober fordi det da var mange lag som gjorde gode dødsprognoser. Han vendte seg i stedet til å modellere sanne infeksjoner versus rapporterte infeksjoner. Og så i desember begynte han å spore vaksineutrulling og det unnvikende klapp h til flokkimmunitet — som han tidlig i 2021 reviderte til veien til normalitet. Mens flokkimmunitet oppnås når en tilstrekkelig del av en befolkning er immun mot viruset, og dermed begrenser ytterligere spredning, definerer Gu normalitet som opphevelse av alle covid-19-relaterte restriksjoner for flertallet av amerikanske stater.

Relatert historie

Hvordan et lite medieselskap hjelper folk med å vaksinere seg

Med mange mennesker som fortsatt sliter med å få covid-skudd i New York, har ett lokalt nyhetsbrev fungert som en vaksinematchmaker.

Det ble klart at vi ikke kommer til å nå flokkimmunitet i 2021, i hvert fall definitivt ikke over hele landet, sier han. Og jeg tror det er viktig, spesielt hvis du prøver å skape tillit, at vi tar fornuftige veier til når vi kan gå tilbake til normalen. Vi bør ikke knytte det til et urealistisk mål som å nå flokkimmunitet. Jeg er fortsatt forsiktig optimistisk på at min opprinnelige prognose i februar, for en tilbakevending til normalen om sommeren, vil være gyldig.

I begynnelsen av mars pakket han butikken helt - han regnet med at han hadde gitt det bidrag han kunne. Jeg ville gå tilbake og la de andre modellbyggerne og ekspertene gjøre jobben sin, sier han. Jeg vil ikke rote plassen.

Han holder fortsatt øye med dataene, forsker og analyserer – på variantene, vaksineutrullingen og den fjerde bølgen. Hvis jeg ser noe som er spesielt urovekkende eller bekymringsfullt som jeg tror folk ikke snakker om, skal jeg definitivt legge det ut, sier han. Men foreløpig satser han på andre prosjekter, som f.eks YOLO aksjer , en plattform for analyse av aksjeticker. Hans viktigste pandemiarbeid er som medlem av Verdens helseorganisasjons tekniske rådgivende gruppe for covid-19 dødelighetsvurdering, hvor han deler sin outsiders ekspertise.

Jeg har definitivt lært mye det siste året, sier Gu. Det var veldig øyeåpnende.

Leksjon #1: Fokuser på grunnleggende

Fra et datavitenskapelig perspektiv har modellene mine vist viktigheten av enkelhet, som ofte er undervurdert, sier Gu. Dødsprognosemodellen hans var enkel i ikke bare utformingen – SEIR-komponenten med et maskinlæringslag – men også dens svært avkortede nedenfra og opp-tilnærming angående inputdata. Bottom-up betyr å starte fra minimum av bare ben og legge til kompleksitet etter behov, sier han. Modellen min bruker kun tidligere dødsfall for å forutsi fremtidige dødsfall. Den bruker ingen annen reell datakilde.

Gu la merke til at andre modeller trakk på en eklektisk variasjonsdata om tilfeller, sykehusinnleggelser, testing, mobilitet, maskebruk, komorbiditeter, aldersfordeling, demografi , sesongvariasjon av lungebetennelse, årlig lungebetennelsesdødsrate, befolkningstetthet, luftforurensning, høyde, røykedata, selvrapporterte kontakter, flypassasjertrafikk, omsorgspunkt, smarte termometre, Facebook-innlegg, Google-søk og mer.

Det er denne troen på at hvis du legger til mer data til modellen, eller gjør den mer sofistikert, så vil modellen gjøre det bedre, sier han. Men i virkelige situasjoner som pandemien, der data er så støyende, vil du gjøre ting så enkelt som mulig.

Jeg bestemte meg tidlig for at tidligere dødsfall er den beste prediktoren for fremtidige dødsfall. Det er veldig enkelt: input, output. Å legge til flere datakilder vil bare gjøre det vanskeligere å trekke ut signalet fra støyen.

Leksjon #2: Minimer forutsetninger

Gu vurderer at han hadde en fordel ved å nærme seg problemet med et blankt ark. Målet mitt var å bare følge dataene om covid for å lære om covid, sier han. Det er en av hovedfordelene med en outsiders perspektiv.

Men fordi han ikke var epidemiolog, måtte Gu også være sikker på at han ikke kom med uriktige eller unøyaktige antagelser. Min rolle er å designe modellen slik at den kan lære forutsetningene for meg, sier han.

Når det kommer nye data som strider mot vår tro, har vi noen ganger en tendens til å overse de nye dataene eller ignorere dem, og det kan forårsake konsekvenser på veien, bemerker han. Jeg fant meg selv i å bli offer for det, og jeg vet at mange andre også har gjort det.

Så å være klar over den potensielle skjevheten vi har og gjenkjenne den, og å være i stand til å justere våre forutsetninger – justere troen vår hvis nye data motbeviser dem – er veldig viktig, spesielt i et raskt bevegende miljø som det vi har sett med covid. .

Leksjon #3: Test hypotesen

Det jeg har sett de siste månedene er at hvem som helst kan komme med påstander eller manipulere data for å passe til fortellingen om hva de ønsker å tro på, sier Gu. Dette fremhever viktigheten av ganske enkelt å lage testbare hypoteser.

For meg er det hele grunnlaget for mine anslag og prognoser. Jeg har et sett med forutsetninger, og hvis de forutsetningene stemmer, så er det dette vi spår vil skje i fremtiden, sier han. Og hvis forutsetningene ender opp med å være feil, så må vi selvfølgelig innrømme at forutsetningene vi gjør ikke er sanne og justere deretter. Hvis du ikke lager testbare hypoteser, er det ingen måte å vise om du faktisk har rett eller galt.

Leksjon #4: Lær av feil

Ikke alle anslagene jeg gjorde var riktige, sier Gu. I mai 2020 anslått han 180 000 dødsfall i USA i begynnelsen av august. Det er mye høyere enn vi så, minnes han (det var omtrent 155 000 dødsfall). Hans testbare hypotese viste seg å være feil – og det tvang meg til å justere mine antakelser.

På det tidspunktet brukte Gu en fast infeksjonsdødelighet på omtrent 1 % som en konstant i SEIR-simulatoren. Da han om sommeren senket infeksjonsdødeligheten til omtrent 0,4 % (og senere til omtrent 0,7 %), gikk anslagene tilbake til et mer realistisk område.

Leksjon #5: Engasjer kritikere

Ikke alle vil være enige i ideene mine, og det hilser jeg velkommen, sier Gu, som brukte Twitter til å legge ut sine anslag og analyser. Jeg prøver å svare folk så mye jeg kan, og forsvare min posisjon og debattere med folk. Det tvinger deg til å tenke på hva dine antakelser er og hvorfor du tror de er riktige.

Det går tilbake til bekreftelsesskjevhet, sier han. Hvis jeg ikke er i stand til å forsvare min posisjon ordentlig, er det da virkelig det rette kravet, og bør jeg fremsette disse påstandene? Det hjelper meg å forstå, ved å engasjere meg med andre mennesker, hvordan jeg skal tenke på disse problemene. Når andre mennesker presenterer bevis som motvirker mine posisjoner, må jeg være i stand til å erkjenne når jeg kan være feil i noen av mine antakelser. Og det har faktisk hjulpet meg enormt med å forbedre modellen min.

Leksjon #6: Utøv sunn skepsis

Jeg er nå mye mer skeptisk til vitenskap - og det er ikke en dårlig ting, sier Gu. Jeg tror det er viktig å alltid stille spørsmål ved resultater, men på en sunn måte. Det er en fin linje. Fordi mange mennesker rett og slett avviser vitenskap, og det er heller ikke måten å gjøre det på.

Men jeg tror det også er viktig å ikke bare stole blindt på vitenskapen, fortsetter han. Forskere er ikke perfekte. Det er passende, sier han, hvis noe ikke virker som det skal, å stille spørsmål og finne forklaringer. Det er viktig å ha ulike perspektiver. Hvis det er noe vi har lært det siste året, så er det at ingen har 100 % rett hele tiden.

Jeg kan ikke snakke for alle forskere, men jobben min er å kutte gjennom all støyen og komme frem til sannheten, sier han. Jeg sier ikke at jeg har vært perfekt det siste året. Jeg har tatt feil mange ganger. Men jeg tror vi alle kan lære å nærme oss vitenskap som en metode for å finne sannheten, snarere enn sannheten i seg selv.

gjemme seg