Pollsters tok feil i valget i 2016. Nå vil de ha et nytt skudd.

Det er en ny mengde potensielle orakler, fast bestemt på å ikke gjenskape feilene til sine forgjengere. Av

• Rob Arthur arkivside

14. februar 2020

Karsten Petrat

Natt til 8. november 2016 så Charles Franklin, i likhet med millioner av andre amerikanere, presidentvalgets resultater rulle inn med det han beskrev som en synkende følelse. Men Franklin , en meningsmåler i Wisconsin og professor i jus og offentlig politikk ved Marquette University, var ikke bekymret på grunn av sine personlige politiske preferanser; han hadde ryktet sitt på spill. Bare en uke tidligere hadde hans egen meningsmåling vist Hillary Clinton opp seks poeng i Wisconsin. I stedet, her var hun, og tapte med syv tideler av et poeng.

Franklin var på vakt med ABCs Decision Desk, ett medlem av et ekspertteam bak kulissene som var ansvarlig for å kalle statene for Clinton eller Donald Trump etter hvert som tallene kom inn. Da han så returene hope seg opp til fire om morgenen, ble det klart at undersøkelsen hans var av.

Denne historien var en del av mars 2020-utgaven vår

• Se resten av saken
• Abonnere

Ingen vil ta feil, sier han og ser tilbake. Så sånn sett var det veldig deprimerende.

Han var ikke den eneste meningsmåleren som misforsto valget. I følge RealClearPolitics , hadde hver eneste av mer enn 30 meningsmålinger i Wisconsin i månedene som førte til valget, Clinton vant staten med marginer fra 2 til 16 poeng. Og disse feilene hadde blitt forsterket ytterligere fordi de deretter ble brukt som drivstoff for dataalgoritmer som spådde en samlet Clinton-seier.

Etter at Donald Trump hadde holdt sin seierstale og støvet hadde rensket, begynte alle å innrømme feilene sine.

Det gjorde meg vondt å innse at jeg hadde tatt feil, skrev Natalie Jackson, en dataforsker ved Huffington Post, som hadde gitt Clinton en 98% sjanse til å vinne.

Mediene, inkludert mange utsalgssteder hvis egne prognoser hadde gitt Clinton en stor sannsynlighet for seier, begynte å fordømme feilen i prediksjonsalgoritmer. Noen kritikere var mer forsiktige enn andre, og erkjente at noen spådommere nøyaktig hadde beskrevet en Trump-seier som bare usannsynlig. Men mange sår tvil om hele ideen om å spå valg. Noen brukte til og med valget som ammunisjon for å angripe hele feltet av datavitenskap.

Likevel, nesten fire år senere, og med en ny konkurranse nær for seg, begynner spådommere å gi tidlige spådommer for 2020. Tilbakeslaget til 2016 har ikke frarådet dem – faktisk er det nå en helt ny skare av kommende orakler, fast bestemt på å ikke gjenskape feilene til sine forgjengere.

Hva gikk galt

En cocktail av problemer førte til feilmålingene i 2016. Noen undersøkelser klarte ikke å kontakte nok mindre utdannede hvite velgere, mens noen Trump-tilhengere nektet å innrømme hvilken vei de ville stemme. Trumps ukonvensjonelle strategi viste også flere innbyggere i sterkt republikanske landlige fylker. Undersøkere antok feilaktig at disse menneskene ville holde seg unna som de hadde gjort ved tidligere valg, noe som fikk Trumps base til å virke mindre enn den egentlig var.

Men mens meningsmålerne fikk mesteparten av skylden, burde kanskje mer fordømmelse falt på spåmennene, som gjør meningsmålingernes data til spådommer.

To store spådommere hadde Hillary Clinton på 99 % å vinne, sier G. Elliott Morris, en datajournalist i Economist som jobber med valgprognose. Når hun ikke gjorde det, ga mange av dem bare skylden på meningsmålere, fordi det er lett for dem.

Det var minst to store feil begått av noen av dataforskerne som hjalp til med å designe prediksjonsalgoritmene. For det første antok de at hvis oddsen for å gå ned med nesten syv poeng i Wisconsin var lave, var oddsen for en sammenlignbar feil i andre kritiske stater som Michigan og Pennsylvania små. Faktisk var avstemningsproblemer i en stat korrelert med feil i andre, lignende stater. Å anta at meningsmålingene var helt uavhengige av hverandre - i stedet for å reflektere de samme reaksjonene på de samme problemene - ga overtillit til Clintons ledelse.

For det andre klarte ikke prediksjonsalgoritmer å registrere rekordantallet av usikre velgere som et varseltegn. Fordi så mange velgere var på gjerdet helt frem til valgdagen – og ville ende opp med å bryte sterkt for Trump – var Clintons marginer mye mindre sikre enn de så ut til.

Karsten Petrat

Den stirret oss rett i ansiktet, sier Rachel Bitecofer , professor i statsvitenskap ved Christopher Newport University. Hadde det vært flere meningsmålinger i de tett omstridte statene rett før valgdagen, antyder hun, kunne analytikere ha plukket opp det uvanlig høye antallet velgere som bestemte seg for å møte opp i siste øyeblikk.

Det var imidlertid ikke bare prognosemakernes feil. Selv når sannsynlighetene deres for hver kandidat var nøyaktige, så det ut til at publikum hadde problemer med å forstå betydningen av disse tallene.

I løpet av de siste dagene av valgkampen jobbet jeg på FiveThirtyEight, en av de mest fremtredende utsalgsstedene som kom med spådommer. Jobben min involverte ikke presidentvalget: I stedet dekket jeg baseballs World Series. Da Chicago Cubs var nede med tre kamper mot én i syv-kampsserien mot Cleveland Indians, la jeg merke til at oddsen deres for å vinne, rundt én av seks, var et hår under Trumps sjanser til å ta Det hvite hus. Seks lag hadde gjort det før i den 113 år lange historien til World Series, og ytterligere syv hadde trukket det i andre sluttspillrunder, så det var definitivt mulig, men det var ikke typisk. Etterpå, da både Cubs og Trump vant mot alle odds, mottok jeg en syndflod av hat-tweets som ga meg skylden for på en eller annen måte å ha blitt til to svært mulige skjebnevendinger.

Hvis du hører at det kommer til å være 20 % sjanse for regn, tar du ikke med paraplyen. Og så regner det og du blir krysset av, og det er sannsynligvis din feil, sier Steven Shepard, redaktør og valgmelding i Politico. Men den 20 %-forekomsten er ikke nødvendigvis så usannsynlig.

Mange mennesker så ut til å se på hvilken kandidat som ble anslått til å vinne (vanligvis Clinton) uten å tenke på hvor sikre spådommerne var. En sjanse på 70 % for en Clinton-seier favoriserte absolutt demokraten, men burde vært sett på veldig annerledes enn en sjanse på 99 %.

Likevel sa noen 99 %, og de var utvilsomt for aggressive. Sam Wang ved Princeton Election Consortium estimerte Trumps sjanser til mindre enn 1 %, og lovet til og med å spise en feil hvis Trump fikk mer enn 240 valgstemmer.

Da valgresultatet kom, holdt Wang seg tro mot sitt ord. En uke etter valgdagen, han dukket opp på CNN med en boks gourmet sirisser (gourmet sett fra et kjæledyrs synspunkt, forklarte han) og fordømte opptoget hans innsats hadde forårsaket. Jeg håper at vi kan komme tilbake til data, og tenke gjennomtenkt om politikk og saker, sa han før han dyppet en cricket i honning og, med et smertefullt uttrykk, slukte insektet ned.

Trippel trussel

Ikke alle prognosene var like langt unna som Wangs. Noen forutså til og med en seier for Trump. For å forstå hvorfor de kom inn så annerledes, er det verdifullt å se på utvalget av tilnærminger, som faller inn i tre brede klasser.

De tidligste prognosene i hver valgsyklus kommer fra det som kalles grunnleggende modeller. Disse er vanligvis bygget fra presidentens godkjenningsvurderinger, økonomisk statistikk og demografiske indikatorer. En sterk økonomi forutsier seier for den sittendes parti, det samme gjør en høy godkjenningsvurdering for den sittende. Den demografiske sammensetningen av en stat kan også brukes til å forutsi utfallet - for eksempel hadde hvite, ikke-høyskoleutdannede velgere en tendens til å stemme på Trump i 2016, så stater med mange av dem er mer sannsynlig å gå hans vei i 2020 som vi vil.

Fordi disse faktorene er relativt stabile, kan pålitelige fundamentale spådommer gjøres mye tidligere enn de fleste andre typer prognoser. Modeller som dette virker for enkle til å fange alle særhetene og skandalene til den moderne, to år lange kampanjen. Men de presterte sjokkerende bra i 2016: seks av 10 spådde den endelige folkeavstemningen innen ett prosentpoeng.

Presidentskapet velges imidlertid ikke ved direkte nasjonal folkeavstemning, og det er en nøkkelbegrensning for grunnleggende tilnærminger: få forutsier de endelige resultatene av valgkollegiet.

Grunnleggende modeller har en annen svakhet. Hvis det dukker opp sene nyheter, for eksempel en skandale på slutten av løpet eller et plutselig skifte i økonomien (finanskrisen i 2008 er et godt eksempel), så kan disse stabile prognosene plutselig bli sørgelig utdaterte. For å kompensere for dette begynte statistikere for et tiår eller så siden å popularisere nye typer kvantitative modeller som ikke er fullt så sårbare for disse oktoberoverraskelsene. De behandler meningsmålingsdata etter hvert som de kommer ut og produserer et daglig anslag over hvem som vinner, slik at de kan svare hvis opinionen endrer seg.

RealClearPolicies og Resultatet av New York Times begge har velrenommerte kvantitative modeller, men ingen modell har mer berømmelse – eller uten tvil en bedre merittliste – enn Nate Silvers FiveThirtyEight-prognose, oppkalt etter det totale antallet stemmer i Electoral College. FiveThirtyEights algoritme kommer i flere varianter, men alle passer på å justere meningsmålingene i henhold til hvor pålitelig undersøkelsesorganisasjonen er og om resultatene har en tendens til å konsekvent lene demokratiske eller republikanske. Den forsiktige inntaket av meningsmålingsdata, og oppmerksomheten Silver legger på usikkerhet, har tradisjonelt sett det skiller seg fra andre prognoser. FiveThirtyEight er gullstandarden, fortalte Bitecofer.

Av de store kvantitative valgspådommene var FiveThirtyEights mest konservative , og tildeler Clinton en sjanse på 71,4 % til å vinne på tampen av valget. Det høres omtrent ut akkurat nå i ettertid, sier Charles Franklin: Trumps seier var et usannsynlig, men ikke umulig, utfall.

Til slutt er det prediktorer der ute som helt unngår matematiske tilnærminger, og i stedet stoler på en kombinasjon av intuisjon, meningsmåling og resultatet fra alle de andre typene modeller satt sammen. Disse kvalitative spådommene kjører på en av de mest sofistikerte og likevel feilutsatte beregningsmotorene vi vet om: den menneskelige hjernen.

I stedet for nøyaktige numeriske estimater, grupperer kvalitative prognosemakere vanligvis løp i en av fire kategorier på en skala som spenner fra trygge til toss-up.

Å kaste opp betyr at det ikke er noen favoritt: En slags myntflip, sier Kyle Kondik , en kvalitativ prognosemaker med nyhetsbrevet for politisk analyse fra University of Virginia's Crystal Ball. Lean, sier han, er en liten kant for den ene eller andre siden. Sannsynligvis er en større kant for den ene eller den andre siden. Og trygt, sier han, betyr at vi ville blitt sjokkert hvis partiet tapte. Noen kvalitative prediktorer hevder at disse verbale grupperingene hjelper leserne å forstå de relative sannsynlighetene bedre enn de mer nøyaktige tallene som tilbys andre steder.

Selv om disse spådommene kan virke mindre vitenskapelige enn de som er basert på knasende tall, kan noen skryte av et imponerende nivå av nøyaktighet. I mellomårsperioden 2018, ifølge en tredjepartsvurdering av flere faglige prognoser , var det den passende navnet Crystal Ball som gjorde det best, ikke FiveThirtyEights statistiske algoritme. Ytelse har imidlertid en tendens til å svinge fra syklus til syklus: den beste praksisen, ifølge meningsmålere og akademikere, er å bruke et bredt utvalg av prognoser – kvalitative, kvantitative og grunnleggende.

Hva nå?

Nesten alle spåmennene jeg snakket med, hadde mottatt grusom hatpost etter 2016-resultatene. Likevel har dusinvis av nye modellbyggere kastet hattene sine i ringen for 2020.

De vil lansere sine spådommer for første gang i år, og de er innstilt på å unngå feil fra tidligere valgsykluser. Morris, The Economists prognosemann, er en av dem som går inn på feltet. Han har kalt tidligere, feilutsatte spådommer løgnaktig for folk og redaksjonell feilbehandling. Det bør vi lære av, sier han.

The Economist vil bygge sin algoritme ved å bruke meningsmålinger publisert av eksterne organisasjoner, men den vil også gjennomføre sine egne undersøkelser for å støtte opp resultatene i tvetydige stater og raser, som Morris håper kan føre til større nøyaktighet.

Også Washington Post tar sitt første satsing på spådommer – men tar en annen vei. Den holder seg utenfor prognosespillet inntil returene begynner å komme inn. Først når de første distriktene begynner å kunngjøre stemmetotal på valgdagen, vil Posten bruke sin analytiske modell for å vurdere sannsynligheten for at spesifikke kandidater tar staten eller distriktet de er for. konkurrerer. Ved å vente til de første stemmesedlene er talt, planlegger Postens dataforskere å drastisk redusere feilen i å forutsi resten av stemmene, om enn på bekostning av ikke å kunne gi ut en tidlig prognose.

Erfarne spådommere og meningsmålere sitter heller ikke på hendene. Byggere av grunnleggende modeller begynner å ta opp utfordringen med å forutsi valgkollegiet i stedet for bare folkeavstemningen. Bitecofer designet en modell basert primært på demografi som allerede spår en knapp seier ved valgstemme for den demokratiske utfordreren, hvem det enn måtte være.

Designerne av de problematiske kvantitative algoritmene ser ut til å ha lært leksjonen om korrelerte feil mellom tilstander. Huffington Post utstedte en MEA culpa for sin 98% spådom om en Clinton-seier. Wang, den insektetende Princeton-professoren, har lovet å oppdatere algoritmen sin slik at den vil være mye mindre selvsikker i 2020, innrømmer på bloggen sin at hans tidligere modell var en feil.

HESTELØP SAMLING ANSES Å ØKE KYNISMEN ... DET FÅR FOLK TIL Å SE POLITIKK SOM ET SPILL, DER DE GÅR UT OG ROTTER TIL LAGET SINE.

Kvalitative prognosemakere tok i mellomtiden en rekke leksjoner fra 2016. Det er mange forskjellige ting som jeg i ettertid skulle ønske at vi kanskje hadde fokusert på litt mer, men jeg vil si at de grunnleggende - baserte modellene var de beste i det valget, sier Kondik ved University of Virginia. Jeg skulle ønske vi alle ga dem større oppmerksomhet.

Kondik og andre understreker behovet for å være forsiktige med enhver spådom gitt den historiske upopulariteten til den sittende presidenten, som burde redusere sjansene hans, og den sterke økonomien, som burde øke dem. Disse duellfaktorene betyr at løpet er usikkert så langt fra valgdagen.

Karsten Petrat

Andre steder har medieorganisasjoner også begynt å gi sine estimater på måter som er designet for å gi leseren en bedre og mer intuitiv forståelse av hva sannsynligheter betyr. I stedet for å skrive at demokratene hadde en sjanse på 87,9 % til å ta huset under mellomvalget i 2018, understreket FiveThirtyEight at de kunne ha forventet å vinne syv av åtte ganger.

Psykologer har funnet ut at folk er bedre til å forstå disse typene [tall], skrev Yphtach Lelkes, en professor i kommunikasjon ved University of Pennsylvania.

Endelig øker også meningsmålerne spillet sitt. American Association for Public Opinion Research (AAPOR) ga ut et retrospektiv av 2016 med leksjoner for fremtidige valg. Tips inkluderer bruk av statistiske triks for å sikre at befolkningsprøver er mer representative for staten som blir undersøkt, og å gjennomføre flere meningsmålinger i de siste dagene av kampanjen for å fange opp tilbøyelighetene til sene-besluttende velgere, som viste seg å være så kritiske for Trumps seier.

Franklin, Wisconsin-undersøkelsen, var en av forfatterne av AAPORs post mortem. Den systematiske svikten i dusinvis av undersøkelser i flere stater antyder at feilen hans meningsmåling skyldtes et reelt skifte i løpets avsluttende dager, snarere enn en tidligere, mer grunnleggende feil. Likevel lurer han på hva som kan ha vært: Hva om vi hadde målt gjennom helgen før valget? Ville vi ha fanget svingen mot Trump i disse dataene?

Kvantemåling

Men selv om feil fra fire år siden kan rettes opp, kan det også dukke opp nye vanskeligheter for 2020-syklusen. Noen kan til og med være drevet av å forutsi seg selv. Noen eksperter hevder at valgspådommer kan påvirke selve resultatene de prøver å forutsi.

STUDIER ANVISER AT NÅR FOLK TROR UTVALGET AV ET VALG ER SIKKERT, ER DE MINDRE TIL Å STEMME.

I følge a nylig studie , et overveldende liberalt publikum stemte inn på de altfor selvsikre kvantitative prognosene i 2016. Tidligere publiserte studier tyder på at når folk tror at utfallet av et valg er sikkert, er det mindre sannsynlig at de stemmer, spesielt hvis vissheten er stablet til fordel for deres utvalgte kandidat. Så i en vri på det som er kjent som observatøreffekten – der bare handlingen å se noe endrer resultatet – kunne å mate et sterkt demokratisk publikum med en jevn diett med overmodig meningsmåling som Wangs, ha redusert valgdeltakelsen betraktelig. Gitt at løpet i hovedsak ble avgjort med bare 107 000 stemmer i tre stater, kunne enhver reduksjon ha vært viktig.

Clinton tapte med så få stemmer at det absolutt er mulig at sannsynlighetsprognoser gjorde at nok demokrater ble hjemme til at det påvirket utfallet, skrev Lelkes. Clinton foreslo selv det samme. Jeg vet ikke hvordan vi noen gang skal regne ut hvor mange som trodde det var i sekken, fordi prosentene ble stadig kastet på folk – «Å, hun har 88 prosent sjanse til å vinne!» sa hun i et intervju i New York magazine.

Selv om valgprognosen ikke endret utfallet i 2016, kan det ha større innvirkning på fremtidige kampanjer.

Hesteveddeløpsmålinger antas å øke politisk kynisme, påvirke valgdeltakelsen, øke polariseringen og sannsynligvis erstatte informasjon om materielle spørsmål, skrev Lelkes. Det får folk til å se på politikk som et spill, der de går ut og roter til laget sitt, i stedet for å støtte kandidater basert på deres politiske posisjoner. Og hvis disse effektene er reelle, vil de sannsynligvis bli kraftigere etter hvert som flere prognoser skjer.

Noen prognosemakere, som Silver, har avvist denne bekymringen. De hevder at det ikke er deres jobb å fortelle folk om de skal stemme eller ikke - eller å fortelle media hva de skal dekke. Andre tar imidlertid rådene fra Lelkes og hans kolleger mer alvorlig.

Vi eksperimenterer med måter å formidle usikkerhet som ikke vil stoppe folk [fra å stemme], sier The Economist's Morris. Men jeg tror det fortsatt er et problem som prognosemakere kommer til å ha … jeg vet ikke hvordan vi kommer rundt noen av de samfunnsmessige implikasjonene av arbeidet vårt.

Rob Arthur er en uavhengig journalist og datavitenskapskonsulent basert i Chicago.

gjemme seg