211service.com
Wisdom of the Crowd forutsier nøyaktig høyesterettsavgjørelser
FantasySCOTUS er en online fantasy-liga der deltakerne konkurrerer ved å forutsi avgjørelser tatt av den amerikanske høyesterett. Spillere er rangert som i en hvilken som helst fantasy-liga, og de beste utøverne kan vinne premier som en gylden gavel og til og med $10 000 i kontanter.
Siden 2011 har rundt 7 000 spillere kommet med over 600 000 spådommer om utfallet av over 400 høyesterettsavgjørelser. Disse menneskene trenger ingen spesiell kvalifikasjon og inngangen er gratis, selv om premier er begrenset til amerikanske statsborgere. Spillere kan komme og gå som de vil, og delta i noen spådommer, men ikke andre.
Alt dette gjør dette til en interessant gruppe. Samfunnsvitere har lenge vært interessert i folkemengdenes visdom – fenomenet der et stort antall individer, som tilsynelatende handler uavhengig, sammen kan ta overraskende nøyaktige avgjørelser, noen ganger til og med bedre enn de smarteste blant dem.
Landskapet med crowdsourcet visdom når det gjelder å forutsi SCOTUS-avgjørelser
Forskere vet at i noen tilfeller er visdommen til folkemengder svært nøyaktig, men at den i andre ikke er bedre enn tilfeldig gjetting, og noen ganger verre. Så hvor flinke er mengden til å forutsi høyesterettsavgjørelser?
I dag får vi et svar takket være arbeidet til Daniel Martin Katz ved Chicago Kent College of Law i Illinois og et par venner som har knust dataene fra FantasySCOTUS for å finne ut hvor god visdommen til mengden egentlig er. Og de viser at crowdsourcing er ganske god til å forutsi resultatet over et bredt spekter av forhold.
Metoden deres er grei. Disse gutta kommer opp med følgende scenario:
Tenk om følgende historie var ekte. I oktober 2011 ble det kunngjort en millionpris for å forutsi seks års avgjørelser fra Høyesterett i USA ved bruk av crowdsourcing-data. Tusenvis av team fra tvers av industri og akademia svarer på utfordringen, og hver av dem tar litt forskjellige, men rimelige valg om hvordan de skal gi spådommene sine.
Katz og co spør hvordan disse teamene kan nærme seg problemet. Noen lag kan følge mengdens visdom generelt, andre kan velge en undergruppe av innflytelsesrike individer å følge, en annen tilnærming kan være å vekte påvirkningen til individer i henhold til deres nøyaktighet i fortiden, og så videre. Disse modellene kan også utvikle seg over tid ettersom teamene lærer hva slags tilnærming som fungerer best.
Spørsmålet som Katz og co stiller er hvor gode disse modellene kan være. For å finne det ut, lager de et bredt spekter av modeller – rundt 250 000 av dem – og tester dem på dataene fra FantasySCOTUS. Vi simulerer uttømmende modeller over et bredt spekter av rimelige valg, og analyserer deretter ytelsen til disse modellene samlet, sier forskerne.
De sammenligner deretter ytelsen til modellene med en nullmodell. I dette tilfellet er nullmodellen en tommelfingerregel som advokater bruker for å gjette utfallet av høyesterettsavgjørelser. Denne regelen er å anta at SCOTUS vil omgjøre avgjørelsen til enhver lavere domstol. Og dette er faktisk hva som skjer rundt 60 prosent av tiden.
Analysen viser at crowdsourcede modeller er enda bedre. Katz og co sier at mange modeller konsekvent utkonkurrerer null-modellen, de best forutsi SCOTUS-beslutningene med 80 prosent nøyaktighet. Vi gir sterk støtte til påstanden om at crowdsourcing nøyaktig og robust kan forutsi avgjørelsene til USAs høyesterett, sier de.
Teamet planlegger å bruke samme metode for å forutsi utfallet av andre lovgivningsprosesser og til og med valg.
Arbeidet gir imidlertid ikke innsikt i svakhetene ved crowdsourcing-visdom. For eksempel brytes visdommen til folkemengder ofte sammen når meninger til enkeltpersoner blir korrelert - når de påvirker hverandre for sterkt. Dette kan resultere i katastrofale situasjoner, som når store grupper har irrasjonelle eller gale meninger under kontroll av gruppetenkning.
Selvfølgelig er det interessante området mellom disse ytterpunktene – mellom visdom og dårskap. Derfor kan det å forstå hvordan og når visdom bryter sammen være en interessant vei for fremtidig arbeid.
Ref: arxiv.org/abs/1712.03846 : Crowdsourcing forutsier nøyaktig og robust høyesterettsavgjørelser