Datautvinning avslører måten mennesker evaluerer hverandre på

Måten vi vurderer ytelsen til andre mennesker er et av de større mysteriene innen kognitiv psykologi. Denne prosessen skjer kontinuerlig mens vi vurderer individers evne til å utføre visse oppgaver, og vurderer alle fra elektrikere og bussjåfører til regnskapsførere og politikere.

Problemet er at vi bare har tilgang til et begrenset sett med data om en persons ytelse – noe av det direkte relevant, for eksempel en drosjesjåførs kjørejournal, men mye av det irrelevant, for eksempel sjåførens kjønn. Faktisk kan mengden informasjon være så stor at vi blir tvunget til å bestemme oss for å bruke en liten delmengde av den. Hvordan blir disse avgjørelsene tatt?

I dag får vi et slags svar takket være arbeidet til Luca Pappalardo ved Universitetet i Pisa i Italia og noen få venner som har studert dette problemet på sportsarenaen, der spørsmål om ytelse blir kastet i sterk lettelse. Arbeidet deres gir unik innsikt i måten vi vurderer menneskelig ytelse og hvordan dette forholder seg til objektive mål.

Faktorene menneskelige observatører bruker for å vurdere ytelsen er en liten undergruppe av objektive mål.

Sportslige prestasjoner er et område hvor detaljerte registreringer av individuelle prestasjoner har blitt samlet i noen år. Pappalardo og co fokuserer på fotball, verdens mest populære sport, og spesielt på prestasjonene til spillere som konkurrerer i toppen av sporten i Italias Serie A fotballiga.

I mange år har italienske sportsaviser vurdert ytelsen til spillere i hver kamp på en skala fra 0 til 10, der 0 er uforglemmelig dårlig og 10 uforglemmelig fantastisk. Dette systemet er basert på det italienske systemet med skolevurderinger, der en 6 indikerer at en elev har prestert tilstrekkelig. Måten spillerne rangeres på er ikke publisert, men det er antagelig gjort av en ekspert sportsjournalist.

De siste årene har de samme spillerne også blitt evaluert av et objektivt målesystem som teller antall pasninger, skudd, taklinger, redninger og så videre som hver spiller gjør. Dette tekniske tiltaket tar hensyn til 150 forskjellige parametere og gir en omfattende oversikt over hver spillers prestasjoner på banen.

Spørsmålet som Pappalardo og co stiller er hvordan avisvurderingene henger sammen med de tekniske vurderingene, og om det er mulig å bruke de tekniske dataene til å forstå faktorene som påvirker menneskelige vurderinger.

Forskerne starter med det tekniske datasettet på 760 kamper i Serie A i sesongene 2015-16 og 2016-17. Dette består av over en million datapunkter som beskriver tidsstemplede hendelser på banen. De bruker dataene til å trekke ut en teknisk ytelsesvektor for hver spiller i hvert spill; dette fungerer som et objektivt mål på ytelsen hans.

Forskerne har også rangeringer for hver spiller i hver kamp fra tre sportsaviser: Gazzetta dello Sport , Corriere dello Sport , og Tuttosport .

Avisvurderingene har noen interessante statistiske egenskaper. Bare 3 prosent av karakterene er lavere enn 5, og bare 2 prosent høyere enn 7. Når karakterene er kategorisert i tråd med skolens karaktersystem – like dårlig hvis de er lavere enn 6 og gode hvis de er 7 og over – dårlige vurderinger viser seg å være tre ganger så vanlig som gode.

Generelt sett vurderer avisene en prestasjon på samme måte, selv om det kan være sporadiske uenigheter med opptil 6 poeng. Vi observerer en god enighet om sammenkoblede rangeringer mellom avisene, og finner at rangeringene (i) har identiske fordelinger; (ii) er sterkt korrelert med hverandre; og (iii) vanligvis avviker med én vurderingsenhet (0,5), sier Pappalardo og co.

For å analysere forholdet mellom avisvurderingene og de tekniske vurderingene bruker Pappalardo og co maskinlæring for å finne sammenhenger i datasettene. Spesielt oppretter de en kunstig dommer som forsøker å reprodusere avisvurderingene fra en undergruppe av de tekniske dataene.

Dette fører til et merkelig resultat. Den kunstige dommeren kan matche avisvurderingene med en rimelig grad av nøyaktighet, men ikke like godt som avisene matcher hverandre. Uenigheten indikerer at de tekniske egenskapene alene ikke kan forklare [avis] vurderingsprosessen fullt ut, sier Pappalardo og co.

Avisvurderingene må med andre ord avhenge av eksterne faktorer som ikke fanges opp av de tekniske dataene, som forventning om et bestemt resultat, personlig skjevhet og så videre.

For å teste denne ideen samlet Pappalardo og co et annet sett med data som fanger opp eksterne faktorer. Disse inkluderer spillerens alder, nasjonalitet og klubb, det forventede spillresultatet som estimert av bookmakere, det faktiske spillresultatet og om et spill spilles hjemme eller borte.

Når disse dataene er inkludert, gjør den kunstige dommeren mye bedre. Ved å legge til kontekstuell informasjon øker den statistiske avtalen mellom den kunstige dommeren og den menneskelige dommeren betydelig, sier teamet.

De kan faktisk tydelig se eksempler på hvordan eksterne faktorer påvirker avisens rangeringer. I hele datasettet har kun to spillere noen gang blitt tildelt en perfekt 10. En av disse var den argentinske spissen Gonzalo Higuaín, som spilte for Napoli. Ved denne anledningen scoret han tre mål i en kamp, ​​og ved å gjøre det ble han tidenes høyeste målscorer i en sesong i Serie A. Den milepælen var nesten helt sikkert årsaken til den perfekte rangeringen, men det er ingen måte å utlede dette på score fra det tekniske datasettet.

Et viktig spørsmål er hvilke faktorer den kunstige dommeren bruker for å matche avisvurderingene. Vi observerer at mesteparten av en menneskelig dommers oppmerksomhet er viet til et lite antall funksjoner, og det store flertallet av tekniske funksjoner blir dårlig vurdert eller forkastet under evalueringsprosessen, sier Pappalardo og co.

Så for angripende spillere har aviser en tendens til å rangere dem ved å bruke lett observerte faktorer som antall mål scoret; de vurderer keepere på antall innslupne mål. Midtbanespillere har en tendens til å bli vurdert etter mer generelle parametere som målforskjellen.

Det er fornuftig – menneskelige observatører har en begrenset båndbredde og er sannsynligvis i stand til å observere bare en liten brøkdel av ytelsesindikatorer. Faktisk sier teamet at den kunstige dommeren kan matche menneskelige vurderinger ved å bruke mindre enn 20 av de tekniske og eksterne faktorene.

Det er et fascinerende resultat som har viktige implikasjoner for måten vi tenker på ytelsesvurderinger. Målet er selvfølgelig å finne mer effektive måter å evaluere ytelse i alle slags situasjoner. Pappalardo og co mener deres arbeid har en betydelig betydning for dette. Denne artikkelen kan brukes til å styrke menneskelige evaluatorer til å få forståelse for den underliggende logikken i beslutningene deres, konkluderer de.

Ref: arxiv.org/abs/1712.02224 : Menneskelig oppfatning av ytelse

gjemme seg