211service.com
Selv den beste AI for å oppdage falske nyheter er fortsatt forferdelig
Illustrasjon av forvirret robot som holder en avis Ms. Tech
Da Facebook-sjef Mark Zuckerberg lovet kongressen at AI ville bidra til å løse problemet med falske nyheter, avslørte han lite i veien for hvordan . Ny forskning bringer oss et skritt nærmere å finne ut av det.
I en omfattende studie som vil bli presentert på en konferanse senere denne måneden, testet forskere fra MIT, Qatar Computing Research Institute (QCRI) og Sofia University i Bulgaria over 900 mulige variabler for å forutsi et medieutsalgs pålitelighet – sannsynligvis det største settet som noen gang er foreslått. .
Forskerne trente deretter en maskinlæringsmodell på forskjellige kombinasjoner av variablene for å se hvilke som ville gi de mest nøyaktige resultatene. Den beste modellen merket nyhetskanaler nøyaktig med lav, middels eller høy fakta bare 65 % av tiden.
Dette er langt fra en knallsuksess. Men eksperimentene avslører viktige ting om hva som kreves for å sette ut faktasjekken vår til en maskin. Preslav Nakov, seniorforsker ved QCRI og en av forskerne på studien, sier han er optimistisk at kilder til falske nyheter automatisk kan oppdages på denne måten.
Men det betyr ikke at det blir lett.
Metode til galskap
I eksplosjonen av forskning på oppdagelse av falske nyheter siden den amerikanske presidentkampanjen i 2016, har fire hovedtilnærminger dukket opp: faktasjekke individuelle påstander, oppdage falske artikler, jakte på troll og måle påliteligheten til nyhetskilder. Nakov og resten av teamet valgte å fokusere på den fjerde fordi den kommer nærmest opphavet til feilinformasjon. Det har også blitt studert minst.
Tidligere studier prøvde å karakterisere påliteligheten til en nyhetskilde ved hvor mange av dens påstander samsvarte med eller var i konflikt med påstander som allerede var faktasjekket. Med andre ord, en maskin vil sammenligne historien til faktiske påstander fra et nyhetsutsalg med konklusjonene fra nettsteder som Snopes eller PolitiFact. Mekanismen er imidlertid avhengig av menneskelig faktasjekking og evaluerer historien til utsalgsstedet, ikke den umiddelbare nåtiden. Innen de siste påstandene har blitt faktasjekket manuelt, er det allerede for sent, sier Nakov.
For å oppdage en falsk nyhetskilde i nær sanntid, trente Nakov og hans samarbeidspartnere opp systemet sitt ved å bruke variabler som kunne tabuleres uavhengig av menneskelige faktasjekkere. Disse inkluderte analyser av innholdet, som setningsstrukturen til overskrifter og ordmangfoldet i artikler; generelle nettstedsindikatorer, som URL-struktur og nettstedtrafikk; og mål på utsalgsstedets innflytelse, som engasjement i sosiale medier og Wikipedia-side, hvis noen.
For å velge variablene, stolte forskerne både på tidligere forskning – tidligere studier har vist at falske nyhetsartikler har en tendens til å ha repeterende ordvalg, for eksempel – og på nye hypoteser.
Ved å teste forskjellige kombinasjoner av variabler, var forskerne i stand til å identifisere de beste prediktorene for en nyhetskildes pålitelighet. Om et utsalgssted hadde en Wikipedia-side, for eksempel, hadde en overordnet prediktiv kraft; utsalgsstedets trafikk hadde derimot ingen. Øvelsen hjalp forskerne med å finne flere variabler de kunne utforske i fremtiden.
Data sultet
Men det er en annen hindring: mangel på treningsdata – det Nakov kaller grunnsannheten.
For de fleste maskinlæringsoppgaver er det enkelt nok å kommentere treningsdataene. Hvis du vil bygge et system som oppdager artikler om sport, kan du enkelt merke artikler som relatert eller ikke relatert til det emnet. Deretter mater du datasettet inn i en maskin slik at den kan lære egenskapene til en sportsartikkel.
Men å merke medier med høy eller lav fakta er mye mer sensitivt. Det må gjøres av profesjonelle journalister som følger strenge metoder, og det er en tidkrevende prosess. Som et resultat er det utfordrende å bygge opp et solid korpus av treningsdata, noe som delvis er grunnen til at nøyaktigheten til studiens modell er så lav. Den mest åpenbare måten å øke nøyaktigheten på er å få mer treningsdata, sier Nakov
Foreløpig har Media Bias Fact Check, organisasjonen som er valgt til å levere grunnsannheten for forskningen, evaluert 2500 mediekilder – en mangelvare når det gjelder maskinlæring. Men Nakov sier at organisasjonens database vokser raskt. I tillegg til å skaffe mer treningsdata, søker forskerne også å forbedre modellens ytelse med flere variabler, hvorav noen beskriver strukturen til nettstedet, om det har kontaktinformasjon og dets mønstre for publisering og sletting av innhold.
De er også i de tidlige stadiene av å bygge en nyhetsaggregeringsplattform som gir leserne viktige signaler om påliteligheten til hver historie og kilde som deles.
Til tross for arbeidet som gjenstår, tror Nakov slik teknologi kan bidra til å løse fake-news-epidemien relativt raskt hvis plattformer som Facebook og Twitter seriøst anstrenger seg. Det er som å bekjempe spam, skrev han i en Skype-melding. Vi vil aldri stoppe falske nyheter helt, men vi kan sette dem under kontroll.