211service.com
Hvordan Reuters revolusjonerende AI-system samler globale nyheter
Fremkomsten av internett og den påfølgende informasjonseksplosjonen har gjort det stadig mer utfordrende for journalister å produsere nyheter nøyaktig og raskt. Så start forsknings- og utviklingsteamet ved det globale nyhetsbyrået Reuters i en artikkel på arXiv denne uken.
For Reuters har problemet blitt mer akutt av fremveksten av falske nyheter som en viktig faktor for å forvrenge oppfatningen av hendelser.
Likevel har nyhetsbyråer som Associated Press gått videre med automatiserte nyhetsskrivingstjenester. Disse rapporterer standardkunngjøringer som finansnyheter og visse sportsresultater ved å lime inn dataene i forhåndsskrevne maler: X rapporterte et overskudd på Y millioner i Q3, i resultater som slo Wall Streets prognoser ...
Så det er et betydelig press på andre nyhetsbyråer for å automatisere nyhetsproduksjonen. Og i dag skisserer Reuters hvordan den nesten fullstendig har automatisert identifiseringen av siste nyheter. Xiaomo Liu og venner ved Reuters Research and Development og Alibaba sier at det nye systemet fungerer godt. Faktisk har den potensialet til å revolusjonere nyhetsbransjen. Men det vekker også bekymring for hvordan et slikt system kan spilles av ondsinnede aktører.
Det nye systemet heter Reuters Tracer. Den bruker Twitter som en slags global sensor som registrerer nyhetshendelser mens de skjer. Systemet bruker deretter ulike typer datautvinning og maskinlæring for å plukke ut de mest relevante hendelsene, bestemme emnet deres, rangere deres prioritet og skrive en overskrift og et sammendrag. Nyhetene blir deretter distribuert rundt i selskapets globale nyhetstråd.
Det første trinnet i prosessen er å sifon fra Twitter-datastrømmen. Tracer undersøker rundt 12 millioner tweets om dagen, 2 prosent av totalen. Halvparten av disse er tilfeldig utvalgt; den andre halvparten kommer fra en liste over Twitter-kontoer kuratert av Reuters menneskelige journalister. De inkluderer kontoene til andre nyhetsorganisasjoner, betydelige selskaper, innflytelsesrike individer og så videre.
Det neste trinnet er å finne ut når en nyhetshendelse har skjedd. Tracer gjør dette ved å anta at en hendelse har skjedd hvis flere personer begynner å snakke om den samtidig. Så den bruker en klyngealgoritme for å finne disse samtalene.
Disse klyngene inkluderer selvfølgelig spam, annonser, vanlig chat og så videre. Bare noen av dem refererer til nyhetsverdige hendelser.
Så neste trinn er å klassifisere og prioritere hendelsene. Tracer bruker en rekke algoritmer for å gjøre dette. Den første identifiserer samtaleemnet. Den sammenligner deretter dette med en database med emner som Reuters-teamet har samlet fra tweets produsert av 31 offisielle nyhetskontoer, som @CNN, @BBCBreaking og @nytimes, samt nyhetsaggregatorer som @BreakingNews.
På dette stadiet bestemmer algoritmen også plasseringen av arrangementet ved hjelp av en database med byer og stedsbaserte nøkkelord.
Når en samtale eller rykte er potensielt identifisert som nyheter, er det viktig å ta hensyn til sannheten. For å fastslå dette, ser Tracer etter kilden ved å identifisere den tidligste tweeten i samtalen som nevner emnet og eventuelle nettsteder den peker på. Den konsulterer deretter en database som viser kjente produsenter av falske nyheter, for eksempel National Report, eller satiriske nyhetssider som The Onion.
Til slutt skriver systemet en overskrift og oppsummering og distribuerer nyhetene i hele Reuters-organisasjonen.
Under forsøk, sier Reuters-teamet, har systemet fungert bra. Tracer er i stand til å oppnå konkurransedyktig presisjon, tilbakekalling, aktualitet og sannhet på nyhetsdeteksjon og levering, sier de.
Og de har statistikk for å støtte dette. Systemet behandler 12 millioner tweets hver dag, og avviser nesten 80 prosent av dem som støy. Resten faller inn i rundt 6000 klynger som systemet kategoriserer som ulike typer nyhetshendelser. Det hele gjøres av 13 servere som kjører 10 forskjellige algoritmer.
Til sammenligning sysselsetter Reuters rundt 2500 journalister over hele verden som til sammen genererer rundt 3000 nyhetsvarsler hver dag, ved hjelp av en rekke kilder, inkludert Twitter. Av disse er rundt 250 skrevet opp som nyhetssaker.
Reuters sammenlignet historiene som Tracer identifiserer med de som vises i nyhetsfeedene til organisasjoner som BBC og CNN. Resultatene indikerer at Tracer kan dekke omtrent 70 prosent av nyhetssakene med 2 prosent av Twitter-data, sier Lui og co.
Og systemet fungerer absolutt raskt. Teamet fremhever eksemplet med skytingen i Las Vegas i oktober 2017, som førte til at 58 mennesker døde. Et vitne rapporterte om hendelsen klokken 01:22, som utløste en Tracer-klynge. Klyngen oppfylte imidlertid ikke systemets kriterier for at en hendelse skal inkluderes i nyhetsstrømmen før klokken 01.39. Reuters rapporterte hendelsen klokken 01.49, sier Lui og co.
Det er interessant arbeid som reiser en rekke spørsmål, spesielt om hvor enkelt systemet er å manipulere. Det er ikke vanskelig å forestille seg ondsinnede skuespillere som designer Twitter-feeder med den spesifikke hensikten å lure Tracer.
Men om dette systemet vil være lettere å spille enn det nåværende, der mennesker jevnlig blir lurt, er vanskelig å si.
Så er det menneskets rolle i nyhetsbransjen. Fremtiden til nyheter er helt klart en av økende automatisering. Hvordan mennesker passer inn er ennå ikke bestemt.
Ref: arxiv.org/abs/1711.04068 : Reuters Tracer: Mot automatisert nyhetsproduksjon ved bruk av sosiale mediedata i stor skala