Hvis bare AI kunne redde oss fra oss selv

Mennesker har ødelagt Internett. Nettmobbing, trakassering, sosial skam og rene ubehageligheter plager slike nettsteder som Twitter og Reddit, spesielt hvis du tilfeldigvis tiltrekker deg feil type oppmerksomhet. Tenk på veien Ghostbusters stjernen Leslie Jones og PR-sjef Justine Sacco ble mål for masseovergrep.

Selskapene som driver nettjenester er vanligvis klemt mellom anklager om likegyldighet til trakassering og undertrykkelse av ytringsfriheten. Men nå tror Google at de kan bruke kunstig intelligens for å redusere denne tragedien med det digitale fellesskapet. (Offentliggjøring: Jeg jobbet for Google på 2000-tallet.) En teknologiinkubator i selskapet, kalt Jigsaw – tidligere kjent som Google Ideas – sier at den har til hensikt å oppdage og fjerne digital trakassering med et automatisert program kalt Conversation AI. Som Jigsaws president, Jared Cohen, fortalte Kablet , Jeg ønsker å bruke den beste teknologien vi har til rådighet for å begynne å ta på meg trolling og andre uhyggelige taktikker som gir fiendtlige stemmer uforholdsmessig vekt, [og] gjøre alt vi kan for å utjevne spillefeltet.

Denne historien var en del av januar 2017-utgaven vår

• Se resten av saken
• Abonnere

Det er motig for Google å ta på seg dette, og det er forskjellig fra noe av Jigsaws tidligere arbeid. Det har inkludert Project Shield, som beskytter nyhetssider og nettsteder som fremmer ytringsfrihet mot tjenestenektangrep. Et annet stikksag, Password Alert, er en Chrome-utvidelse som beskytter mot phishing-angrep. Det var først og fremst tekniske utfordringer. Men å bekjempe troll og nettmobber er også et sosiologisk problem.

Ting anmeldt

• AI Chat

  fra Googles Jigsaw

Conversation AI er en utløper av et av de mest suksessrike av Googles månebildeprosjekter, Google Brain. Det har bidratt til å revolusjonere feltet maskinlæring gjennom store nevrale nettverk, og gitt Google fordeler som programvare som er dyktigere enn mennesker til å gjenkjenne bilder. Men Conversation AI vil ikke være i stand til å beseire misbruk på nettet. Selv om Jigsaws uttalte mål er å bekjempe fremveksten av nettmobber , selve programmet er et langt mer beskjedent – ​​og derfor mer plausibelt – prosjekt. Conversation AI vil først og fremst strømlinjeforme fellesskapsmoderasjonen som i dag utføres av mennesker. Så selv om det ikke er i stand til å nøytralisere den verste oppførselen på nettet, kan det fremme mer og bedre diskurs på enkelte nettsteder.

Hentydningsdeteksjon

Jigsaw starter Conversation AI på New York Times , hvor den vil bli rullet ut om noen måneder for å hjelpe selskapet med å administrere sine online kommentarer. Menneskelige moderatorer vurderer for øyeblikket nesten alle kommentarer publisert på nettstedet. Akkurat nå leser Conversation AI 18 millioner av dem, og lærer å oppdage hver enkelt kategori av kommentarer som blir avvist – uvesentlige, off-topic, spam, usammenhengende, provoserende, obskøne, angrep på kommentator, angrep på forfatter, angrep på utgiver.

De Tider Målet er ikke nødvendigvis å redusere misbruk i kommentarene sine, et problem den allerede anser under kontroll. I stedet håper den å redusere de menneskelige moderators arbeidsmengde. Vi forventer aldri å ha et system som er helautomatisert, Erica Greene, ingeniørsjef i New York Times samfunnsteam, fortalte meg. Tider fellesskapsredaktør Bassey Etim anslår at et sted mellom 50 og 80 prosent av kommentarene til slutt kan bli automoderert, noe som frigjør ansatte til å vie innsatsen til å lage mer overbevisende innhold fra avisens kommentarfelt.

De New York Times nettstedet utgjør svært forskjellige problemer fra sanntids gratis-for-alle på Twitter og Reddit. Og gitt begrensningene til maskinlæring – slik den eksisterer i dag – kan ikke Conversation AI umulig bekjempe misbruk på internetts vidåpne rom. Til tross for alle de blendende prestasjonene til maskinlæring, har den fortsatt ikke knekt menneskelig språk, der mønstre som de den kan finne i Go eller bilder viser seg å være djevelsk unnvikende.

Illustrasjoner av Erik Carter

Det språklige problemet ved misbruksoppdagelse er kontekst. Samtale AIs kommentaranalyse modellerer ikke hele flyten av en diskusjon; den matcher individuelle kommentarer mot lærde modeller for hva som utgjør gode eller dårlige kommentarer. For eksempel kommentarer til New York Times nettstedet kan anses som akseptabelt hvis de har en tendens til å inkludere vanlige ord, setninger og andre funksjoner. Men Greene sier at Googles system ofte flagget kommentarer på artikler om Donald Trump som fornærmende fordi de siterte ham ved å bruke ord som ville få en kommentar avvist hvis de kom fra en leser. For denne typen artikler Tider vil ganske enkelt slå av automatisk moderering.

Det er derfor umulig å se Conversation AI klare seg bra på et vidtåpent nettsted som Twitter. Hvordan ville det oppdage Holocaust-antydningene i fornærmende tweets sendt til den jødiske journalisten Marc Daalder : Dette er deg hvis Trump vinner, med et bilde av en lampeskjerm, og Du hører hjemme her, med et bilde av en brødrister? Å oppdage misbruket er avhengig av historisk kunnskap og kulturell kontekst som en maskinlæringsalgoritme bare kunne oppdage hvis den hadde blitt trent på svært like eksempler. Selv da, hvordan ville det være i stand til å skille mellom misbruk og det samme bildet med This is what I'm buying if Trump vinner? Nivået av semantisk og praktisk kunnskap som kreves er utover det maskinlæring for øyeblikket til og med tar sikte på.

Følgelig vil et dedikert Twitter-troll uten tvil finne en ny måte å uttrykke misbruk på som unngår et system som Conversation AI. Ved å blokkere noen kommentarer, kan maskinlæring gjøre en anstendig jobb med å få kommentatorer til å slutte å tilfeldigvis kalle hverandre tullinger og homoser, hvis det er målet. Men maskinlæring vil ikke være i stand til å hindre en person som er innstilt på å insinuere at noen er skeive.

Med andre ord vil Conversation AI gjøre det mulig å utføre modereringsoppgaver mer effektivt i samfunn som allerede har en tendens til å oppføre seg ganske bra. Det er ikke i stand til å utrydde det verste av misbruket vi hører om, som ofte dukker opp på nettsteder med minimale moderasjonsstandarder. Politisk overgrep på Twitter og Reddit er umulig uten å fundamentalt endre naturen til disse plattformene.

Inngjerdede samfunn

Politisk misbruk på Twitter og Reddit er umulig uten å fundamentalt endre naturen til disse plattformene.

Facebooks suksess er en påminnelse om at folk flest, og absolutt de fleste selskaper, foretrekker et relativt skjermet og kontrollert miljø fremfor et der fremmede kan trenge seg inn i andres virksomhet og starte kamper. Så hvis Conversation AI eller lignende verktøy gjør det enklere og mer effektivt å utøve slik kontroll, er det en påminnelse om at å løse misbruksproblemet, enten det er gjennom menneskelige eller automatiserte midler, krever at man beveger seg bort fra maksimal inkludering som det høyeste idealet på nettet. Selv tilsynelatende åpne samfunn som StackExchange og MetaFilter krever konstant moderatorintervensjon og samfunnspoliti. Virkelig anarkiske samfunn, som Twitter, 4chan og noen kanaler på Reddit, viser seg å være unntakene på nettet, ikke regelen. Heller ikke anarkiske samfunn tjener penger. Twitter har hatt problemer med å tiltrekke seg en kjøper, blant annet på grunn av sitt rykte for støtende innhold, mens Reddit har hatt høy grad av personalomsetning og vanskeligheter med å tjene penger. Wild West-naturen til disse nettstedene vil bare bli tydeligere hvis verktøy som Conversation AI får modererte nettsteder til å fungere enda bedre.

Det er verdt å merke seg en stor potensiell ulempe. Fordi Conversation AI blir opplært til å godkjenne innhold som følger visse leksikalske, grammatiske og stilistiske retningslinjer, vil det ikke bare filtrere bort støtende innhold. Det kan også ha en tendens til å slå mangfoldig innhold. Det reiser spørsmål om hva sensurorienterte regjeringer kan gjøre med det. Akkurat som Tider kuraterer sine lokalsamfunn, så også kan myndighetene i Tyrkia og Kina kurere deres. Mens Jigsaw-innsats som Project Shield tar sikte på å gi forsvar for politisk sensitive nettsteder, gjør Conversation AI det lettere å filtrere ut uønsket tale – men spørsmålet er, uønsket av hvem? Det er ingen etikett på esken som sier: Bruk kun for å forhindre misbruk.

David Auerbach skriver en bok om menneskelige og dataspråk og deres konvergens, som skal utgis av Pantheon. Han jobbet i 11 år som programvareingeniør hos Google og Microsoft, primært innen serverinfrastruktur.

gjemme seg