Velkommen til TikToks endeløse syklus av sensur og feil

Ms Tech | Envato

Ziggi Tyler er en del av TikToks Creator Marketplace, en privat plattform hvor merkevarer kan koble seg til appens beste skapere. Og forrige uke la han merke til noe ganske urovekkende ved hvordan skaperbiosene der ble automatisk moderert.

Da han prøvde å skrive inn visse fraser i biografien hans, ble noen av dem – svarte liv betyr noe, støtte svarte mennesker, støtte svarte stemmer og støtte svart suksess – flagget som upassende innhold. Men hvite versjoner av de samme frasene var akseptable.

Hvis jeg går inn på Creator Marketplace og legger «supporting white supremacy» og trykker godta, er det OK, sa han i en TikTok-video , stående foran det han sa var et videoopptak av ham som gjorde nettopp det på sin egen telefon. For å bli oppført på markedsplassen, måtte han slette det han hadde skrevet.

Relatert historie

TikTok endret formen på noen menneskers ansikter uten å spørre

Brukere la merke til det som så ut til å være et skjønnhetsfilter de ikke hadde bedt om – og som de ikke kunne slå av.

I en oppfølgingsvideo , Tyler viste setningene jeg er en nynazist og jeg er en antisemitiker å bli akseptert, mens jeg er en svart mann ble flagget. Historien eksploderte, delvis drevet av et publikum som allerede var frustrert over måten Black-skapere blir behandlet på på TikTok. I en kommentar til Insider , ba en talsperson for selskapet om unnskyldning for den betydelige feilen og sa at det Tyler så var et resultat av et automatisk filter satt til å blokkere ord assosiert med hatefulle ytringer. Systemet, sa det, var feilaktig satt til å flagge fraser uten respekt for ordrekkefølge. Selskapet fortalte recode at denne spesifikke feilen kom fra inkluderingen av ordene Black and audience, fordi dets oppdagelse av hatytringer fanget opp på terningen i publikum og flagget sammenkoblingen som upassende.

Blir offentlig, blir viralt

Det er langt fra den eneste slike hendelsen som finner sted på plattformen. For noen uker siden, TikTok feilaktig brukt det som så ut til å være et obligatorisk skjønnhetsfilter som skapte en slankere kjevelinje for noen Android-brukere.

I april la en TikTok-skaper merke til at plattformens nye funksjon for automatisk teksting blokkerte uttrykket asiatiske kvinner. Og tidlig i 2021 fant intersex-skapere ut at #intersex-hashtaggen ikke lenger var synlig på appen.

Dette er alle eksempler på et mønster som gjentar seg på TikTok: først legger en skaper merke til et bisarrt og potensielt skadelig problem med plattformens moderering eller algoritme, en som ofte uforholdsmessig påvirker marginaliserte grupper. Så lager de en video om hva som skjer, og den videoen får mange visninger. Etter hvert blir kanskje en journalist interessert i hva som skjer, ber selskapet forklare, og problemet er løst. TikTok slipper deretter en uttalelse som sier at problemet var et resultat av en feil, og understreker arbeidet de gjør for å støtte skaperne og årsakene som er berørt.

Det er ikke nødvendigvis en overraskelse at disse videoene lager nyheter. Folk lager videoene sine fordi de fungerer. Å få visninger har vært en av de mer effektive strategiene for å presse en stor plattform for å fikse noe i årevis. Tiktok, Twitter og Facebook har gjort det enklere for brukere å rapportere misbruk og regelbrudd fra andre brukere. Men når disse selskapene ser ut til å bryte sine egne retningslinjer, finner folk ofte ut at den beste veien videre er ganske enkelt å prøve å legge ut om det på selve plattformen, i håp om å gå viralt og få oppmerksomhet som fører til en slags løsning. Tylers to videoer på Marketplace bios, for eksempel, har hver mer enn 1 million visninger.

«Innhold blir flagget fordi de er noen fra en marginalisert gruppe som snakker om sine erfaringer med rasisme. Hatytringer og å snakke om hatytringer kan ligne veldig på en algoritme.

Casey Fiesler, University of Colorado, Boulder

Jeg blir nok tagget i noe omtrent en gang i uken, sier Casey Fiesler, en assisterende professor ved University of Colorado, Boulder, som studerer teknologietikk og nettsamfunn. Hun er aktiv på TikTok, med mer enn 50 000 følgere, men selv om ikke alt hun ser føles som en legitim bekymring, sier hun at appens vanlige parade av problemer er ekte. TikTok har hatt flere slike feil de siste månedene, som alle har uforholdsmessig påvirket marginaliserte grupper på plattformen.

MIT Technology Review har spurt TikTok om hvert av disse nylige eksemplene, og svarene er like: etter undersøkelse finner TikTok ut at problemet ble opprettet ved en feil, understreker at det aktuelle blokkerte innholdet ikke er i strid med retningslinjene deres, og lenker for å støtte selskapet gir slike grupper.

Spørsmålet er om den syklusen – en teknisk eller politisk feil, en viral respons og unnskyldning – kan endres.

Løse problemer før de oppstår

Det er to typer skader av denne sannsynligvis algoritmiske innholdsmodereringen som folk observerer, sier Fiesler. Det ene er falske negativer. Folk tenker «hvorfor er det så mye hatytringer på denne plattformen, og hvorfor blir den ikke fjernet?»

Den andre er en falsk positiv. Innholdet deres blir flagget fordi de er noen fra en marginalisert gruppe som snakker om sine erfaringer med rasisme, sier hun. Hatytringer og å snakke om hatytringer kan ligne veldig på en algoritme.

Begge disse kategoriene, bemerket hun, skader de samme menneskene: de som er uforholdsmessig målrettet for overgrep ender opp med å bli algoritmisk sensurert for å snakke ut om det.

TikTok sine mystiske anbefalingsalgoritmer er en del av suksessen – men dens uklare og stadig skiftende grenser har allerede en avkjølende effekt på noen brukere. Fiesler bemerker at mange TikTok-skapere selvsensurerer ord på plattformen for å unngå å utløse en anmeldelse. Og selv om hun ikke er sikker på nøyaktig hvor mye denne taktikken oppnår, har Fielser også begynt å gjøre det selv, for sikkerhets skyld. Kontoforbud, algoritmiske mysterier og bisarre modereringsbeslutninger er en konstant del av samtalen på appen.

Relatert historie

Hvordan Facebook ble avhengig av å spre feilinformasjon

Selskapets AI-algoritmer ga det en umettelig vane for løgner og hatefulle ytringer. Nå kan ikke mannen som bygde dem fikse problemet.

Enda verre, mange av disse feilene, hevdet Fiesler, ville være enkle å forutsi hvis selskaper bare tenkte mer på hvordan forskjellige brukere faktisk ville samhandle med appen deres. Hatprat-feilen som Tyler møtte ville være vanskelig å gå glipp av hvis selskapet testet den på språket Black-skapere faktisk bruker for å beskrive seg selv, for eksempel.

Å få moderering riktig er komplekst, sier Feisler, men det unnskylder ikke denne konstante repetisjonen.

Jeg er ofte mer sympatisk til utfordringene med disse tingene enn de fleste er, sier hun. Men til og med jeg er som 'virkelig?' På et tidspunkt er det mønstre, og du bør vite hva du skal se etter.

Jeg spurte Fiesler om noe kunne bremse denne syklusen, selv om det er umulig å løse direkte på dette tidspunktet. En del av svaret er en av de mest langvarige historiene innen teknologi: ansett og lytt til folk med forskjellige bakgrunner.

Men, sier hun, større åpenhet må også være en del av løsningen. Fiesler kan ikke si nøyaktig hvorfor TikToks hatytringsdetektor gikk så galt forrige uke fordi appen ikke har gitt ut så mye informasjon om hvordan den fungerer – ikke til forskere som henne, og ikke til brukerne hvis innhold er fjernet eller undertrykt av automatiserte prosesser som, viser historien, lett kan gå galt. Som journalist, når jeg har spurt TikTok (og andre ganger andre plattformer) om mer detaljerte forklaringer om hvorfor noe de kaller en feil skjedde, og hva de gjør for å forhindre at det gjentar seg i fremtiden, svaret er kort, utilfredsstillende, eller selskapet nekter å kommentere posten helt.

Hvis skapere stadig får ting upassende flagget, må det være veldig enkle ankeprosesser, sier hun.

I mellomtiden: syklusen vil fortsette.

gjemme seg