Instagram bruker kunstig intelligens for å hindre folk i å legge ut støtende kommentarer

Kategori: Kunstig intelligens Lagt ut 09 jul

Den sosiale medieplattformen vil flagge mulig støtende kommentarer før de legges ut og be plakaten revurdere.

Sammenhengen: Nettmisbruk har alltid vært et komplisert problem på grunn av omfanget og nyansen. Det som regnes som verdig sensur er en evig debatt : filtrere for mye og det krenker selvuttrykk; filtrere for lite og det skaper et fiendtlig miljø. Legg til det kompleksiteten til forskjellige språk, kulturer og normer, og utfordringen blir virkelig uhåndterlig.

Kunstig uintelligens: Det er derfor sosiale medieplattformer som Facebook har vendt seg til kunstig intelligens for å hjelpe dem med å sortere gjennom det store volumet av innlegg og kommentarer. Men språket har alltid vært spesielt vanskelig for AI å analysere – enkle ting som dobbeltbetydninger, sarkasme eller til og med feilstavinger kan få et system til å ta feil av betydningen. For å komme rundt det, bruker Facebook tusenvis av innholdsmoderatorer å gå opp når algoritmene ikke klarer å foreta en endelig vurdering. Undersøkelser har imidlertid funnet at disse jobbene ofte er brutale og utmattende.

Instagrams løsning: Instagram, som eies av Facebook, prøver nå en ny tilnærming. I stedet for å stole utelukkende på algoritmene for å sensurere støtende materiale, vil det også trekke på brukernes selvsensur. Når en kommentar legges ut, hvis plattformens AI-modell flagger den som skadelig, vil plakaten se en popup som spør Er du sikker på at du vil legge ut dette?

I tidlige tester fant Instagram at funksjonen oppmuntret mange mennesker til å trekke tilbake kommentarene sine, ifølge gårsdagens kunngjøring av blogginnlegg . Det er en smart taktikk å prøve å lette noe av byrden på moderering av menneskelig innhold uten å være for restriktiv.

Treningsdata: Dette er ikke første gang Instagram har brukt AI for å rydde opp i språket. I juni 2017 ble det også lanserte et støtende kommentarfilter som bruker maskinlæring for å skjule det mest åpenbare misbruket. Plattformen har siden fortsatt å forbedre sin maskinlæringsmodell, sannsynligvis ved å bruke millioner av datapunkter generert av brukere når de rapporterte kommentarer tidligere. Den siste funksjonen ber også brukere om å varsle Instagram hvis den har flagget kommentaren deres som støtende ved en feiltakelse, en annen tilbakemeldingssløyfe som kan generere mer nyttige treningsdata.

For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.