211service.com
Hvordan Facebook bruker maskinlæring for å oppdage falske kontoer
En falsk Facebook-konto Ms Tech
I 2019 falt Facebook i gjennomsnitt nærmere 2 milliarder falske kontoer per kvartal. Svindlere bruker disse falske kontoene til å spre spam, phishing-koblinger eller skadelig programvare. Det er en lukrativ virksomhet som kan være ødeleggende for alle uskyldige brukere som den fanger.
Facebook gir nå ut detaljer om maskinlæringssystemet de bruker for å takle denne utfordringen. Teknikgiganten skiller mellom to typer falske kontoer. Først er det bruker-feilklassifiserte kontoer, personlige profiler for bedrifter eller kjæledyr som er ment å være sider. Disse er relativt enkle å håndtere – de blir bare konvertert til sider. Krenkelse av kontoer er derimot mer alvorlig. Dette er personlige profiler som driver med svindel og spamming eller på annen måte bryter plattformens vilkår for bruk. Kontoer som bryter bruddene må fjernes så raskt som mulig uten å kaste et for bredt nett og også fange ekte kontoer.
For å gjøre dette bruker Facebook håndkodede regler og maskinlæring for å blokkere en falsk konto enten før den opprettes eller før den blir aktiv. Med andre ord, før det kan skade ekte brukere. Den siste fasen er etter at en falsk konto har gått live. Dette er når deteksjonen blir mye vanskeligere og hvor det nye maskinlæringssystemet, kjent som Deep Entity Classification (DEC), kommer inn.
Går dypt
DEC lærer å skille falske og ekte brukere ved deres tilkoblingsmønstre på tvers av nettverket. Det kaller disse dype funksjonene, og de inkluderer ting som gjennomsnittsalderen eller kjønnsfordelingen til brukerens venner. Facebook bruker over 20 000 dype funksjoner for å karakterisere hver konto, og gir et øyeblikksbilde av hvordan hver profil oppfører seg for å gjøre det vanskelig for angripere å spille systemet ved å endre taktikk.
Systemet starter med å bruke et stort antall maskingenererte etiketter med lav presisjon. Disse genereres gjennom en blanding av regler og andre maskinlæringsmodeller som anslår om brukere er ekte eller falske. Når disse dataene er brukt til å trene et nevralt nettverk, finjusteres modellen med en liten gruppe med høypresisjon håndmerkede data, generert av mennesker rundt om i verden som har en forståelse av lokale kulturelle normer.
Det endelige klassifiseringssystemet kan identifisere en av fire typer falske profiler: illegitime kontoer som ikke er representative for personen, kompromitterte kontoer til ekte brukere som har blitt overtatt av angripere, spammere som gjentatte ganger sender inntektsgenererende meldinger, og svindlere som manipulerer brukere til å avsløre personlig informasjon. Siden implementeringen av DEC, sier Facebook, har det holdt volumet av falske kontoer på plattformen på rundt 5 % av månedlige aktive brukere.
Detaljene om Facebooks oppryddingsinnsats kommer midt i bekymringer om manipulasjon i det kommende amerikanske presidentvalget, spesielt rundt dype forfalskninger. I desember, New York Times rapportert en koordinert desinformasjonskampanje som bruker deepfakes for å spinne opp falske kontoer massevis med overbevisende profilbilder.
Ivaretakelse av valget
Facebook-teamet sa at tidspunktet for utgivelsen bare var en tilfeldighet. Dette handler om å bare oppdage brudd generelt; det er ikke spesifikt rettet mot noen form for valgemner, sier Daniel Bernhardt, ingeniørsjefen for Facebooks Community Integrity-team. Men DEC ville være et komplement til plattformens andre forsøk på å slå ned på valgtukling. Fordi systemet er avhengig av dype funksjoner for å kategorisere hver profil, vil det være motstandsdyktig mot å bli lurt av dypfalske profilbilder, for eksempel.
Aviv Ovadya, som grunnla det ideelle organisasjonen Thoughtful Technology Project og studerer plattformdesign og styring, sier at Facebooks innsats for å være mer transparent med oppryddingsprosedyrene er prisverdig. Det kan være veldig nyttig og kraftig å snakke nøye om arkitektoniske beslutninger – og måtene sikkerhetssystemer fungerer på – som kan etterlignes av andre selskaper, sier han. Fordi selskaper som Facebook har betydelig mer ressurser å investere enn mindre selskaper, er det nyttig å ha denne kunnskapsdelingen.
Men opprydningsarbeidet har også en lang vei å gå. Med 2,5 milliarder månedlige aktive brukere, er 5 % fortsatt 125 millioner falske kontoer. Maskinlæring vil også gå så langt: uansett hvor mye data en modell er trent på, vil den aldri fange opp alle dårlige kontoer med perfekt presisjon. Plattformen vil sannsynligvis måtte vende seg til andre kombinasjoner av mennesker og maskiner for å forbedre seg.
Oppdater: En tidligere versjon av denne artikkelen refererte til utdaterte tall om virkningen av Facebooks DEC-system. De er oppdatert for å gjenspeile den nyeste informasjonen.