211service.com
Datautvinning 100 millioner Instagram-bilder avslører globale klesmønstre
Se for deg en fremtidig antropolog med tilgang til billioner av bilder av mennesker – tatt over århundrer og over hele verden – og utstyrt med effektive verktøy for å analysere disse bildene for å få innsikt. Hva slags nye spørsmål kan besvares?
Dette er drømmen som har inspirert Kevin Matzen, Kavita Bala og Noah Snavely ved Cornell University i Ithaca, New York.
Deres tankegang er at de millioner av bilder som lastes opp hver dag til sosiale medier, gir et fascinerende vindu inn i de kulturelle, sosiale og økonomiske faktorene som former samfunn rundt om i verden. Med kraftig nok maskinintelligens, sier de, burde det være mulig å utvinne denne modermengden av data for dyp innsikt i vår sivilisasjon.
Algoritmen avslører hvordan klesstiler endrer seg over tid
Som heldigvis dukker denne typen maskinintelligens opp for tiden i en rasende hastighet. Og Matzen og co har satt det i gang med å studere 100 millioner bilder lagt ut på Instagram.
Spørsmålet disse gutta spesifikt ønsker å svare på var hvordan klesstiler varierer rundt om i verden, et kulturelt fenomen som ellers er vanskelig å studere i denne skalaen.
For eksempel kan deres tilnærming takle spørsmål som hvordan frekvensen av skjerfbruk i USA endrer seg over tid, hvilke stiler som er mest spesifikke for bestemte regioner eller byer, og omvendt hvilke stiler som er populære over hele verden.
For å finne ut vendte Matzen og co seg til Instagram, som tillot dem å laste ned bilder innen fem kilometer fra et bestemt sted og innen fem dager etter en bestemt dato.
Teamet identifiserte deretter 44 byer å studere og lastet ned totalt 100 millioner bilder fra disse stedene i fem-dagers vinduer mellom juni 2013 og juni 2016.
De brukte et standard ansiktsgjenkjenningsprogram for å filtrere ut alle bildene som ikke inneholdt et ansikt, og de filtrerte også etter en synlig overkropp, og etterlot et sett med 15 millioner bilder av mennesker som viser den øvre halvdelen av kroppen deres, sammen med deres plassering og datoen.
Deretter trente de en maskinlæringsalgoritme for å gjenkjenne ulike typer klær og tilbehør i bilder. Algoritmen lærte seg for eksempel å gjenkjenne om folk hadde på seg en jakke, et skjerf, et slips, briller, en hatt og så videre. Algoritmen kan også gjenkjenne farger, halsutsnitt og ermelengde; kleskategorier som T-skjorte, kjole eller tank topp; og klesmønstre, for eksempel solid, stripete, rutete og så videre.
Til slutt lot de maskinen tape på de 15 millioner bildene i datasettet deres og brukte deretter en annen algoritme for å søke etter klynger av bilder med lignende visuelle temaer og spore hvordan disse varierte over tid og fra ett sted til et annet.
Resultatene gir interessant lesning. Klyngealgoritmen fant rundt 400 forskjellige visuelle temaer, for eksempel folk som hadde på seg hvite T-skjorter og briller, eller hadde på seg røde V-hals eller svarte kjoler, eller ikke hadde på seg topper i det hele tatt!
Matzen og co kan deretter studere hvordan disse visuelle temaene varierer etter tid og sted. De fant for eksempel at visse farger varierer med jevne mellomrom, med svart og brunt som er mer vanlig om vinteren og hvitt og blått mer vanlig om sommeren.
Andre farger viser forskjellige mønstre. For eksempel synker populariteten til rødt. Og selv om det er mye mindre periodisk enn svart eller hvitt, blir det plutselig populært fra tid til annen. Matzen og co peker på små topper i popularitet mot slutten av oktober og desember: med andre ord på Halloween og jul. Det som skilte seg ut var et stort utvalg av nisseluer samt et uventet utvalg røde Halloween-kostymer med røde hatter eller hetter, forteller de.
De fant også en plutselig økning i populariteten til gule skjorter i Colombia og Brasil under fotball-VM i juni/juli 2014 – begge lands fotballag går i gult.
De noterte også ulike geografiske trender. Land lenger nord har en tendens til å ha flere jakker, sier de, antagelig fordi det er kaldere.
Hattbruk er også mer populært i kaldere land. Men merkelig nok viser Oman i Midtøsten seg å være en av verdens hattbærende hovedsteder. Spesielt kuma og massar er populære i Oman, siden de er et viktig element i menns nasjonaldrakt, sier Matzen og co.
Noen klær er unike for bestemte steder: geleen, et nigeriansk hodeslips, er veldig særegent for Lagos. Og andre stiler er vanlige over hele verden og gjennom hele året, inkludert skjorter med blå krage, rutete skjorter og svarte T-skjorter.
Det er interessant arbeid som avslører potensialet for maskinlæring for å plage det kulturelle stoffet i samfunnet vårt.
Selvfølgelig er denne tilnærmingen ikke perfekt. Algoritmen lærte ikke å skille mellom solbriller og reseptbelagte briller, som spiller ulike roller i samfunnet. Bildene er neppe representative for samfunnet som helhet, siden Instagram-brukere er sterkt skjevt mot en yngre demografi. Og teknikken ser kun på overkroppen, siden bena ofte er beskåret på nettbilder.
Men det er et betydelig potensial for å rette opp disse manglene i fremtidig arbeid og gå videre. En pågående utfordring innen maskinsyn er å finne ut om folk står eller sitter eller hva de gjør generelt. Det vil også være mulig å kombinere dette datasettet med andre, for eksempel vær- og temperaturdata.
Som Matzen og co konkluderer: Kombinasjonen av store data, maskinlæring, datasyn og automatiserte analysealgoritmer vil gi et veldig kraftig analyseverktøy mer bredt innen visuell oppdagelse av mote og mange andre områder.
Det er klart at vi ikke trenger å vente på fremtidens antropologer.
Ref: arxiv.org/abs/1706.01869 :StreetStyle: Utforsk verdensomspennende klesstiler fra millioner av bilder