AI tror dette flombildet er et toalett. Retting som kan forbedre katastroferespons.

Alvorlige flom i Midtvesten. Med tillatelse fra MIT Lincoln Laboratory

Andrew Weinert og kollegene hans var dypt frustrerte. Etter at orkanen Maria rammet Puerto Rico, jobbet forskerne fra MITs Lincoln Laboratory hardt for å hjelpe Federal Emergency Management Agency (FEMA) med å vurdere skaden. I hånden hadde de det perfekte datasettet: 80 000 luftbilder av regionen tatt av Civil Air Patrol rett etter katastrofen.

Men det var et problem: det var for mange bilder å sortere gjennom manuelt, og kommersielle bildegjenkjenningssystemer klarte ikke å identifisere noe meningsfullt. I et spesielt alvorlig eksempel anbefalte ImageNet, den gyldne standarden for bildeklassifisering, å merke et bilde av en stor flomsone som et toalett.

Det var dette fantastiske informasjonsinnholdet, men det var ikke tilgjengelig, sier Weinert.

De innså snart at dette problemet ikke er unikt. I ethvert storstilt katastrofescenario kan team av beredskapspersonell som FEMA spare betydelig tid og ressurser ved å gjennomgå detaljer om forholdene på bakken før de ankommer. Men de fleste datasynssystemer er trent på vanlige daglige bilder, så de kan ikke pålitelig plukke ut relevante detaljer i katastrofesoner.

Erkjennelsen tvang teamet til å kompilere og kommentere et nytt sett med bilder og opptak spesifikt for beredskapsscenarier. De ga ut datasettet sammen med en papir denne uken i håp om at den vil bli brukt til å trene datasynssystemer i fremtiden.

Datasettet inkluderer over 620 000 bilder og 96,5 timer med video som omfatter bilder fra alle 50 delstater i USA. De fleste mediene var hentet fra offentlige databaser eller Creative Commons-videoer på YouTube; en liten del ble også filmet av Lincoln Lab-ansatte selv.

Bilder fra datasettet. Med tillatelse fra MIT Lincoln Laboratory

For å gjøre det virkelig nyttig for nødhjelpspersonell, vurderte forskerne ulike nødscenarier som sannsynligvis ville utløse vanlige bildeklassifiseringssystemer. De kompilerte bilder av biler i oversvømmet vann, for eksempel; de fleste systemer vil se vannet og umiddelbart merke kjøretøyet som en båt – rett og slett som et symptom på treningsdataene deres.

De brukte også mye tid på å finne ut den beste måten å kommentere bildene på. De ønsket at merknadene skulle tilby nødhjelpspersonell nyttig kontekst for oppdragene deres, og trengte også at merknadsskjemaet skulle være enkelt nok til at datamerkere kunne utføre raskt med minimale feil. Så de etterlignet ImageNets organisasjonsstruktur, som grupperer bilder i stadig mer spesifikke kategorier av objekter, som dyr, hund og deretter labrador retriever. I stedet for objektkategorier, grupperte forskerne bilder basert på stadig mer spesifikke katastrofekarakteristikker: Er det skade? Ja eller nei? Er det vann? Ja eller nei? Skal vannet være der? Ja eller nei?

Slike kvalifikasjoner vil tillate datasynsforskere å enkelt sortere gjennom datasettet og velge relevante segmenter for å trene katastroferelaterte bildegjenkjenningssystemer. Disse systemene vil da hjelpe en nødhjelp raskt med å behandle bilder fra nye katastrofescenarier for å få en følelse av de verste innvirkningsområdene, hva slags forhold på bakken man kan forvente, og hvilke forsyninger som skal forberedes til oppdraget.

Weinert sier at det fortsatt er et arbeid som pågår, men han er spent på potensialet. Hvis vi kunne finne ut en måte å si: 'Dette er hvordan du bør kvalifisere bilder av katastroferespons,' kan Amazon, Task Rabbit og alle de andre skykildeenhetene begynne å bruke det som en industristandard, sier han, og begynne å utvikle mer katastrofebevisste gjenkjenningssystemer.

Forskerne gjør nå datasettet tilgjengelig for National Institute of Standards and Technology og har begynt å samarbeide med andre organisasjoner for å sette opp bildegjenkjenningskonkurranser rundt bruken av det. Vi ser på måter å få dette i hendene på datasynsforskere, sier Weinert.

For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.

gjemme seg