211service.com
Deep Learning skaper jordlignende terreng ved å studere NASA-satellittbilder
Landskapene i videospill og kunstige verdener kan genereres på to måter. Den første er å håndlage terrenget og fylle det med passende farger og teksturer som steiner, gress, trær, snø og så videre. Dette gir resultater av høy kvalitet, men er dyrt på grunn av det menneskelige arbeidet som er involvert.
Den andre metoden er å generere landskapet algoritmisk, en prosess som er mye raskere og billigere. Dette er hvordan spillere i spillet Minecraft går inn i et helt nytt landskap hver gang de spiller.
Algoritmene bak denne prosessen er godt utviklet, og programmerere har finjustert dem gjennom årene for å produsere forskjellige klimaer, teksturer, høydevariasjoner og så videre. Men nye landskapsgenererende algoritmer er i seg selv tidkrevende og dyre å skrive. Så en måte å automatisere opprettelsen deres på ville være et betydelig fremskritt.
I dag sier Christopher Beckham og Christopher Pal ved Montreal Institute of Learning Algorithms i Canada at de har trent en dyplæringsmaskin til å generere realistiske landskap ved å bruke satellittbilder av jorden som treningssett. Faktisk skriver maskinen sin egen algoritme. Verket lover å betydelig endre måten kunstige landskap kan genereres på i farten.
Systemet som Beckham og Pal utnytter kalles et generativt motstandsnettverk. Den består av to dyplæringsmaskiner som jobber sammen for å takle et problem, i dette tilfellet generere realistisk terreng.
Den første maskinen genererer nytt terreng mens den andre evaluerer resultatene og gir tilbakemelding. Den første maskinen bruker deretter denne tilbakemeldingen til å produsere et annet sett med landskap, som den andre maskinen evaluerer med tilbakemelding, og så videre. Tanken er at den andre maskinen lærer å produsere landskap som matcher tilbakemeldingene fra den første maskinen.
Det er klart at en viktig del av denne prosessen er å lære den første maskinen hvordan et ideelt landskap skal se ut. Denne typen oppgaver har blitt enkle i maskinlæring når det er en stor database med bilder å lære av – for eksempel i ansiktsgjenkjenning eller objektgjenkjenning. Men det er ennå ikke gjort for terrenggenerering på denne måten.
Så Beckham og Pals første mål var å lage en database med bilder for trening.
Det viser seg at akkurat denne typen data er tilgjengelig takket være NASAs Visible Earth-program, som har laget et detaljert kart over hjemmeplaneten vår. Dette inkluderer data om høyde, form og farge.
NASAs bilder er enorme: 21 600 piksler x 10 800 piksler. De viser hele planeten, med hver piksel som representerer en kvadratkilometer på overflaten. Beckham og Pal tar et tilfeldig vindu på 512 x 512 piksler og skyver det over bildene for å lage en stor database med bildeeksempler for trening. De fjerner alle bilder som stort sett er svarte (dvs. som viser rent hav) slik at treningen ikke blir for triviell. Teksturene i samlingen kan tilsvare ulike biomer som jungel, ørken og arktisk, sier de.
De bruker deretter dette datasettet til å trene en dyplæringsmaskin til å gjenkjenne realistiske jordterreng av forskjellige typer. Deretter satte de opp en annen dyplæringsmaskin for å generere bilder på 512 x 512 piksler tilfeldig. Den sender disse kartene til den trente maskinen, som evaluerer dem og sender tilbakemeldinger.
Til å begynne med er selvfølgelig de genererte landskapene dårlige representasjoner av jordterreng. Men over mange iterasjoner lærer maskinen hvordan den produserer landskap som får gode evalueringer. Og når den har gjort dette, kan den generere nye jordlignende terreng kontinuerlig.
Men bildene er ikke perfekte. De kan inneholde artefakter fra læringsprosessen som ikke samsvarer med funksjoner i den virkelige verden. Disse kan forhindres med dypere læringskonfigurasjoner eller ved å gjøre bildene uskarpe, sier forskerne.
Det er helt klart mer arbeid å gjøre, men paret virker fornøyde med dette resultatet. Vi har oppnådd et rimelig første skritt mot prosedyregenerering av terreng basert på virkelige data, sier de.
Det er interessant arbeid som har et bredt spekter av andre applikasjoner. Til å begynne med trenger ikke treningsdatabasen være jordbasert. NASA har detaljerte bilder av månen, Mars, Titan og forskjellige andre steder i solsystemet som kan brukes til å trene lignende nettverk. Så spill som Minecraft kan lett få en distinkt måne- eller marsfølelse med lite menneskelig input.
Og treningsdatabasen trenger ikke engang være terrengbasert. Man kan forestille seg det samme opplegget som brukes for å syntetisere 3D-masker som deretter blir teksturert (f.eks. ansikter), sier Beckham og Pal.
Det er noe som kan være av interesse for et bredt spekter av spillprodusenter og andre. Slike muligheter tjener ikke bare til å fremme rikere underholdningsopplevelser, men til å gi nyttige verktøy for å hjelpe innholdsprodusenter (f.eks. 3D-artister) i arbeidet deres, sier Beckham og Pal.
Ref: arxiv.org/abs/1707.03383 : Et skritt mot prosessuell terrenggenerering med GAN-er