211service.com
Algoritmer kan gjøre enhver scene til en tegneserie
Tegneserier har form av en serie stillbilder som sammen forteller en historie. Bildene er ofte svært stiliserte og grafikerne beundret for sin dyktighet.
Men denne typen kunstnerskap er vanskelig å lære og vanskelig å perfeksjonere, noe som gjør det tidkrevende og dyrt å produsere. Så artister, utgivere og lesere ville elske en automatisert måte å få et bilde til å etterligne en ønsket tegneseriestil.
Det viser seg at denne typen algoritme allerede eksisterer. Tilbake i 2015 oppdaget en gruppe forskere i Tyskland en måte å overføre den kunstneriske stilen til ett bilde til et annet. Siden den gang har andre stadig forbedret denne tilnærmingen for å gjøre den raskere og mer nøyaktig.
Fra venstre til høyre: det originale grafiske bildet, målbildet og det resulterende stiliserte bildet
Men arbeidet har så langt fokusert på å overføre stilen til fine kunstnere som Picasso og Van Gogh til andre bilder, eller endre vanlige bilder på måter som å gjøre natt til dag. Hvor godt fungerer disse algoritmene med de ofte mer stiliserte bildene produsert av tegneserieskapere?
I dag får vi svar takket være arbeidet til Maciej Pęśko og Tomasz Trzciński ved Warszawa teknologiske universitet i Polen. Disse gutta har brukt ulike typer bildestiloverføring på tegneseriegrafikk og sammenlignet resultatene.
Først litt bakgrunn. Denne tilnærmingen begynte med arbeidet til Leon Gatys ved Universitetet i Tübingen og noen få venner, som studerte måten dype nevrale nettverk registrerte og analyserte kunstnerisk stil. Disse nettverkene består av lag som analyserer et bilde på forskjellige nivåer – detaljer som former, farger og linjer.
Nøkkelinnsikten bak Gatys og cos arbeid er at kunstnerisk stil ikke fanges i selve lagene, men i korrelasjonene mellom dem. Det gjør det umiddelbart mulig å skille en kunstners stil fra kunstens innhold, og til og med overføre den fra ett bilde til et annet.
Og det er akkurat det Gatys og co gjorde, til utbredt forundring fra datasynssamfunnet. Dette arbeidet har blitt grunnlaget for en ny underdisiplin innen datasyn kjent som nevral stiloverføring.
Et problem med den nye tilnærmingen er at den er beregningsintensiv. Det tar mye tid – flere sekunder for 512 x 512 bilder på moderne stasjonære datamaskiner – å analysere et bilde, fjerne stilen og bruke stilen på en annen scene.
Så informatikere begynte å søke etter forskjellige tilnærminger som kunne gjøre oppgaven raskere. Og faktisk kom de opp med forskjellige algoritmer som gjør en lignende jobb. Det er imidlertid en avveining mellom hastighet og kvalitet.
Gå inn i Pęśko og Trzciński. Disse gutta har testet et bredt spekter av nevrale stiloverføringsalgoritmer på den spesifikke oppgaven med å overføre grafiske stiler knyttet til tegneserier. Dette er det første forsøket på å evaluere og sammenligne resultatene oppnådd med flere metoder i sammenheng med å overføre tegneseriestil, sier de.
De fokuserer spesielt på de raskeste teknikkene som har potensial til å fungere på et hvilket som helst grafisk bilde. Vi fokuserer mest på metoder hvis utførelsestid per bilde ikke overstiger 2 sekunder, sier de.
På denne måten testet de fem forskjellige algoritmer på 600x450 pikslers bilder behandlet ved hjelp av en 12-gigabyte Titan X-grafikkbehandlingsenhet. De valgte bilder som representerer ulike tegneseriestiler og overførte disse til bilder valgt tilfeldig fra et Google bildesøk.
Til slutt viste de resultatene til 100 personer for å evaluere hvor godt algoritmene oppnådde stiloverføringen.
Resultatene viser toppmoderne på dette området. Algoritmen som vurderes best er en teknikk kjent som adaptiv forekomstnormalisering, utviklet i 2017, med rundt 30 prosent av stemmene i sin favør. Det bekrefter våre antakelser om at denne metoden gir resultater som er nærmest tegneserier eller tegneserier når det gjelder stilistisk likhet, sier Pęśko og Trzciński.
Resultatene er imidlertid på ingen måte perfekte. Alle teknikkene lider til en viss grad av problemer som upassende fargeoverføring og uskarphet. Vi tror det fortsatt er noe sted for forbedring, sier forskerne.
Det representerer en mulighet. Tegneseriemarkedet i USA alene er verdt 1 milliard dollar i året. Og det er mange deler av verden som ennå ikke har utviklet sine egne kulturer rundt tegneserier, for eksempel India. Så det er markeder som har potensial til å vokse.
Evnen til å lage tegneseriebilder av høy kvalitet vil utgjøre en betydelig forskjell for alle som ønsker å erobre disse markedene.
Det er imidlertid et annet problem: utfordringen med å utvikle kraftige karakterer og overbevisende historier. Nevrale nettverk kan ikke hjelpe med det … i hvert fall ikke ennå.
Ref: arxiv.org/abs/1809.01726 : Nevral Comic Style Transfer: Case Study