211service.com
Algoritmen som utvider vitenskapen om farge
Fargepalettene hentet fra kunstmalerier.
Studiet av farge gjennomgår en revolusjon. Til nå har fargeteori vært lite mer enn en samling ideer som er løst basert på vitenskap.
Men muligheten til å analysere enorme datasett med bilder ved hjelp av maskinsynsalgoritmer endrer det. Plutselig er det blitt mulig å studere farger og måten de brukes på på helt andre måter. For eksempel er det nå enkelt å trekke ut kombinasjoner av farger fra ett bilde og lime dem inn på et annet.
Men denne prosessen med fargeliming er et sløvt verktøy. Det kan erstatte ett sett med farger med et annet, men det kan ikke sammenligne disse fargepalettene, bestemme hvordan spesifikke farger skal matches, eller oppdage om en palett mangler en farge og erstatte den.
Problemet er at det ikke er mulig å plassere farger i rekkefølge. Og det gjør det vanskelig å sammenligne paletter. Så bildespesialister vil veldig gjerne ha en naturlig måte å bestille farger hentet fra bilder på og slik kunne sammenligne dem.
Gå inn på Huy Phan ved Danmarks Tekniske Universitet i København og et par venner som har funnet en måte å gjøre nettopp det på. Teknikken deres er enkel å implementere og fører umiddelbart til en ny generasjon av berikede bildefiltre som er langt mer fleksible enn de som er tilgjengelige for øyeblikket.
Det grunnleggende problemet er enkelt å si: gitt fargepaletten fra to bilder, hvilken rekkefølge skal fargene vises i for å gjøre en meningsfull sammenligning? Med meningsfull mener teamet at farger som beskriver de samme objektene skal være sammenlignbare.
Phan og co takler dette som et slags sorteringsproblem. De vurderer først et bilde ved å plotte posisjonen til fargene det inneholder – paletten – i et tredimensjonalt fargerom (hver farge kan betraktes som en trevektor som beskriver hvordan den er sammensatt av en blanding av rødt, grønt, og blå, for eksempel).
De måler deretter avstanden mellom hvert fargepar i paletten. Til slutt bruker de en algoritme for å finne ut hvordan de kan kartlegge en palett til en annen med minimal forvrengning. Denne algoritmen finner effektivt klynger innenfor hver paletts fargerom.
Datasettet de bruker er viktig. Vi anser fargepaletter hentet fra kunstsamlinger, som vi mener er en rikelig kilde til stilistiske og unike fargetemaer, sier Phan og co.
Det begrenser også emnet, som er avgjørende. Henri Matisse brukte for eksempel ofte dype røde og grønne farger i maleriene sine, mens Maximilien Luce brukte sterke blå og gule farger for å skyggelegge objekter. Men fordi disse artistene bruker stort sett like scener (for eksempel delt inn i himmel og land), er fargene sammenlignbare.
Det betyr at teamet kan anta at lignende klynger av farger beskriver lignende objekter. Algoritmen kartlegger deretter disse klyngene på hverandre. På den måten kan den ta fargen av himmelen i ett bilde og bruke det samme settet med farger på himmelen i et annet bilde.
Og fordi transformasjonen brukes på hele rommet, blir det enkelt å kartlegge hvilken som helst farge fra paletten til en tilsvarende farge i den andre paletten.
Det fører til en naturlig måte å bestille farger på. Phan og co gjør det ved først å spesifisere antall farger som vises i hver klynge. Phan og co bruker fem som standardeksempel (høyere tall krever betydelig flere beregningsressurser).
Algoritmen finner deretter de fem fargene i den første klyngen, deretter i den andre, tredje og så videre. Ved å bestille disse klyngene kan palettene i hvert bilde enkelt sammenlignes.
Metoden fører umiddelbart til noen interessante anvendelser. For eksempel lager de en applikasjon kalt Photo-style Explorer som fungerer som et Instagram-filter, men i et kontinuerlig fargerom. I stedet for å velge blant noen få forhåndsdefinerte temaer, kan man fritt surfe på et kontinuerlig rom med mulige fotofarginger for å velge et foretrukket tema, sier de.
Et annet alternativ er å omfarge bilder med forskjellige paletter i forskjellige deler av bildet. Så det er mulig å bruke en palett til å farge himmelen på nytt og en annen til å fargelegge trær.
Det tillater også en bedre analyse av fargesignaturene til kunstnere og for å overføre disse signaturene til andre bilder. Så det blir mulig å raskt fargelegge et fotografi ved å bruke Renoirs fargepalett eller Vincent van Goghs.
Det er interessant arbeid som utvider måten farger kan brukes i moderne bilder.
Ref: http://arxiv.org/abs/1703.06003 : Fargeorkester: Bestilling av fargepaletter for interpolasjon og prediksjon