Maskinsyn kan oppdage ukjente koblinger mellom klassiske kunstverk

Bilde av fire malerier med lignende poserte motiver

Et av de viktige spørsmålene kunsthistorikere forfølger er hvordan store kunstnere ble påvirket av andre. De undersøker stilen, innholdet og sjangeren til kunstverket og ser etter sammenhenger og påvirkninger mellom kunstnere.

Det er en kompleks virksomhet. I dagene før fotografering var den eneste måten å kopiere et kunstverk på for hånd. Denne typen arbeid var faktisk vanlig. Kunstnere replikerte ofte sitt eget verk eller verk av andre i samme studio, og kopier florerte.

Men målet med denne formen for kopiering var ikke alltid å reprodusere originalen. Ofte brukte kunstnere eksisterende bilder som utgangspunkt for sitt eget arbeid, som skulle gjenspeile komposisjonen eller posituren til originalen. Det er faktisk mange eksempler på identiske menneskefigurer i samme positur i helt forskjellige malerier.

Så kunsthistorien er et komplekst nett av koblinger mellom kunstnere og deres verk, ofte kartlagt i påvirkning på originalverk, delvise kopier og komplette kopier.

Den menneskelige posituren spiller en viktig rolle i dette. En jobb for kunsthistorikeren er å erte denne nettet, studere de menneskelige positurene som brukes av forskjellige kunstnere og skimte kreftene som påvirket dem.

I dag blir det lettere takket være arbeidet til Tomas Jenicek og Ondrej Chum ved det tsjekkiske tekniske universitetet i Praha. Disse karene har brukt et maskinsynssystem for å analysere stillingene til menneskelige motiver i kunstmalerier gjennom historien. De søker deretter etter andre malerier som inneholder mennesker i samme positur.

Teknikken avslører tidligere ukjente koblinger mellom kunst og kunstnere. Den legger til et kraftig nytt verktøy til arsenalet som kunsthistorikere kan bruke, med potensial til å endre måten vi forstår kunsthistorien på.

Metoden er relativt grei og basert på de enorme databasene som kunsthistorikere har laget de siste årene. Disse har digitalisert samlingene fra mange av verdens beste museer og gallerier, og mange av dem er åpent tilgjengelig på nett. Disse databasene er plutselig mottagelige for analyse ved hjelp av maskinintelligens.

Samtidig har andre forskere utviklet maskinsynsalgoritmer som kan bestemme en menneskelig positur fra et 2D-bilde. Sannsynligvis den mest avanserte er en algoritme kalt OpenPose, et åpen kildekode-program for sanntids posisjonsdeteksjon i 2D-bilder, utviklet ved Carnegie Mellon University i Pittsburgh.

Jenicek og Chum bruker denne programvaren til å søke etter lignende positurer i en database med manuelt kommenterte bilder. Dette fungerer som en slags gullstandard.

De sier at den automatiserte prosessen lett utkonkurrerer andre måter å finne lignende bilder på. Vi viser eksperimentelt at eksplisitt menneskelig positurtilpasning er overlegen standard innholdsbaserte bildehentingsmetoder på et manuelt kommentert kunstkomposisjonsoverføringsdatasett, sier de.

De fortsetter å lete etter lignende positurer i en online database kalt Web Gallery of Art, som inneholder 37 000 bilder. Forskerne sier at algoritmen deres oppdaget et bredt spekter av koblinger mellom bilder som ville vært umulig å identifisere på andre måter (se bilde).

Algoritmen er selvfølgelig ikke perfekt. Den finner en rekke falske positiver, der poseringer i forskjellige bilder ser like ut, men etter visuell inspeksjon viser seg å være helt forskjellige.

Dette er på ingen måte det første forsøket på å bruke maskinsyn til å studere kunst. Forskere har allerede brukte algoritmer for å finne slående nye koblinger mellom kunstverk basert på den generelle komposisjonen til et maleri.

Estimering av menneskelig positur er mye vanskeligere for maskiner enn å studere generell komposisjon, så det har tatt lengre tid å bringe denne teknologien ut i kunstverdenen. Men utbredelsen av mennesker i kunsten er så stor at denne teknikken har et betydelig potensial.

Det tilbyr en kraftig ny måte å analysere kunstverk gjennom tidene og å studere hvordan kopier og variasjoner av menneskelige positurer har påvirket kunstnere. Akkurat hvordan kunsthistorikere bruker dette nye verktøyet vil være fascinerende å se.

Ref: arxiv.org/abs/1907.03537 : Koble kunst gjennom menneskelige positurer

gjemme seg