Hvordan modifisere et smarttelefonkamera slik at det tar en million bilder per sekund

xiaojie2020

Tilbake på 1930-tallet begynte en ung elektroingeniør ved navn Harold Edgerton å eksperimentere med elektronisk blitsfotografering ved MIT. Han brukte den som kjent for å fryse handlingen til hverdagslige gjenstander som en vannstrøm, en sprengende ballong og en kule som treffer et eple.

Edgerton fortsatte med å være pioner for et bredt spekter av enkelt- og multiflash-teknikker (samt mange andre bildeteknikker). Mange av disse er nå tilgjengelige som standard på populære kameraer og smarttelefoner.

Siden den gang har lukkerhastighetene økt. Noen iPhones kan ta enkeltbilder med en lukkerhastighet på 1/10 000-dels sekund. Spesialkameraer kan ta bilder med en hastighet på 40 000 per sekund. Men denne typen utstyr er kompleks og dyr, så disse teknikkene er utilgjengelige for de fleste.

I dag ser det ut til å endre seg takket være arbeidet til Sam Dillavou ved Harvard University og et par kolleger, som har utviklet en teknikk som lar vanlige elektroniske kameraer og smarttelefoner ta bilder med en fantastisk hastighet på millioner av bilder per sekund.

Først litt bakgrunn. Moderne kameraer bruker elektroniske piksler for å registrere lyset som treffer dem. Disse pikslene registrerer intensiteten, vanligvis på en skala på 16 nivåer. Dette bestemmes av bitnivået til piksler. Så under en eksponering kan hver piksel registrere 14 nyanser av grått mellom svart og hvitt.

Men for mange typer bildebehandling er dette detaljnivået unødvendig – alt som trengs er et enkelt svart eller hvitt bilde. I så fall er den ekstra grå detaljen overflødig.

Det ga Dillavou og kollegene en idé for å pirke enkeltbilder fra hverandre til flere kortere eksponeringer.

Dette er hvordan. Se for deg en hvit vegg dekket av et svart gardin. Åpne nå gardinen fra venstre til høyre for å avsløre veggen, og registrer bevegelsen i en enkelt eksponering.

Under eksponeringen registrerer pikslene på venstre side av bildet først den svarte gardinen, men deretter den hvite veggen når gardinen beveger seg over rammen. Dette gjennomsnittet ut til en lys grå.

Derimot ser piksler som registrerer høyre side av bildet den svarte gardinen for det meste av eksponeringen. Først på slutten av eksponeringen avsløres den hvite veggen. I så fall er gjennomsnittet mørkegrå.

På samme måte vil pikslene i midten av bildet registrere en mellomgrå. Og det endelige bildet fremstår som en gradert grå, som representerer gardinens bevegelse.

Nøkkelideen til Dillavou og kollegene er at dette enkeltbildet kan tenkes på like mange svart-hvitt-øyeblikksbilder av den bevegelige gardinen som er lagt over hverandre. Faktisk avhenger antallet bilder som kan teased ut av et enkelt bilde av antall bitnivåer pikslene registrerer.

Bevæpnet med denne innsikten utviklet de en matematisk teknikk for å trekke ut disse bildene fra et enkelt bilde, en idé de kaller den virtuelle rammeteknikken. I dette tilfellet kan det lage 16 bilder av gardinen som beveger seg over veggen.

Denne teknikken har potensial til å gjøre nesten alle elektroniske kameraer til et høyhastighetsvidunder. Teamet har testet det ved å sammenligne de virtuelle rammene med de tatt av et høyhastighetskamera som tar opp med 40 000 bilder per sekund.

De plasserte en strukket gummiduk foran en stråledeler som sendte lyset til begge kameraene, slik at begge hadde samme syn på arket. Teamet satte opp belysningen slik at gummiduken virket svart mens bakgrunnen virket hvit. De brukte en skalpell for å hakke gummiduken og registrerte måten den delte seg på med begge kameraene mens bruddet raste over arket.

Til slutt brukte teamet den virtuelle rammeteknikken for å trekke ut bilder med høy bildehastighet og sammenligne dem med bilder fra høyhastighetskameraet med 40 000 bilder per sekund. En video av denne sammenligningen er kan lastes ned her .

Resultatene viser at den virtuelle rammeteknikken har et stort potensial. For det første viser begge sett med bilder en lignende bruddprosess, noe som bekrefter verdien av tilnærmingen. Men det har også en rekke betydelige fordeler. Det tar opp 1,3 megapiksler i hvert bilde, sammenlignet med standardkameraets 60 kilopiksler. Dette øker synsfeltet dramatisk og dermed avstanden som bruddet kan registreres over.

Den virtuelle bildefrekvensen er også mye raskere. Den effektive bildefrekvensen oppnådd ved bruk av [den virtuelle framing-teknikken] er 1MHz, sier Dillavou og co.

De fortsetter med å studere hvordan bruk av den nye teknikken på en rekke forskjellige kameraer øker bildefrekvensen deres. Tallene er øyeåpnende. Som et eksempel tar Nikon D850 opp virtuelle rammer på 16MHz mens de opprettholder en oppløsning på over 50Mpx, sier de. Selv en iPhone X er i stand til å ta opp med opptil en million bilder per sekund ved hjelp av denne teknikken.

Det er liten grunn til å tro at dette ikke kan håndteres enkelt, siden all behandling gjøres senere. Denne forbedrede virtuelle bildefrekvensen krever ingen endring i driften av kameraet, sier teamet.

Det er imidlertid noen viktige grenser for hvilke typer fenomener som kan registreres på denne måten. For det første må objektet av interesse være svart mot en hvit bakgrunn (eller omvendt). Eventuelle gråtoner i scenen vil ødelegge resultatene.

Og selve fenomenet må være det Dillavou og co kaller monotont. Med andre ord, enhver endring under en eksponering må gå fra svart til hvit (eller omvendt), men ikke tilbake igjen. I eksemplet med gardin fungerer den virtuelle rammeteknikken hvis gardinen beveger seg i én retning, men ikke hvis den beveger seg frem og tilbake.

Ikke desto mindre er den virtuelle rammeteknikken et betydelig fremskritt for fotografering. Den har potensial til å gjøre smarttelefonkameraet i baklommen til en høyhastighetsopptaker, som ville ha imponert selv Doc Edgerton.

Ref: arxiv.org/abs/1811.02936 : Virtual Frame Technique: Ultrarask bildebehandling med hvilket som helst kamera

gjemme seg