211service.com
Dyplæring gjør monoopptak til oppslukende lyd
Samuel Dixon | Unsplash
Lytt til en fugl som synger i et tre i nærheten, og du kan relativt raskt identifisere dens omtrentlige plassering uten å se. Lytt til brølet fra en bilmotor når du krysser veien, og du kan vanligvis umiddelbart se om den er bak deg.
Menneskets evne til å lokalisere en lyd i tredimensjonalt rom er ekstraordinær. Fenomenet er godt forstått - det er et resultat av den asymmetriske formen på ørene våre og avstanden mellom dem.
Men mens forskere har lært hvordan man lager 3D-bilder som lett lurer våre visuelle systemer, har ingen funnet en tilfredsstillende måte å lage syntetiske 3D-lyder som overbevisende lurer våre auditive systemer.
I dag ser det ut til å endre seg i det minste delvis, takket være arbeidet til Ruohan Gao ved University of Texas i og Kristen Grauman ved Facebook Research. De har brukt et triks som mennesker også utnytter for å lære et AI-system å konvertere vanlige monolyder til ganske god 3D-lyd. Forskerne kaller det 2,5D-lyd.
Først litt bakgrunn. Hjernen bruker en rekke ledetråder for å finne ut hvor en lyd kommer fra i 3D-rommet. En viktig ledetråd er forskjellen mellom en lyds ankomsttider ved hvert øre - den interaurale tidsforskjellen.
En lyd produsert på venstre side vil åpenbart komme til venstre øre før høyre. Og selv om du ikke er bevisst denne forskjellen, bruker hjernen den til å finne ut hvor lyden kommer fra.
En annen ledetråd er forskjellen i volum. Den samme lyden vil være høyere i venstre øre enn i høyre, og hjernen bruker også denne informasjonen til å regne. Dette kalles den interaurale nivåforskjellen.
Disse forskjellene avhenger av avstanden mellom ørene. Stereoopptak gjengir ikke denne effekten, fordi separasjonen av stereomikrofoner ikke samsvarer med den.
Måten lyd samhandler med øreklaffer er også viktig. Klaffene forvrenger lyden på måter som avhenger av retningen den kommer fra. For eksempel når en lyd fra forsiden øregangen før den treffer øreklaffen. Derimot blir den samme lyden som kommer bak hodet forvrengt av øreklaffen før den når øregangen.
Hjernen kan også fornemme disse forskjellene. Faktisk er ørets asymmetriske form grunnen til at vi kan se når en lyd kommer ovenfra, for eksempel, eller fra mange andre retninger.
Trikset for å gjengi 3D-lyd kunstig er å gjengi effekten som all denne geometrien har på lyd. Og det er et tøft problem.
En måte å måle forvrengningen på er med binauralt opptak. Dette er et opptak gjort ved å plassere en mikrofon inne i hvert øre, som kan fange opp disse bittesmå variasjonene.
Ved å analysere variasjonene kan forskerne deretter reprodusere dem ved hjelp av en matematisk algoritme kjent som en hoderelatert overføringsfunksjon. Det gjør alle vanlige hodetelefoner til ekstraordinære 3D-lydmaskiner.
Men fordi alles ører er forskjellige, hører alle lyd på en annen måte. Så å lage en persons hoderelaterte overføringsfunksjon betyr å måle formen på personens ører før du spiller av et opptak. Og selv om det kan gjøres i laboratoriet, har ingen funnet ut hvordan man gjør det i naturen.
Likevel er det måter å tilnærme 3D-lyd ved å bruke lydforvrengningene som ikke avhenger av øreformen – interaural tid og nivåforskjeller.
Trikset som Grauman og Gao bruker er å bestemme hvilken retning en lyd kommer fra ved å bruke visuelle signaler (som mennesker ofte også gjør). Så gitt en video av en scene og monolydopptak, finner maskinlæringssystemet ut hvor lydene kommer fra og forvrider deretter de interaurale tids- og nivåforskjellene for å produsere den effekten for lytteren.
Tenk deg for eksempel en video som viser et par musikere som spiller en tromme og et piano. Hvis trommelen er på venstre side av synsfeltet og pianoet til høyre, er det enkelt å anta at trommelydene skal komme fra venstre og pianoet fra høyre. Det er det dette maskinlæringssystemet gjør, og forvrenger lyden tilsvarende.
Forskernes treningsmetode er relativt grei. Det første trinnet i å trene et maskinlæringssystem er å lage en database med eksempler på effekten det trenger å lære. Grauman og Gao opprettet en ved å gjøre binaurale opptak av over 2000 musikalske klipp som de også filmet.
Deres binaural-opptaker består av et par syntetiske ører atskilt med bredden av et menneskehode, som også registrerer scenen foran ved hjelp av et GoPro-kamera.
Teamet brukte deretter disse opptakene til å trene en maskinlæringsalgoritme for å gjenkjenne hvor en lyd kom fra gitt videoen av scenen. Etter å ha lært dette, er den i stand til å se en video og deretter forvrenge et monoopptak på en måte som simulerer hvor lyden burde komme fra. Vi kaller den resulterende utgangen 2.5D visuell lyd – den visuelle strømmen hjelper til med å 'løfte' den flate enkeltkanallyden til romlig lyd, sier Grauman og Gao.
Resultatene er imponerende. Du kan se på en video av arbeidet deres her – husk å bruke hodetelefoner mens du ser på.
Videoen sammenligner resultatene av 2.5D-opptak med monoopptak og viser hvor bra det kan være. Den forutsagte 2.5D visuelle lyden tilbyr en mer oppslukende lydopplevelse, sier Grauman og Gao.
Imidlertid produserer den ikke full 3D-lyd på grunn av årsakene nevnt ovenfor - forskerne lager ikke en personlig hoderelatert overføringsfunksjon.
Og det er noen situasjoner algoritmen synes er vanskelig å håndtere. Det er klart at systemet ikke kan håndtere noen lydkilde som ikke er synlig i videoen. Den kan heller ikke håndtere lydkilder den ikke er opplært til å gjenkjenne. Dette systemet er hovedsakelig fokusert på musikkvideoer.
Likevel har Grauman og Gao en smart idé som fungerer bra for mange musikkvideoer. Og de har ambisjoner om å utvide søknadene. Vi planlegger å utforske måter å inkorporere objektlokalisering og bevegelse, og eksplisitt modellere scenelyder, sier de.
Ref: arxiv.org/abs/1812.04204 : 2.5D visuell lyd