211service.com
Dyplæring vil bidra til å forhindre at video tetter opp internett
Video fyller internett. Omtrent 75 % av all trafikk er videoinnhold, og dette volumet forventes å vokse tre ganger innen 2021.
Hvis vi ikke vil at den umettelige etterspørselen etter kattevideoer og strømmetjenester skal tette rørledningene for alltid, så må vi stole på videokomprimering. Dette er prosessen med å omkode en videofil slik at den er mindre enn originalen. Men nåværende kompresjonsteknikker er eldgamle etter standarder for moderne teknologi. Grunnleggende for eksisterende videokomprimeringsalgoritmer har ikke endret seg vesentlig i løpet av de siste 20 årene, sier Oren Rippel og co ved WaveOne, et dyplæringsselskap som forsøker å dra videokomprimering inn i det 21. århundre.
Disse gutta har brukt dyp læring for å utvikle en ny komprimeringsalgoritme som overgår eksisterende videokodeker betydelig. Så vidt vi vet er dette den første maskinlæringsbaserte metoden for å gjøre det, sier de.
Den grunnleggende ideen bak videokomprimering er å fjerne overflødige data fra en kode og erstatte den med en kortere beskrivelse som fortsatt lar videoen reproduseres senere. Det meste av videokomprimering skjer i to trinn.
Den første, bevegelseskomprimering, ser etter objekter i bevegelse og prøver å forutsi hvor de vil være i neste bilde. Så, i stedet for å registrere pikslene knyttet til dette bevegelige objektet i hver ramme, koder algoritmen bare objektformen, sammen med reiseretningen. Noen algoritmer ser faktisk på fremtidige rammer for å bestemme bevegelse enda mer nøyaktig, selv om dette åpenbart ikke kan fungere for direktesendinger. Resultatet er at komprimert video ganske enkelt oversetter objektet over skjermen.
Det andre komprimeringstrinnet fjerner andre redundanser mellom en ramme og den neste. Så i stedet for å registrere fargen på hver piksel på en blå himmel, kan en komprimeringsalgoritme identifisere området for denne fargen og spesifisere at den ikke endres i løpet av de neste bildene. Så disse pikslene forblir den samme fargen til de blir bedt om å endres. Dette kalles gjenværende kompresjon.
Den nye tilnærmingen som Rippel og co har vært banebrytende for, bruker maskinlæring for å forbedre begge disse kompresjonsteknikkene. Ta bevegelseskomprimering, der teamets maskinlæringsteknikker har funnet nye bevegelsesbaserte redundanser som konvensjonelle kodeker aldri har vært i stand til å utnytte.
For eksempel gir en persons hode som snur seg fra frontal til sidevisning alltid et lignende resultat. Tradisjonelle kodeker vil ikke kunne forutsi et profilansikt fra frontalsyn, sier Rippel og co. Derimot lærer den nye kodeken seg slike rom-tidsmessige mønstre og bruker dem til å forutsi fremtidige rammer.
Et annet problem er å fordele den tilgjengelige båndbredden mellom bevegelse og gjenværende komprimering. I noen scener er bevegelseskomprimering viktigere; i andre gir gjenværende kompresjon størst gevinst. Den optimale avveiningen mellom dem er forskjellig fra ramme til ramme.
Tradisjonelle komprimeringsalgoritmer synes dette er vanskelig fordi de komprimerer begge prosessene separat. Det betyr at det ikke er noen enkel måte å bytte dem ut på.
Rippel og co kommer rundt dette ved å komprimere begge signalene samtidig og bruke rammekompleksiteten til å bestemme hvordan de skal fordele båndbredden mellom dem på den mest effektive måten.
Disse og andre forbedringer har gjort det mulig for forskerne å lage en komprimeringsalgoritme som overgår tradisjonelle kodeker betydelig. Ved komprimering av høyoppløselig (1080p) video produserer vanlige komprimeringsalgoritmer, som H.265 og VP9, filer som er 20 % større enn de som produseres av den nye algoritmen.
Og gevinstene er enda større for videoer med standardoppløsning, som HEVC/H.265 og AVC/H.264. Disse produserer vanligvis filer som er opptil 60 % større enn teamets nye tilnærming.
Det er en imponerende gevinst som kan redusere størrelsen og nedlastingstidene knyttet til nettvideo betydelig.
Den nye tilnærmingen er imidlertid ikke uten noen mangler. Den kanskje mest betydningsfulle er beregningseffektiviteten – tiden det tar å kode og dekode videoene. På en Nvidia Tesla V100-rigg, og på videoer i VGA-størrelse, kjører den nye dekoderen med en gjennomsnittshastighet på rundt 10 bilder per sekund med enkoderen som opererer med rundt 2 bilder per sekund. Det har begrenset bruk for en direktesending.
Selvfølgelig forventer forskerne å gjøre betydelige forbedringer når de beveger seg utover proof-of-principle-stadiet. Den nåværende hastigheten er ikke tilstrekkelig for utrulling i sanntid, men skal forbedres betydelig i fremtidig arbeid, sier de.
Noe som betyr at takket være denne typen maskinlæringstilnærming, bør fremtidige cybersurfere kunne laste ned Game of Thrones- eller kattevideoene sine på rekordtid og streame fotballspillene sine i høyoppløsning mer effektivt enn noen gang.
Ref: arxiv.org/abs/1811.06981 : Lært videokomprimering