211service.com
Googles AI kan nå oversette talen din mens du beholder stemmen din
Et bilde av FNs generalsekretær Ban Ki-moon som lytter til en oversettelsesenhet EMILIO MORENATTI / AP
Lytt til dette spanske lydklippet.
Dette er hvordan den engelske oversettelsen kan høres ut når den settes gjennom et tradisjonelt automatisert oversettelsessystem.
Nå er det slik det høres ut når det settes gjennom Googles nye automatiserte oversettelsessystem.
Resultatene er ikke perfekte, men du kan på en måte høre hvordan Googles oversetter var i stand til å beholde stemmen og tonen til den originale høyttaleren. Den kan gjøre dette fordi den konverterer lydinngang direkte til lydutgang uten noen mellomliggende skritt . I motsetning til dette konverterer tradisjonelle translasjonssystemer lyd til tekst, oversetter teksten og syntetiserer deretter lyden på nytt, og mister egenskapene til den originale stemmen underveis.
Det nye systemet, kalt Translatotron, har tre komponenter, som alle ser på høyttalerens lydspektrogram – et visuelt øyeblikksbilde av frekvensene som brukes når lyden spilles, ofte kalt et stemmeavtrykk. Den første komponenten bruker et nevralt nettverk som er trent til å kartlegge lydspektrogrammet i inngangsspråket til lydspektrogrammet i utgangsspråket. Den andre konverterer spektrogrammet til en lydbølge som kan spilles av. Den tredje komponenten kan deretter legge den originale høyttalerens vokalegenskaper tilbake i den endelige lydutgangen.
Ikke bare gir denne tilnærmingen mer nyanserte oversettelser ved å beholde viktige ikke-verbale signaler, men i teorien bør den også minimere oversettelsesfeil, fordi den reduserer oppgaven til færre trinn.
Translatotron er for tiden et proof of concept. Under testingen prøvde forskerne systemet kun med spansk-til-engelsk oversettelse, som allerede tok mye nøye sammensatt treningsdata. Men lydutganger som klippet ovenfor viser potensialet for et kommersielt system senere. Du kan lytte til flere av dem her .