211service.com
Facebooks AI-system kan snakke med Bill Gates stemme
Bill Gates Jack Taylor / Stringer / Getty
Maskintale er noe av en skuffelse. Selv de beste tekst-til-tale-systemene har en mekanisk kvalitet og mangler de grunnleggende endringene i intonasjon som mennesker bruker. Stephen Hawkings mye kopierte talesystem er et eksempel.
Det er noe av en overraskelse gitt de enorme fremskrittene innen maskinlæring de siste årene. Teknikkene som har fungert så bra med å gjenkjenne ansikter og objekter og deretter produsere realistiske bilder av dem, burde fungere like godt med lyd. Ikke egentlig.
I hvert fall ikke før i dag. Gå inn i Sean Vasquez og Mike Lewis på Facebook AI Research, som har funnet en måte å overvinne begrensningene til tekst-til-tale-systemer for å produsere bemerkelsesverdig naturtro lydklipp generert utelukkende av maskin. Maskinen deres, kalt MelNet, gjengir ikke bare menneskelig intonasjon, men kan gjøre det med samme stemme som ekte mennesker. Så teamet trente det opp til å snakke som Bill Gates, blant andre. Verket åpner muligheten for mer realistisk interaksjon mellom mennesker og datamaskiner, men det hever også spekteret av en ny æra med falskt lydinnhold.
Først litt bakgrunn. Den langsomme fremgangen på realistiske tekst-til-tale-systemer skyldes ikke mangel på forsøk. Tallrike team har forsøkt å trene dyplæringsalgoritmer for å reprodusere ekte talemønstre ved hjelp av store databaser med lyd.
Problemet med denne tilnærmingen, sier Vasquez og Lewis, er typen data. Fram til nå har det meste arbeidet fokusert på lydbølgeformopptak. Disse viser hvordan amplituden til lyd endres over tid, med hvert sekund med innspilt lyd som består av titusenvis av tidstrinn.
Disse bølgeformene viser spesifikke mønstre i en rekke forskjellige skalaer. I løpet av noen få sekunders tale, for eksempel, reflekterer bølgeformen de karakteristiske mønstrene knyttet til ordsekvenser. Men på skalaen til mikrosekunder viser bølgeformen egenskaper assosiert med tonehøyden og klangen til stemmen. Og på andre skalaer reflekterer bølgeformen høyttalerens intonasjon, fonemstrukturen og så videre.
En annen måte å tenke på disse mønstrene på er som korrelasjoner mellom bølgeformen ved ett tidstrinn og ved neste tidstrinn. Så for en gitt tidsskala er lyden i begynnelsen av et ord korrelert med lydene som følger.
Dyplæringssystemer burde være flinke til å lære denne typen korrelasjoner og reprodusere dem. Problemet er at korrelasjonene virker over mange forskjellige tidsskalaer, og dyplæringssystemer kan studere korrelasjoner over kun begrensede tidsskalaer. Det er på grunn av en type læringsprosess de bruker, kalt backpropagation, som gjentatte ganger kobler nettverket om for å forbedre ytelsen på grunnlag av eksemplene det ser.
Gjentakelsesfrekvensen begrenser tidsskalaen som korrelasjoner kan læres over. Så et dyplæringsnettverk kan lære korrelasjoner i lydbølgeformer over lange eller korte tidsskalaer, men ikke begge deler. Det er derfor de presterer så dårlig til å gjengi tale.
Vasquez og Lewis har en annen tilnærming. I stedet for lydbølgeformer bruker de spektrogrammer for å trene opp sitt dyplæringsnettverk. Spektrogrammer registrerer hele spekteret av lydfrekvenser og hvordan de endrer seg over tid. Så mens bølgeformer fanger opp endringen over tid av én parameter, amplitude, fanger spektrogrammer opp endringen over et stort utvalg av forskjellige frekvenser.
Dette betyr at lydinformasjonen pakkes tettere inn i denne typen datarepresentasjon. Den tidsmessige aksen til et spektrogram er størrelsesordener mer kompakt enn for en bølgeform, noe som betyr at avhengigheter som spenner over titusenvis av tidstrinn i bølgeformer bare spenner over hundrevis av tidstrinn i spektrogrammer, sier Vasquez og Lewis.
Det gjør korrelasjonene mer tilgjengelige for et dyplæringssystem. Dette gjør spektrogrammodellene våre i stand til å generere ubetingede tale- og musikkprøver med konsistens over flere sekunder, sier de.
Og resultatene er imponerende. Etter å ha trent opp systemet ved å bruke vanlig tale fra TED-foredrag, er MelNet i stand til å reprodusere TED-talerens stemme som sier mer eller mindre hva som helst i løpet av noen få sekunder. Facebook-forskerne demonstrerer sin fleksibilitet ved å bruke Bill Gates' TED-tale for å trene MelNet og deretter bruke stemmen hans til å si en rekke tilfeldige fraser.
Dette er systemet som sier Vi rynker pannen når hendelsene tar en dårlig vending og Port er en sterk vin med en røyksmak. Andre eksempler er her.
Vi rynker pannen når hendelsene tar en dårlig vending
portvin er en sterk vin med en røyksmak
Det er noen begrensninger, selvfølgelig. Vanlig tale inneholder korrelasjoner over enda lengre tidsskalaer. For eksempel bruker mennesker endringer i intonasjon for å indikere endringer i emne eller stemning ettersom historier utvikler seg over titalls sekunder eller minutter. Facebooks maskin ser ennå ikke ut til å være i stand til det.
Så selv om MelNet kan lage bemerkelsesverdig naturtro fraser, har teamet ennå ikke perfeksjonert lengre setninger, avsnitt eller hele historier. Det virker ikke som et mål som sannsynligvis vil bli nådd snart.
Likevel kan arbeidet ha en betydelig innvirkning på interaksjon mellom mennesker og datamaskiner. Mange samtaler involverer bare korte fraser. Spesielt telefonoperatører og helpdesk kan klare seg med en rekke relativt korte fraser. Så denne teknologien kan automatisere disse interaksjonene på en måte som er mye mer menneskelignende enn dagens systemer.
For øyeblikket er imidlertid Vasquez og Lewis ordknappe om potensielle bruksområder.
Og som alltid er det potensielle problemer med maskiner med naturlig lyd, spesielt de som kan etterligne mennesker pålitelig. Det krever ikke mye fantasi for å tenke opp scenarier der denne teknologien kan brukes til ugagn. Og av den grunn er det nok et AI-relatert fremskritt som reiser flere etiske spørsmål enn det besvarer.
Ref: arxiv.org/abs/1906.01083 : MelNet: En generativ modell for lyd i frekvensdomenet