211service.com
Hvorfor Googles AI kan skrive vakre sanger, men fortsatt ikke kan fortelle en vits
Jeremy Portje
Å lage nuddelpianomelodier og endeløse konfigurasjoner av kattetegninger med AI høres kanskje ikke ut som et opplagt prosjekt for Google, men det gir mye mening for Douglas Eck.
Eck har brukt rundt 15 år på å studere kunstig intelligens og musikk, og i disse dager er han forsker i Google Brain-teamet, og leder Magenta – Googles åpen kildekode-forskningsprosjekt som har som mål å lage kunst og musikk med maskinlæring.
Han snakket med MIT Technology Review om hvordan Google produserer nye lyder med dype nevrale nettverk, hvor Magenta tar AI-musikk, og hvorfor datamaskiner er dårlige til å fortelle vitser.
Nedenfor er et redigert utdrag av intervjuet. Premium MIT Technology Review abonnenter kan lytte til hele intervjuet.
Å bruke kunstig intelligens til å lage kunst er ikke nytt, så hva er unikt med Googles tilnærming?
Vi utforsker denne svært spesifikke retningen som har å gjøre med dype nevrale nettverk og tilbakevendende nevrale nettverk og andre typer maskinlæring. Og vi prøver også veldig hardt for å engasjere både det kunstneriske fellesskapet og kreative kodere og åpen kildekode-utviklere på samme tid, så vi har gjort det til et åpen kildekode-prosjekt.
Mye Magenta er fokusert på musikk. Hvorfor er AI bra for å lage og forsterke musikk?
For å være ærlig, er det bare en skjevhet av meg. Hele min forskerkarriere har handlet om musikk og lyd. Jeg tror omfanget av Magenta alltid har handlet om kunst generelt, historiefortelling, musikk, narrativ, bilder og forsøk på å forstå hvordan man bruker AI som et kreativt verktøy. Men du må begynne et sted. Og jeg tror at hvis du gjør seriøse fremskritt på noe så komplisert som musikk, og som er like viktig for oss som musikk, så er mitt håp at noe av det vil kartlegges til andre domener også.
Kan vi lytte til musikk som er laget med Magenta?
Dette er litt musikk fra en modell som heter Ytelse RNN .
Lytt og bare ta hensyn til teksturen og alt der. Dette er en slags musikkkomposisjon, men det er samtidig en musikkforestilling, fordi modellen ikke bare genererer kvarttoner – den bestemmer hvor raskt de skal spilles, hvor høyt de skal spilles, og faktisk gjengir den det den ble trent på, som var en haug med pianoopptredener gjort som en del av en pianokonkurranse.
Som det stykket viser, er musikk som er laget så langt med Magenta i hovedsak improvisasjon. Kan AI brukes til å lage et sammenhengende musikkstykke med struktur?
Vi jobber med det. Så en av de viktigste fremtidige forskningsretningene for oss og, ærlig talt, for hele feltet av generative modeller – med det mener jeg maskinlæringsmodeller som kan prøve å generere noe nytt – er læringsstruktur. Og det viser seg i musikken her. Du hører at det ikke er noen overordnet modell som på en måte bestemmer hvor ting skal gå.
Hvis vi ønsket å gi den akkordendringer, til og med symbolene på akkordendringene, og lære kontekstuelt hvordan vi kan dra nytte av disse akkordendringene, kunne vi gjøre det. Vi kan til og med ha en egen modell som genererer akkordendringer. Målet vårt er å komme opp med denne ende-til-ende-modellen som finner ut alle disse nivåene av struktur på egen hånd.
Fortell meg om Skisse-RNN , som er et nylig magenta-eksperiment som lar deg tegne med et tilbakevendende nevralt nettverk – i utgangspunktet begynner du å tegne en ananas og så tar Sketch-RNN over og fullfører den, om og om igjen, i mange forskjellige stiler.
Vi var i stand til å bruke en haug med tegninger laget av folk som spilte Pictionary mot en maskinlæringsalgoritme – dette var [data fra et annet Google AI-tegneeksperiment laget av Google Creative Lab,] Rask, tegn!
Det er begrensninger på dataene. Det er bare så mye du kommer til å få ut av disse bitte små 20-sekunders tegningene. Men jeg synes arbeidet utført av hovedforskeren [Sketch-RNN], David Ha, var virkelig vakkert. Han trente i utgangspunktet et tilbakevendende nevralt nettverk for å lære å reprodusere disse tegningene. Han tvang på en måte modellen til å lære hva som er viktig. Modellen var ikke kraftig nok til å huske hele tegningen. Fordi den ikke kan huske alle slagene den ser, dens jobb er bare å reprodusere mange katter eller hva som helst, den er tvunget til å lære hva som er viktig med katter – hva er de delte aspektene ved kattetegninger på tvers av millioner av kattetegninger? Og så når du leker med denne modellen kan du be den om å generere nye katter ut av løse luften. Det genererer virkelig interessante katter som ser uhyggelig ut som folk vil tegne katter, synes jeg.
TensorFlow
Jeg leste at du jobber med Magenta for å lære datamaskiner å fortelle vitser. Hva slags vitser genererer datamaskiner? (Det var ikke i seg selv den første linjen i en vits.)
Prosjektet var veldig foreløpig, veldig utforskende, og stilte spørsmålet: kan vi forstå den komponenten av spøkefortelling som handler om overraskelse? Spesielt punch-line-relaterte vitser og ordspill, det er helt klart et punkt hvor alt går som normalt, jeg tror jeg vet hva som skjer med denne setningen, og så, bom! Ikke sant? Og jeg tror også intuitivt at det er en geometri til slaglinjen. Det er overraskende hvis bygningen kollapser på hodet ditt; [en punch line er] ikke den slags overraskelse. Det er liksom, oh, right, jeg skjønner det! Du vet? Og den følelsen av at jeg forstår det er, tror jeg, en slags tilbakesporing du er tvunget til å gjøre for å få det. Så vi så på spesielle typer maskinlæringsmodeller som kan generere disse tingene kalt sannhetsvektorer som prøver å forstå hva som skjer semantisk i en setning, og så kan vi aktivt manipulere dem for å få en annen effekt?
Og den typen vits vi hørte om var … Magikeren var så sint at hun trakk ut haren sin. Og ordspillet med hare og hår, og kanin – du skjønner det, ikke sant?
Ja. Men du må kunne mye om ord og språk for å forstå det.
Ja, du må vite mye. Ikke bare fortalte denne modellen ingen vitser, morsomme eller ikke, men vi fikk faktisk ikke koden til å konvergere.
Hva er du midt i å prøve å finne ut med Magenta akkurat nå?
Prøver å forstå mer av den langsiktige strukturen med musikk og også prøve å forgrene seg til et annet interessant spørsmål, som er: kan vi lære av tilbakemeldingene, ikke fra en artist, men fra et publikum?
Dette ser på den kunstneriske prosessen som en slags iterativ. The Beatles hadde 12 album og hver og en av dem var forskjellige. Og de viste alle at disse musikerne lærer av tilbakemeldinger de får fra jevnaldrende og fra folkemengder, men også andre ting som skjer med andre artister. De er virkelig knyttet til kultur. Kunstnere er ikke statiske.
Og denne veldig enkle ideen: kan du få noen til å lage noe med en generativ modell, legge det ut der, men så dra nytte av det faktum at tilbakemeldingene de får? Å, det var bra, det var dårlig. Den tilbakemeldingen vi får, kan kunstneren lære av på én måte, men kanskje maskinlæringsmodellen også kan lære av den, og si: Å, jeg skjønner, her er alle menneskene og her er hva de tenker om hva Jeg gjør det, og jeg har disse parameterne. Og vi kan sette disse parameterne i forhold til tilbakemeldingene, ved å bruke forsterkende læring, og vi jobber med det også.
Mens jeg lytter til musikk laget med Magenta, lurer jeg på: Hvis du bruker data til å trene kunstig intelligens, kan AI-en da lage noe virkelig originalt, eller vil det bare være avledet av det den har blitt trent på, enten det er Madonna-sanger eller impresjonistiske malerier, eller begge deler?
Jeg tror det kommer an på hva vi mener med original. Jeg tror det er usannsynlig for meg at en maskinlæringsalgoritme vil komme og generere en transformativ ny måte å gjøre kunst på. Jeg tror en person som jobber med denne teknologien kan være i stand til å gjøre det. Og jeg tror vi bare er så, så, så langt fra denne AI-en har en følelse av hvordan verden egentlig er. Som om det bare er så, så langt unna. Samtidig tenker jeg at mye kunst er original i en annen forstand. Som, jeg lager en kul EDM-sang til med dropset på rett sted, som er morsomt å danse til og er nytt, men som kanskje ikke skaper en helt ny sjanger. Og jeg synes den slags kreativitet er veldig interessant uansett. At stort sett det meste av det vi gjør er å sitte i en sjanger vi på en måte forstår, og vi prøver nye ting, og den slags kreativitet tror jeg AI-en vi har nå kan spille en stor rolle i. Den reproduserer ikke datasettet, ikke sant? Det blander ting sammen.