211service.com
Maskinlæringsalgoritme ser på danse-danserevolusjonen, og lager deretter sine egne danser
Dance Dance Revolution er et av de klassiske videospillene på slutten av 1900-tallet. Et bevis på suksessen, nyheten og lang levetid er at den fortsatt er populær i dag, nesten 20 år siden lanseringen.
Dette er et dansespill som består av en skjerm og en danseplattform som spillerne kontrollerer med føttene. Plattformen har fire pads, som spillere må berøre til musikk i rekkefølgen spesifisert av et diagram på skjermen. Så spillerne må danse til musikken på den måten spillet krever.
Spillet lar også spillere designe og distribuere sine egne danser. Gjennom årene har folk laget enorme databaser med danser for et stort utvalg av populære sanger.
Det ga Chris Donahue og vennene, ved University of California, San Diego, en idé. Hvorfor ikke bruke denne enorme databasen til å trene en dyplæringsmaskin til å lage egne danser?
I dag viser de hvordan de har gjort nettopp det. Systemet deres – kalt Dance Dance Convolution – tar som input rålydfilene til popsanger og produserer danserutiner som en utgang. Resultatet er en maskin som kan koreografere musikk.
Selve spillet er i prinsippet enkelt. Mens musikken spilles, berører spilleren putene på danseplattformen i den rekkefølgen som vises på skjermen. Hver pute kan være i en av fire tilstander: på, av, hold (eller frys) og slipp. Fordi de fire pads kan aktiveres eller frigjøres uavhengig, er det 256 mulige trinnkombinasjoner til enhver tid.
Selvfølgelig blir dansene stadig vanskeligere, med de fleste sanger med danser med fem vanskelighetsgrader. Vanskeligheten bestemmes av hastigheten til de rytmiske underavdelingene. Spill på nybegynnernivå har trinn på kvart- og åttendenoter, men danser med høyere vanskelighetsgrad har 16.-trinn og noen mønstre som involverer 12.- og 24.-noter.
Det er også andre uformelle regler for oppretting av dansetopper. Kartforfattere streber etter å unngå mønstre som vil tvinge en spiller til å se bort fra skjermen, sier Donahue og co. Resultatet er danser med et bredt utvalg av rike strukturer.
Oppgaven med å automatisere opprettelsen av dansekart er på ingen måte enkel. Donahue og co deler den i to deler. Den første er å bestemme når trinn skal plasseres, og den andre er å bestemme hvilke trinn som skal velges. De trener deretter en maskinlæringsalgoritme for å lære hver oppgave.
Den første oppgaven koker ned til å identifisere et sett med tidsstempler i en sang for å plassere trinn. Dette ligner på et godt studert problem i musikkforskning kalt startdeteksjon. Dette innebærer å identifisere viktige øyeblikk i en sang, for eksempel melodinoter eller trommeslag.
Selv om ikke hver start i dataene våre tilsvarer et Dance Dance Revolution-trinn, tilsvarer hvert Dance Dance Revolution-trinn en begynnelse, sier Donahue og co.
Når tidsstemplene for hvert trinn er identifisert, er den andre oppgaven å velge et trinn å ta på hvert øyeblikk.
I alle maskinlæringsoppgaver er treningsdatasettet avgjørende. Musikkforskning har blitt hemmet tidligere fordi opphavsrettsproblemer kan forhindre at sanger blir brukt i forskning (eller i det minste blir gitt videre sammen med resultatene).
DDR kommer rundt dette fordi så mange dansetapper har blitt laget av vanlige brukere. Donahue og co sier at et nettlager, kalt Stepmania Online, lagrer over 350 gigabyte med dansetopper på mer enn 100 000 sanger.
For denne forskningen fokuserer teamet på to mindre datasett som består av opptak pluss dansediagrammer. Den første inneholder 90 sanger koreografert av en enkelt forfatter, som har produsert diagrammer med fem vanskelighetsgrader for hver sang. Det andre datasettet inneholder 133 sanger hver med et enkelt dansetappe.
Teamet øker deretter datasettet ved å lage et speilbilde av hvert diagram – for eksempel ved å bytte venstre for høyre og opp for ned (eller begge deler). Resultatet er et datasett på 35 timer med musikk i form av rå lydfiler med mer enn 350 000 trinn.
Donahue og co bruker deretter 80 prosent av musikken til å trene maskinlæringsalgoritmen til å gjenkjenne tidspunkter for trinnplassering. De validerer og tester den resulterende modellen med de resterende 20 prosentene av dataene. Og de bruker lignende proporsjoner for å trene en annen algoritme for å bestemme trinnvalget. Lignende teknikker er mye brukt i maskinlæring for oppgaver, for eksempel prosessering av naturlig språk.
Resultatene er imponerende. Eksperimentene våre fastslår muligheten for å bruke maskinlæring for automatisk å generere høykvalitets DDR-diagrammer fra rå lyd, sier Donahue og co.
Ved å kombinere innsikt fra musikalsk startdeteksjon og statistisk språkmodellering har vi designet og evaluert en rekke dyplæringsmetoder for å lære å koreografere, sier de.
Det er underholdende arbeid som viser nytten av maskinlæring for oppgaver der det er store annoterte datasett. Det viser også at enda en bastion av menneskelig kreativitet har falt for maskinene.
Ref: arxiv.org/abs/1703.06891 : Dans Dance Convolution