Et nytt oppslukende klasserom bruker AI og VR for å lære mandarin-kinesisk

Et bilde av studenter som står i det oppslukende virtuelle miljøet Rensselaer polytekniske institutt

Ofte er den beste måten å lære et språk på å fordype seg i et miljø der folk snakker det. Den konstante eksponeringen, sammen med presset for å kommunisere, hjelper deg raskt å plukke opp og øve på nytt ordforråd. Men ikke alle får muligheten til å bo eller studere i utlandet.

I et nytt samarbeid med IBM Research tilbyr Rensselaer Polytechnic Institute (RPI), et universitet med base i Troy, New York, nå sine studenter som studerer kinesisk et annet alternativ: et 360-graders virtuelt miljø som teleporterer dem til de travle gatene i Beijing eller en overfylt kinesisk restaurant. Studentene får prute med gateselgere eller bestille mat, og miljøet er utstyrt med forskjellige AI-funksjoner for å svare på dem i sanntid. Mens klasserommet stort sett er eksperimentelt, brukes det for første gang i et seks ukers studiepoengkurs ved universitetet denne sommeren.

Prosjektet var inspirert av to RPI-fakultetsmedlemmer som ofte brukte rollespill for å hjelpe studentene sine med å lære kinesisk. Parallelt har de siste årene, flere studier har funnet ut at interaktive læringsmiljøer kan øke språkforståelse og oppbevaring. En studie publisert i 2018 også funnet at det å lære japansk i et virtuelt 3D-miljø gjorde at elevene mer sannsynlig fant opp vokabular som de tilfeldigvis møtte gjennom simuleringen. På grunnlag av disse ideene inngikk professorene et samarbeid med IBM Research for å undersøke om de kunne gjenskape slike fordeler for sine egne studenter.

I tillegg til å omgi elevene med digitale projeksjoner av en scene, bruker miljøet flere typer sensorer for å dynamisk tilpasse seg elevenes ord og handlinger. Mikrofoner, båret av deltakerne, mater lyden direkte inn i talegjenkjenningsalgoritmer. Kameraer sporer bevegelsene og bevegelsene deres for å registrere når de peker på forskjellige objekter eller går opp til forskjellige virtuelle agenter. Hvis en elev peker på en matrett i restaurantmiljøet og spør hva det er, kan en virtuell agent svare med navn og beskrivelse. Narrativ generasjonsteknologi lar også hver agent konstruere mer sofistikerte svar på off-the-cuff spørsmål (Hva er rettens historie?) ved å bruke kunnskap fra Wikipedia. (Samtaleemnene er imidlertid fortsatt noe begrenset til den oppgaven studenten prøver å fullføre.)

Kameraer og sensorer sporer elevenes bevegelser slik at de fritt kan peke på objekter i en scene for å engasjere seg. Rensselaer polytekniske institutt

Mange av teknologiene i miljøet er kommersielt tilgjengelige produkter som ble vevd sammen til en sammenhengende opplevelse. Men noen få måtte utvikles spesielt for prosjektet. Mandarin-kinesisk har for eksempel fem toner som er utfordrende for mange nye elever, men som er avgjørende for å formidle mening. Si ordet selge (卖 sliping ) litt av og du kan ende opp med å si kjøp (买 mǎi ) i stedet. Så forskerne laget en algoritme for å analysere tonene i elevenes uttale. Den sammenligner dem med de som har morsmål og viser hvor de er forskjellige, og gir deretter lyd og visuell tilbakemelding direkte i miljøet. Det lar elevene spørre en virtuell agent hvordan de skal si noe og umiddelbart begynne å øve på det nye ordforrådet.

Hui Su, direktøren for Cognitive and Immersive Systems Laboratory, samarbeidet mellom IBM Research og RPI som ledet initiativet, sier teamet hans fortsatt er i de tidlige stadiene av å forstå hvor effektivt det er. Men i en pilot på slutten av 2017 fant forskerne kvalitativt at det økte elevenes engasjement og glede i språklæring, og hjalp dem til raskt å tilegne seg nye ord.

Før en restaurantbestillingsøvelse, for eksempel, ble ikke elevene lært hvordan de skulle betale for maten, men gjennom å observere jevnaldrende og samtale med de virtuelle agentene, fikk mange opp det nødvendige vokabularet for å gjøre det. Det var litt av en overraskelse, sier Su. En av elevene kommenterte at dette burde være måten å undervise i språk på, legger han til.

En algoritme gir elevene visuell tilbakemelding på toneuttalen deres. Rensselaer polytekniske institutt

Det første året vil det nye kurset bruke det virtuelle miljøet nesten halvparten av tiden og et tradisjonelt klasserom resten, selv om denne ordningen kan endre seg i fremtiden.

Hvis klassen gir sterke bevis på å forbedre elevenes læringsutbytte, kan den tjene som en modell for andre. Den mest åpenbare ideen ville være å utvide den til andre språk. Men det kan også brukes utenfor universiteter til å veilede ledere, trene statlige ansatte eller gjennomføre andre forberedende aktiviteter som kan ha nytte av scenariosimulering og rollespill.

Til syvende og sist vil initiativet hjelpe forskernes langsiktige oppdrag for å forstå hvordan kognitive og oppslukende miljøer kan påvirke læring, samarbeid og meningsskaping, sier Su.

For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.

gjemme seg