Tegnspråkoversetter

Tospråklige ordbøker er vanligvis en toveis gate: du kan slå opp et ord på engelsk og finne for eksempel dets spanske ekvivalent, men du kan også gjøre det motsatte. Tegnspråkordbøker oversetter imidlertid bare fra skrevne ord til gester. Dette kan være enormt frustrerende, spesielt for foreldre til døve barn som ønsker å forstå ukjente bevegelser, eller døve som ønsker å kommunisere på nettet ved å bruke sitt primære språk. Så Boston University (BU) forskere utvikler en søkbar ordbok for tegnspråk , der enhver bruker kan legge inn en gest i søkemotoren til en ordbok fra sin egen bærbare datamaskin ved å logge foran et innebygd kamera.





Søker etter tegn: Forskere i Boston designer den første tegnspråkordboken som kan søkes etter bevegelser. En underskriver (bildet) sitter i et studio utstyrt med høyhastighetskameraer som fanger opp håndbevegelser og ansiktsuttrykk. Videoer på en bærbar datamaskin ber henne om å lage spesielle tegn. Video av underskriveren vil bli brukt til å trene algoritmer for å identifisere gestale mønstre.

Du har kanskje en samling tegnspråk på YouTube, og nå for å søke må du søke på engelsk, sier Stan Sclaroff , professor i informatikk ved BU. Det tilsvarer, sier Sclaroff, å søke etter spansk tekst ved å bruke engelske oversettelser. Det er unaturlig, sier han, og det er ikke rettferdig.

Sclaroff utvikler ordboken i samarbeid med Carol Neidle , professor i lingvistikk ved BU, og Vassilis Athitsos, assisterende professor i informatikk og ingeniørfag ved University of Texas i Arlington. Når brukeren utfører en gest, vil ordboken analysere den og trekke opp de fem beste mulige treffene og betydningene.

Dagens tegnspråkgjenkjenning er [på] omtrent det stadiet der talegjenkjenning var for 20 år siden, sier Thad Starner , leder av Contextual Computing Group ved Georgia Institute of Technology. Starners gruppe har utviklet seg programvare for tegnspråkgjenkjenning for barn , bruker sensorladede hansker for å spore håndbevegelser. Han og elevene har designet pedagogiske spill der hørselshemmede barn, iført hansker, lærer tegnspråk. En datamaskin vurderer håndformen og går videre til neste øvelse hvis et barn har signert riktig.

I motsetning til Starners arbeid, sikter Sclaroff og Neidle på et sensorløst system der alle med kamera og internettforbindelse kan lære tegnspråk og samhandle. Tilnærmingen, ifølge Starner, er unik innen tegnspråkgjenkjenning, så vel som innen datasyn.

Dette krever mye prosessorkraft, og å prøve å håndtere tegnspråk i ulike videokvaliteter er veldig vanskelig, sier Starner. Så hvis de lykkes, ville det være veldig kult å faktisk kunne søke på nettet på tegnspråk.

For å takle denne stive utfordringen ber BU-teamet flere underskrivere om å sitte i et studio, en om gangen, og signere gjennom 3000 gester i en klassisk amerikansk tegnspråk (ASL)-ordbok. Mens de signerer, fanger fire høyhastighetskameraer av høy kvalitet samtidig opp front- og sidevisninger, samt ansiktsuttrykk. I følge Neidle er smil, rynker og hevede øyenbryn en stort sett understudert del av ASL som kan gi sterke ledetråder til en gests betydning.

Etter hvert som de visuelle dataene kommer inn, analyserer Neidle og elevene hennes, og markerer starten og slutten av hvert tegn og identifiserer viktige underbevegelser – enheter som tilsvarer engelske fonemer. I mellomtiden bruker Sclaroff denne informasjonen til å utvikle algoritmer som for eksempel kan skille underskriverens hender fra bakgrunnen, eller gjenkjenne håndposisjon og form og bevegelsesmønstre. Gitt at enhver person kan signere et ord på en litt annen måte, analyserer teamet bevegelser fra både innfødte og ikke-innfødte underskrivere, i håp om å utvikle en datamaskingjenkjenner som kan håndtere slike variasjoner.

Hovedutfordringen fremover kan være å ta hensyn til de mange ukontrollerbare faktorene på brukerens side av grensesnittet, sier Sclaroff. For eksempel vil noen som bruker en gest for å skrive inn et søkeord på en bærbar datamaskin ha et kamera av lavere kvalitet. Bakgrunnen kan være mer rotete enn det nøye kontrollerte studiomiljøet i databaseeksemplene, og datamaskinen må justere for variabler som klær og hudtone.

Bare for å produsere skiltet og slå det opp - det er den virkelige nyheten vi prøver å oppnå, sier Neidle. Det ville vært en forbedring i forhold til alt som eksisterer nå.

gjemme seg