211service.com
Nerden
Chris Schmandt ’73, SM ’80, brukte fire tiår på å leke rundt på Media Lab, og fant opp interaktive talegrensesnitt for datamaskiner og det første navigasjonssystemet i bilen som fortalte sjåførene hvor de skulle dra. 24. april 2019
Bilde av Christopher Shcmandt Jake Belcher
Da Chris Schmandt var en undergraduate ved MIT i 1977, så han en annonse for en campusjobb med grafisk programmering i PL/I. Det betalte samme beløp som hans burger-flipping-opptreden i kafeteriaen, han hadde lært PL/I-programmeringsspråket som hovedfag i informatikk og ingeniørfag, og han likte ideen om en jobb som ikke krevde dusjing på slutten av hvert skift. Så han gikk på jobb for Nicholas Negropontes Architecture Machine Group (AMG), forløperen til MIT Media Lab.
Jobben innebar å programmere en Model 85 rammebuffer, som var et av de første datagrafikksystemene som kunne gjengi en ramme med fargede piksler, slik at maskinen kunne vise tekst, grafikk, diagrammer og til og med fargebilder. Men først trengte noen å skrive lavnivåmikrokoden for rammebufferens kontroller. Noen måtte skaffe fonter og kode dem også. Den personen var Schmandt. Jeg begynte å male piksler på skjermen og jeg ble hekta, sier han.
Den jobben hadde store konsekvenser, ikke bare for Schmandt, men for oss alle: arbeidet hans førte til slutt til utviklingen av moderne navigasjonssystemer som Garmin GPS og Google Maps, samt stemmegrensesnittene som folk i økende grad bruker for å samhandle med datamaskiner .
Audio Notebook, som Schmandts laboratorium utviklet rundt 1997, koblet papirnotater tatt ved et arrangement til et digitalt lydopptak av den. Med tillatelse fra MIT Media Lab
Jeg husker veldig tydelig at Nicholas fortalte alle at en dag ville hver datamaskin ha en av disse innebygd, sa Schmandt om rammebufferen ved pensjonisttilværelsen hans i desember 2018. Det var forutsett, men han sa ikke at alle telefoner ville ha en!
En kretsvei til laboratoriet
Schmandts banebrytende arbeid med å integrere tale og databehandling skjedde nesten ikke. Han begynte på MIT i 1969, og hadde han uteksaminert med sin første klasse i 1973, hadde han kanskje aldri møtt rammebufferen. Men i 1971 hadde han erklært hovedfag i urbane studier, forelsket seg i lingvistikk og nesten fullført en humaniora... og drev meteorologisk forskning gjennom MIT Undergraduate Research Opportunities Program (UROP). Jeg bestemte meg for at jeg ikke visste hva jeg gjorde, sier han.
Så han trakk seg fra skolen for å finne ut av det og gjorde UROP til en fulltidsjobb i meteorologiavdelingen, og fraktet hullkort til datasenteret i en handlekurv. Kort tid etter hadde han lært nok om programmering til å fikse skrivefeil på kortene, noe som gjorde at han kunne unngå å gå på tvers av campus en gang til, slik at sjefen hans kunne fikse dem. Men Schmandt fikk snart vandrelyst og la ut på det som skulle bli en fem år lang reise. Han reiste – hovedsakelig haike – fra London til Spania, Marokko, Algerie, Niger, Kamerun, Zaire, Uganda og Kenya, hvor han ble utskjelt av politiet for ikke å snakke swahili, og klatret opp til 19 000 fot på en åsrygg som førte til toppen av Everest. Du har aldri sett noe lignende – enorme, snødekte topper rundt deg, som ser ned på tre isbreer, sier han. Og om natten synger og stønner isbreene mens de sakte maler nedover dalene.
På reise langs det som var kjent som Hippie Trail i India, møtte han noen britiske og australske programmerere, som overbeviste ham om at programmering var et godt levebrød man kunne drive med hvor som helst. Så i 1977 kom han tilbake til MIT og meldte seg på nytt som hovedfag i elektroteknikk og informatikk.
Å komme i gang med rammebufferen overbeviste Schmandt om at dette hadde vært en god avgjørelse. Rammebufferen var et av de første datagrafikksystemene som ikke blinket når bildet på skjermen ble mer komplekst – en bragd det oppnådde ved å bufre, eller lagre, hele skjermen i dedikert minne. Med 400 rader på 512 piksler hver, krevde rammebufferen mer enn 200 000 byte med tilfeldig tilgangsminne, noe som var utrolig dyrt på den tiden. Så Schmandt måtte skrive et program for å kjøre Model 85 som ville passe inn i det begrensede minnet den hadde tilgjengelig.
Dette var virkelig nerdete greier, selv for AMG, minnes Schmandt. For å ribbe ham hacket en av laboratoriekameratene til slutt laboratoriets synthesizer, og programmerte den til å produsere en kort musikalsk fanfare og si Geek! da Schmandt logget på. Han aksepterte muntert det nye kallenavnet sitt.
Negropontes laboratorium skapte et datamiljø kalt Spatial Data Management System (SDMS) som ville la en person bruke blikk, bevegelser og stemme for å samhandle med en database som inneholder tekst, bilder, kart og til og med video. AMG, som ligger i Arkitekturdepartementet og støttet av US Defense Advanced Research Projects Agency (DARPA) og bedriftssponsorer, var overfylt av utstyr, ideer og penger. Så da Schmandt fullførte sin lavere grad i 1979, fortsatte han for å ta en mastergrad i arkitektur i 1980.
Laboratoriet hadde en haug med veldig kule ting på grunn av SDMS-prosjektet og støtten fra DARPA, sier han. NEC DP-100 stemmegjenkjenning var $100K. Ingen visste hva lysventilen – det var det første videoprojeksjonssystemet – kostet. Jeg kunne sitte og leke med maskinvare for en million dollar.
I en 1980-demo av Put That There styrer Schmandt en datamaskin med stemme og bevegelser. Med tillatelse fra MIT Media Lab
Sett det der
Læringskurven som kreves for å mestre hvert utstyr i AMG var bratt, så Negroponte tildelte hver enhet en mor som skulle være ansvarlig for å skrive programvaren eller bygge maskinvaren for å hjelpe den til å vokse til noe nyttig. For masteroppgaven sin adopterte Schmandt en liten boks som, når den ble festet til håndleddet ditt, ville fortelle laboratoriets interaktive datamaskin hvor håndleddet ditt var og hvor det pekte. Kjent som en enhet med seks frihetsgrader, var den utviklet for å monteres på hjelmene til helikopterpiloter, som brukte dem i simulatorer for trening og over slagmarken for målretting; i dag finnes lavprisversjoner i mange virtuelle hodesett.
Eric Hulteen ’80, SM ’82, fikk i oppgave å utvikle programvare for NEC-stemmegjenkjenneren. I samarbeid skapte Schmandt og Hulteen Sett det der , et tegnesystem kontrollert av stemme og bevegelser som de demonstrerte først i 1979.
For å kjøre Put That There, ville du sitte i en Eames-lærstol i laboratoriets lydisolerte mediarom og pek med hånden mot rommets bakprojeksjonsskjerm på veggstørrelse, som ble opplyst av lysventilen, en projektor på den andre siden av veggen. Med sensoren og mikrofonene satt opp kan du si Sett en gul sirkel der , og datamaskinen ville adlyde. Hvis du ikke spesifiserte hvor sirkelen skulle gå, ville datamaskinen spurt Hvor? og venter på at du peker og sier Der! Schmandt sier at det var et av de to første samtalesystemene som noen gang er skrevet.
I 1980 ga Schmandt og Hulteen Put That There en oppgradering: de gjorde bakgrunnen til et kart over Karibia og lærte datamaskinen å svare på kommandoer som Lag et grønt frakteskip der og flytt cruiseskipet nord for Den dominikanske republikk. Dette gjorde programmet enda mer populært blant laboratoriets militære sponsorer, som kunne sitte i Eames-stolen og spille ut fantasier som rundt Cuba med slagskip og fregatter.
Jerry Wiesner var president for MIT, og kontoret hans var en etasje under oss, husket Negroponte på Schmandts pensjonistmiddag. Når han gikk ut for å spise lunsj, tok han med seg venner og gjester og sa: «Å, la oss komme innom og se arkitekturmaskinen.» … Jeg vet ikke hvor mange som satt i den stolen, men det var mange av dem .
Schmandt var ikke interessert i å ta doktorgrad. (Jeg ville ikke bruke to år på å jobbe med et prosjekt, sier han.) Men forskningen holdt ham ved MIT. Han sluttet seg til AMGs stab og hadde ikke lenge startet en forskningsgruppe med fokus på å utvikle måter for folk å samhandle med datamaskiner ved hjelp av tale. Målet var å gjøre datateknologi tilgjengelig utenfor et kontormiljø.
Jake Belcher
Baksete sjåfør
I 1985 forvandlet AMG til Media Lab. Som et grunnleggende medlem har Schmandt hatt mange studenter opp gjennom årene. Men et prosjekt med en av de første, Jim Davis ’77, PhD ’89, ville vise seg å være et av de mest vidtrekkende. Davis hadde også hatt en UROP ved AMG på 1970-tallet, og han jobbet i noen få selskaper før han returnerte til Media Lab i 1985. Under et opphold hos Cambridge superdatamaskin-oppstartsselskapet Thinking Machines sommeren etter at han startet sin doktorgrad, utviklet han et program kalt Direction Assistance som kan ta et detaljert gatekart over en by, et startpunkt og en destinasjon, og gi sving-for-sving-instruksjoner på engelsk for en effektiv rute. Så det logiske for Davis å gjøre på laboratoriet var å få Direction Assistance til å kjøre i en bil og levere veibeskrivelse ved hjelp av en syntetisk stemme.
På den tiden var GPS kun tilgjengelig for militæret, sier Davis; sivile hadde tilgang til en versjon med degradert presisjon. NEC, en laboratoriesponsor, hadde utviklet et navigasjonssystem i bilen som brukte dødregning i stedet for GPS: det noterte avstanden som ble tilbakelagt og tilpasset bilens bevegelser til et datastyrt kart .
Det fungerte bare med Acura Legend, en high-end bil, sier Davis. Så for å gjøre forskningen trengte Media Lab en Acura Legend! Det var et stort steg opp for dem: Schmandt kjørte Datsun 210 stasjonsvogn slik at han kunne transportere skiene sine, og Davis hadde ikke engang bil.
NEC installerte utstyret, som viste et kart med en prikk som viser bilens plassering på en skjerm innebygd i midten av dashbordet. Det er fryktelig, forklarer Schmandt. For hvis noe beveger seg i det perifere synsfeltet ditt, har du en veldig sterk refleks til å se på det – det kan være et vilt dyr i ferd med å kaste seg over deg! Schmandt var bekymret for at en bevegelig skjerm ville distrahere sjåfører fra å holde øynene på veien. Det var å se [NEC-kartet] som fikk meg overbevist om at det var her talen kom til å gjøre det, sier han. Og vi hadde rett – bare 30 år frem i tid.
Schmandt, her med en tidlig mobiltelefon, kodeutviklet et futuristisk talepostsystem kalt Telefonslave på 1980-tallet. Med tillatelse fra MIT Media Lab
Systemet som Schmandt og Davis bygde sendte bilens posisjon (som bestemt av NEC-kartet) med mobiltelefon til et program som kjører på en kraftig datamaskin på Media Lab. Programmet beregnet det neste settet med gateanvisninger som kreves, tatt i betraktning førerens posisjon, hastigheten til bilen og hvor lang tid det ville ta å si den beregnede ytringen. Disse instruksjonene ble deretter matet inn i en tidlig talesyntese kalt en DECtalk og sendt tilbake til bilen over en annen mobiltelefon. Spotty pålitelighet av mobildekning forårsaket mange problemer, så den andre versjonen av systemet flyttet datamaskinen direkte inn i bagasjerommet. Schmandt og Davis kalte systemet Back Seat Driver.
Jeg er veldig fornøyd med at vi gjorde Back Seat Driver, sier han. Det var en søt bruk av stemmen. Patentet han og Davis arkiverte på det – som han sier ble rikelig skrevet fra Daviss avhandling – hadde blitt sitert av 523 andre patenter i februar 2019, ifølge US Patent and Trademark Office. I en periode var det det mest siterte patentet i MITs portefølje, sier han. Likevel tjente de aldri penger på det. Alle patentene som siterte deres, strekker seg langt for å forklare hvordan de er forskjellige, sier han og forklarer at det er slik patentspillet spilles.
Man vet ikke alltid hvor gode ideer kommer fra, sier Schmandt og legger til at han har lært seg gjennom årene å lytte til elevene. Min jobb er å hjelpe dem med å finpusse ideene sine – finne ut hvilken del av ideen som er den gode delen. Hvor er den virkelige nyheten? Hvordan kan du bygge dette, hvordan kan du forklare dette?
Cindy Hsin-Liu Kao, PhD '18, sier at Schmandts oppmuntring var avgjørende for forskningen hennes, som involverte brukergrensesnitt som festes til kroppen med hudvennlige materialer. Takk for at du alltid tror på meg, sa hun på pensjonistmiddagen hans, som hun deltok på virtuelt, ved hjelp av en håndholdt datamaskin med innebygd talegjenkjenning, fra toppen av Peterskirken i Roma. Når jeg tenkte å gå i en retning som var mer konvensjonell eller å utforske noe veldig rart, sa du alltid å gå og gjøre noe rart. I dag er Kao assisterende professor i design og miljøanalyse ved Cornell University. Og den trådløse videostrømmen hennes på Schmandts middag overrasket ingen tilstede: i dag har alle virkelig en rammebuffer i lommen.