Vi er oversvømmet i digitalt lys

I en bok av Pixar-grunnlegger Alvy Ray Smith, får den ydmyke pikselen oppmerksomheten den fortjener.

Av

• Chris Turner arkivside

27. oktober 2021

Andrea Daquino

Dataforskeren Alvy Ray Smith var med på å grunnlegge både Lucasfilms datagrafikkavdeling og Pixar Animation Studios. Bare for disse prestasjonene er han en av de viktigste teknologiske innovatørene på kino siden i det minste slutten av andre verdenskrig. Men Smith er ikke en Hollywood-fyr, og hans spennende, grunnleggende nye bok En biografi om pikselen er ikke en Tinseltown-bok. Det er bare den minste biter av sladder (Steve Jobs var en vanskelig mann å jobbe med— bekreftet! ), og den eneste marquee-kjendisen som dukker opp i Smiths historie med noen frekvens er George Lucas. Smith er ikke interessert i berømmelse. Han jager dypere temaer, og argumenterer faktisk for at det store prosjektet han var en del av - oppfinnelsen og utviklingen av datagrafikk - er langt viktigere enn noe som noen gang har skjedd i Hollywood.

Smith er det som tidligere ble kalt et gråskjegg i dataprogrammeringskretser. Han er fra den generasjonen av ingeniører og kodere som så den digitale tidsalderen reise seg fra sumpene av hemmelige militære prosjekter og romprogrammet for å erobre verden. Han har snakket maskinspråk. Han undret seg over den første grove grafikken som viste bevegelse på grønne og svarte skjermer. Og han var blant de første som demonstrerte den nyoppdagede evnen til en pekepenn til å spore en jevn kurve av digital maling.

Denne historien var en del av november 2021-utgaven vår

• Se resten av saken
• Abonnere

I En biografi om pikselen Smiths mål er å sette tydelig ned banen til to viktige, sammenvevde historier. Den første historien er utviklingen av databilder, fra opprinnelse til digital allestedsnærvær. Det er, ifølge Smith, mange navn, steder og gjennombrudd som mangler i platen, og han har tatt på seg jobben med å legge dem inn igjen med en ingeniørs øye for presisjon. Den andre historien, som utspiller seg parallelt, handler om virkningen av disse bildene - en transformativ kraft Smith kaller Digital Light. Det omfatter stort sett alt vi opplever gjennom skjermer, og han argumenterer overbevisende for at det er blant de viktigste nyvinningene innen menneskelig kommunikasjon siden de første enkle skildringene av dagliglivet ble etset inn på huleveggene.

Den ydmyke pikselen

Som Smith demonstrerer gjentatte ganger, har altfor mye æren fått lov til å gli til den antatte trolldommen til individuelle genier. Virkeligheten er en gjørmete, overlappende historie med grupper av oppfinnere, som jobber etter tur i konkurranse og i samarbeid, ofte ad hoc og under betydelig kommersielt eller politisk press.

Thomas Edison og Frankrikes Lumière-brødre, for eksempel, var store pådrivere og utnyttere av tidlig filmteknologi. Begge stilte ut komplette systemer rundt 1895 og var glade for å kreve full kreditt, men ingen av dem bygde det første komplette systemet med kamera, film og projektor helt (eller til og med det meste) på egen hånd. Det virkelige svaret på spørsmålet om hvem som oppfant filmene, skriver Smith, er en brikke av konkurrerende slekter, med deler av systemet utviklet av tidligere partnere til Edison og lignende deler av en håndfull franske oppfinnere som jobbet med Lumières.

Blant de avgjørende figurene som ble henvist til historiens søppelkasse var William Kennedy Laurie Dickson (en merkelig europeisk aristokrat som designet og bygde det første filmkameraet for Edison) og Georges Demenÿ (hvis design ble kopiert uten kreditt av Lumières). Smith viser kanskje for mye av sitt uttømmende arbeid med å redde disse kronglete opprinnelseshistoriene – det er på samme måte sammenfiltrede rot på alle viktige stadier i utviklingen av datamaskiner og grafikk – men hans innsats for å sette den historiske rekorden rett er beundringsverdig.

Hovedulempen med all denne kranglingen med egoet og griskheten til flere generasjoner av kraftfulle menn (de er, dessverre, praktisk talt alle menn) er at det noen ganger distraherer Smiths fokus fra hans større tema, som er at det digitale lysets begynnelse representerer slike et sjeldent skifte i hvordan mennesker lever som det fortjener å bli beskrevet som epoke.

Digital Light, i Smiths enkleste definisjon, er ethvert bilde som består av piksler. Men den tekniske frasen undervurderer den fulle betydningen av det enorme nye fantasiriket som har blitt skapt av dets fremvekst. Det riket omfatter Pixar-filmer, ja, men også videospill, smarttelefonapper, bærbare operativsystemer, klønete GIF-er som handles via sosiale medier, dødelige seriøse MR-bilder gjennomgått av onkologer, berøringsskjermene i den lokale matbutikken og de digitale modellene som brukes til å planlegger Mars-oppdrag som deretter sender tilbake enda mer digitalt lys i form av imponerende bilder av den røde planetens overflate.

Og det begynner så vidt å dekke det hele. Et slående aspekt ved Smiths bok er at den inviterer oss til å gå akkurat langt nok tilbake fra den konstante strømmen av piksler som mange av oss bruker mesteparten av våre våkne timer på å se på for å se hvilken ruvende teknologisk prestasjon og en kraftig kulturell kraft alt dette digitale lyset. representerer.

Fourier bidro med innsikten om at alt vi ser kan beskrives som summen av en rekke bølger. Eller, som Smith mer poetisk formulerer det, The world is music. Det hele er bølger.

Det teknologiske gjennombruddet som gjorde alt dette mulig er, som Smiths tittel antyder, den ydmyke pikselen. Selve ordet er et sammendrag av bildeelementer. Enkelt nok. Men pikselen har blitt feilkarakterisert i populær bruk for å referere til den uskarpe, blokkaktige antatte underlegenheten til dårlig gjengitte digitale bilder. Smith vil at vi skal forstå at det snarere er byggesteinen til alt digitalt lys – et mirakuløst, umulig variert, uendelig replikerbart stykke informasjonsteknologi som bokstavelig talt har endret hvordan vi ser verden.

Misforståelsen begynner, forklarer Smith, med det faktum at en piksel ikke er en firkant, og den er ikke arrangert sammen med andre piksler på et pent rutenett. Piksler kan gjengis på skjermer som sådan, men selve pikselen er et eksempel på et synsfelt ... som har blitt digitalisert til biter. Skillet kan høres esoterisk ut, men det er avgjørende for Smiths argument for pikselens revolusjonerende innvirkning. Pikselen er lagret informasjon som enhver enhet kan vise som digitalt lys. Og digitale enheter kan gjøre dette fordi piksler ikke er omtrentlige, men nøye kalibrert prøver av et synsfelt, som er oversatt for digital bruk til en samling av overlappende bølger. Disse pikslene, skriver Smith, er ikke reduksjoner av synsfeltet så mye som en ekstremt smart ompakking av uendelighet.

Den nye bølgen

Prosessen der en piksel genererer digitalt lys – enten det er i form av ord på en skjerm eller et ikon på en smarttelefon eller en Pixar-film på storskjermen – er bygget på tre matematiske gjennombrudd som er før den moderne datamaskinen. Den første av disse ble oppnådd av Jean Joseph Fourier, en fransk aristokrat og regional guvernør under Napoleon på begynnelsen av 1800-tallet. Fourier bidro med den grunnleggende innsikten om at ikke bare lyd, men varme og alt vi ser og mye annet kan beskrives som summen av en serie bølger, som representerer ulike frekvenser og amplituder. Eller, som Smith mer poetisk formulerer det, The world is music. Det hele er bølger.

Relatert historie

Pixars datagrafikkpionerer har vunnet Turing-prisen på 1 million dollar

Mer enn et århundre senere bygde en sovjetisk ingeniør ved navn Vladimir Kotelnikov på Fouriers bølgeprinsipp med det andre avgjørende elementet for å lage digitalt lys - Sampling Theorem. Kotelnikov demonstrerte at et signal – det være seg et musikkstykke eller en visuell scene – kan fanges opp ved å ta øyeblikksbilder (prøver) med bestemte intervaller. Ta nok prøver av et eller annet aspekt av et synsfelt – dets fargegradering, for eksempel, eller skifter fra forgrunn til bakgrunn – og det er mulig å rekonstruere hele informasjonen. Smith erkjenner at amerikanske informatikere har lært at samplingsteoremet har sin opprinnelse med Harry Nyquist og Claude Shannon, men den store ideen ... ble først klart, rent og fullstendig uttalt av Kotelnikov i 1933.

Det tredje elementet som gjorde Digital Light mulig, er det mest kjente og sist utviklede: Alan Turings papir fra 1936 som skisserer den universelle datamaskinen, hvis store innovasjon var evnen til å utføre en hvilken som helst systematisk prosess så lenge den har det riktige medfølgende settet med instruksjoner ( som vi nå kaller programvare). En Turing-maskin, grunnlaget for den moderne datamaskinen, kan programmeres til å forstå prosessen der Fouriers bølger ble samplet av Kotelnikovs teorem, og til å reprodusere dem på en hvilken som helst annen Turing-maskin. Disse tre elementene sammen avlet Digital Light.

Digitalt lys i seg selv var imidlertid en begrenset kraft. Dens tidligste manifestasjoner var enkle piktogrammer på den digitale huleveggen på en TV-skjerm. I desember 1951, for eksempel, viste MITs Whirlwind-datamaskin en rekke hvite prikker på en svart skjerm for CBS-programmet Se det nå , arrangert av Edward R. Murrow. Prikkene stavet ut Hei Mr. Murrow, sakte falmer og lyser deretter opp igjen , som en Lite-Brite på en dimmerbryter. Smart, til og med fantastisk for sin tid, men ikke omveltningen i kjernen av Smiths bok. Til det trengte Digital Light enda et element: ufattelig hastighet.

Datagrafikk, forklarer Smith, er bare vanvittig lange lister med tall som tilsvarer grafiske koordinater – piksler i dag, men tusenvis og tusenvis av små sammenlåsende trekanter i de tidligste manifestasjonene – satt sammen i digitalt rom til den tredimensjonale formen til en Pixar-tegneserie. karakter eller noe annet. (Den første 3D-datagrafikken satt sammen fra disse trekantene var, kjent, en tekanne.)

Den store digitale konvergensen

Slike underverker som 3D-animasjon var imidlertid ikke mulig før datamaskinens prosessorkraft eksploderte. Smith forteller om den påfølgende transformasjonen med en engasjerende blanding av tekniske detaljer, dyp research og personlig erindring. Flere generasjoner av matematikere, kodere og laboratorierotter bidro til utviklingen av datagrafikk, bygde nye verktøy og maskiner ettersom Moores lov raskt gjorde det lettere å gjøre Fouriers bølger og Kotelnikovs prøver til geometriske former, enkle bilder og grunnleggende bevegelser på en skjerm. . Disney og Lucasfilm og Stanford University truer selvfølgelig, men det gjør også NASA og General Motors og Boeing (som var banebrytende for datastøttet industridesign), så vel som mindre kjente bikuber av datagrafikkgenier som University of Utah og New York Institute of Technology (NYIT).

Smiths egen overgang fra enkle piksler til digitale filmer startet på NYIT på begynnelsen av 1970-tallet. Der var han med på å etablere et av verdens første datagrafikklaboratorier, sammen med flere av de andre medstifterne av Pixar, før han gikk videre med å introdusere teknologien til Lucasfilm. (Han jobbet på den aller første dataanimerte sekvensen Lucasfilm produserte, en spesialeffektsekvens for filmen Star Trek II: The Wrath of Khan .)

Gjennom hele reisen forble Smith fokusert på den ultimate premien for å produsere en digital film i full lengde. Han ønsket at disse verktøyene skulle brukes til å skape stor kunst, for å gi form til det kreative geni av sinn over hele verden. Pixar oppnådde dette målet med utgivelsen av 1995 Toy Story , den første langfilmen som er fullstendig dataanimert. Og ikke lenge etter det ble en enda mer betydningsfull prestasjon oppnådd – det sentrale øyeblikket Smith kaller den store digitale konvergensen.

Det som skjedde er både lett å forklare og vanskelig å forstå fullt ut. Det som skjedde var at folk begynte å rote med det.

Dette er poenget, en gang rundt år 2000, da alle bilder (bevegelige og ellers) kunne representeres universelt av piksler. Stille og ubemerket, skriver han, konvergerte alle medietyper til ett – det universelle digitale mediet, biter.

Når jeg leste Smiths beretning om denne konvergensen, kom jeg til å tenke på et berømt sitat tilskrevet den franske forfatteren og filmskaperen Jean Cocteau. Film vil bare bli en kunst, sa Cocteau, når materialene er like rimelige som en blyant og papir. Dette er delvis hva Smith kjører på når han ber oss se i ærefrykt på kraften til pikselen. Og den erindringen førte meg – ubønnhørlig, egentlig – til å tenke på Steamed Hams-memet.

For de uinnvidde ble Steamed Hams født som en kort vignett i en episode fra den syvende sesongen av Simpsons , 22 kortfilmer om Springfield, som ble sendt første gang i 1996: Springfield Elementary Schools slemme rektor Skinner er vert for sjefen sin, superintendent Chalmers, for en lunsj hjemme hos ham. De to minuttene og 42 sekundene av vignetten utspiller seg som en eskalerende serie med mindre katastrofer, noe som fører til at Skinner sniker seg bort til Krusty Burger og deretter hevder hurtigmatmåltidet som sitt eget. Etter å ha lovet superintendenten dampede muslinger, dekker Skinner for listen sin ved å hevde at han faktisk hadde sagt at han lagde dampede skinker, som han antyder er regional slang for hamburgere i delstaten New York.

Det er en dum liten snutt fra en offbeat simpsons episode, og den fikk ingen spesiell oppmerksomhet før den store digitale konvergensen plasserte verktøyene for digital filmskaping i hendene på praktisk talt alle med en datamaskin og en internettforbindelse. Og så er det som skjedde både lett å forklare og vanskelig å forstå fullt ut. Det som skjedde var at folk begynte å rote med det.

Den kreative kraften sluppet løs

Fødselen til Steamed Hams-memet ser ut til å ha vært en kort klipp fra vignetten, reprodusert ved hjelp av en tekst-til-film-app og lagt ut på YouTube i mars 2010. I årene siden da, etter hvert som de digitale verktøyene for å produsere og spre korte videoer ble forbedret i den rasende hastigheten til Moores lov, metastaserte memet vilt. . Klippet har blitt stablet på seg selv, YouTube-skjermen delt inn i 10 bokser, som hver spiller Steamed Hams med en kort forsinkelse, som om den blir sunget i en runde, til den løses opp i brølende kakofoni. Den har blitt satt til et bredt spekter av poplåter - min favoritt er en der Auto-Tune-programvare (i seg selv et produkt av konvergensen) har blitt brukt til å bøye og forvandle dialogen slik at den på en eller annen måte holder seg til melodien til Green Days hitlåt Basket Case. Det har blitt lagt over forskjellige videospill. En driftig Steamed Hams-fan overtalte skuespilleren Jeff Goldblum til å lese hele vignettens manus i sin særegne diksjon; de resulterende YouTube-klipp kutter fagmessig fra Goldblums live-lesing til den originale animasjonen, noen ganger i delt skjerm. Det er en slags nyinnspilling av Steamed Hams der en annen animatør gjengir hvert 13. sekund av vignetten i en helt annen stil. Dette er bare et lite utvalg av høydepunktene. Memet er massivt.

Hvis jeg noen gang ble bedt om å undervise en klasse i postmoderne kunst, ville jeg holdt opp hele memet som et signatureksempel på den svimlende kreative kraften som ble sluppet løs av den store digitale konvergensen. Takket være verktøy som ikke er så mye vanskeligere å få tak i enn en penn og blyant, er internett nå vert for en umulig overflod av oppfinnsomme riff: GIF-er og klipp, supercuts og mashups, rebooter og remikser. En hel verden av tilfeldige skapere som lager digitale filmer, ved hjelp av splitter nye verktøy som allerede har blitt så vanlige at vi knapt legger merke til dem. Vi er hjemme i Digital Light.

Cocteaus verden av allestedsnærværende filmskaping, det vil si, kan meget vel være her. Dette er hva Alvy Ray Smith bygde mot i et halvt århundre i jakten på den første digitale filmen. Vi har kommet. Vi er alle forfattere. Gå og lek.

Chris Turner er en forfatter og essayist med base i Calgary, Alberta. Hans siste bok er The Patch: The People, Pipelines, and Politics of the Oilsands.

gjemme seg