211service.com
Den rotete, hemmelighetsfulle virkeligheten bak OpenAIs forsøk på å redde verden
Greg Brockman, medgründer og CTO; Ilya Sutskever, medgründer og sjefforsker; og Dario Amodi, forskningsdirektør. Christie Der Klok
Hvert år stemmer OpenAIs ansatte om når de tror kunstig generell intelligens, eller AGI, endelig kommer. Det blir for det meste sett på som en morsom måte å knytte bånd på, og estimatene deres varierer mye. Men i et felt som fortsatt diskuterer om menneskelignende autonome systemer i det hele tatt er mulig, satser halvparten av laboratoriet på at det sannsynligvis vil skje innen 15 år.
I løpet av de fire korte årene den har eksistert, har OpenAI blitt et av de ledende AI-forskningslaboratoriene i verden. Den har skapt et navn for seg selv og produserer konsekvent overskriftsfengende forskning, sammen med andre AI-tungvektere som Alphabets DeepMind. Det er også en elskling i Silicon Valley, og teller Elon Musk og den legendariske investoren Sam Altman blant grunnleggerne.
Fremfor alt er det lionisert for sitt oppdrag. Målet er å være den første til å lage AGI – en maskin med lærings- og resonneringsevnen til et menneskesinn. Hensikten er ikke verdensherredømme; snarere ønsker laboratoriet å sikre at teknologien utvikles trygt og fordelene fordeles jevnt til verden.
Implikasjonen er at AGI lett kan bli amok hvis teknologiens utvikling blir overlatt til å følge minst motstands vei. Smal intelligens, den typen klønete AI som omgir oss i dag, har allerede fungert som et eksempel. Vi vet nå at algoritmer er partiske og skjøre; de kan begå store overgrep og store bedrag; og kostnadene ved å utvikle og drive dem har en tendens til å konsentrere makten deres i hendene på noen få. Ved ekstrapolering kan AGI være katastrofal uten nøye veiledning fra en velvillig hyrde.
OpenAI ønsker å være den hyrden, og den har nøye laget bildet sitt for å passe regningen. I et felt dominert av velstående selskaper, ble det grunnlagt som en ideell organisasjon. Det er første kunngjøring sa at dette skillet ville tillate det å bygge verdi for alle i stedet for aksjonærer. Det er charter – et dokument så hellig at ansattes lønn er knyttet til hvor godt de følger den – erklærer videre at OpenAIs primære tillitsplikt er overfor menneskeheten. Å oppnå AGI trygt er så viktig, fortsetter den, at hvis en annen organisasjon var i nærheten av å komme dit først, ville OpenAI slutte å konkurrere med den og samarbeide i stedet. Denne forlokkende fortellingen spiller godt sammen med investorer og media, og i juli injiserte Microsoft laboratoriet med en ny milliard dollar.
OpenAIs logo henger på kontoret. Christie Hemm Klok
Men tre dager på OpenAIs kontor – og nesten tre dusin intervjuer med tidligere og nåværende ansatte, samarbeidspartnere, venner og andre eksperter på feltet – antyder et annet bilde. Det er en misforhold mellom det selskapet offentlig går inn for og hvordan det opererer bak lukkede dører. Over tid har det tillatt en hard konkurranseevne og økende press for stadig mer finansiering for å erodere dets grunnleggende idealer om åpenhet, åpenhet og samarbeid. Mange som jobber eller jobbet for selskapet insisterte på anonymitet fordi de ikke hadde talerett eller fryktet gjengjeldelse. Beretningene deres antyder at OpenAI, til tross for alle sine edle ambisjoner, er besatt av å opprettholde hemmelighold, beskytte sitt image og beholde lojaliteten til sine ansatte.
Siden den tidligste oppfatningen har AI som et felt forsøkt å forstå menneskelignende intelligens og deretter gjenskape den. I 1950 begynte Alan Turing, den anerkjente engelske matematikeren og informatikeren, et papir med den nå kjente provokasjonen Kan maskiner tenke? Seks år senere, betatt av den irriterende ideen, samlet en gruppe forskere seg ved Dartmouth College for å formalisere disiplinen.
Det er et av de mest grunnleggende spørsmålene i all intellektuell historie, ikke sant? sier Oren Etzioni, administrerende direktør for Allen Institute for Artificial Intelligence (AI2), et Seattle-basert nonprofit AI-forskningslaboratorium. Det er som om vi forstår opprinnelsen til universet? Forstår vi materie?
Problemet er at AGI alltid har vært vag. Ingen kan egentlig beskrive hvordan det kan se ut eller minimum av hva det skal gjøre. Det er for eksempel ikke åpenbart at det bare er én type generell intelligens; menneskelig intelligens kan bare være en undergruppe. Det er også ulike meninger om hvilket formål AGI kan tjene. I det mer romantiserte synet kan en maskinell intelligens uhindret av behovet for søvn eller ineffektiviteten til menneskelig kommunikasjon bidra til å løse komplekse utfordringer som klimaendringer, fattigdom og sult.
Men den rungende konsensus innen feltet er at slike avanserte evner vil ta flere tiår, ja til og med århundrer – hvis det i det hele tatt er mulig å utvikle dem. Mange frykter også at å forfølge dette målet overivrig kan gi tilbakeslag. På 1970-tallet og igjen på slutten av 80-tallet og begynnelsen av 90-tallet, overlovet og underleverte feltet. Over natten tørket finansieringen ut, og etterlot dype spor i en hel generasjon forskere. Feltet føltes som en bakevje, sier Peter Eckersley, inntil nylig forskningsdirektør i industrigruppen Partnership on AI, som OpenAI er medlem av.
Et konferanserom i første etasje som heter Infinite Jest. Christie Hemm Klok
Mot dette bakteppet kom OpenAI inn i verden med et sprut den 11. desember 2015. Det var ikke den første som åpent erklærte at den forfulgte AGI; DeepMind hadde gjort det fem år tidligere og ble kjøpt opp av Google i 2014. Men OpenAI virket annerledes. For en ting var klistremerkeprisen sjokkerende: satsingen ville starte med 1 milliard dollar fra private investorer, inkludert Musk, Altman og PayPal-medgrunnlegger Peter Thiel.
Den stjernespekkede investorlisten vekket medievanvidd, og det samme gjorde den imponerende listen over første ansatte: Greg Brockman, som hadde drevet teknologi for betalingsselskapet Stripe, ville bli teknologisjef; Ilya Sutskever, som hadde studert under AI-pioneren Geoffrey Hinton, ville bli forskningsdirektør; og syv forskere, nyutdannede fra toppuniversiteter eller plukket fra andre selskaper, ville utgjøre det tekniske kjerneteamet. (Sist februar, Musk annonsert at han skilte lag med selskapet på grunn av uenigheter om retningen. En måned senere, Altman Gikk av som president for oppstartsakselerator Y Combinator for å bli OpenAIs administrerende direktør.)
Men mer enn noe annet ga OpenAIs nonprofit-status en uttalelse. Det vil være viktig å ha en ledende forskningsinstitusjon som kan prioritere et godt resultat for hele sin egeninteresse, kunngjøringen sagt . Forskere vil bli sterkt oppfordret til å publisere arbeidet sitt, enten som artikler, blogginnlegg eller kode, og våre patenter (hvis noen) vil bli delt med verden. Selv om det aldri gjorde kritikken eksplisitt, var implikasjonen klar: andre laboratorier, som DeepMind, kunne ikke tjene menneskeheten fordi de var begrenset av kommersielle interesser. Mens de var stengt, ville OpenAI være det åpen .
I et forskningslandskap som hadde blitt stadig mer privatisert og fokusert på kortsiktige økonomiske gevinster, tilbød OpenAI en ny måte å finansiere fremgang på de største problemene. Det var et fyrtårn av håp, sier Chip Huyen, en maskinlæringsekspert som har fulgt laboratoriets reise tett.
I skjæringspunktet mellom 18th og Folsom Streets i San Francisco ser OpenAIs kontor ut som et mystisk lager. Den historiske bygningen har trist grå panel og tonede vinduer, med de fleste nyansene trukket ned. Bokstavene PIONEER BUILDING – restene av sin svunne eier, Pioneer Truck Factory – vikles rundt hjørnet i falmet rød maling.
Innvendig er plassen lys og luftig. Første etasje har noen få fellesrom og to konferanserom. Den ene, en sunn størrelse for større møter, kalles A Space Odyssey; den andre, mer av en glorifisert telefonkiosk, heter Infinite Jest. Dette er plassen jeg er begrenset til under mitt besøk. Jeg er forbudt å besøke andre og tredje etasje, som rommer alles skrivebord, flere roboter og stort sett alt interessant. Når det er tid for intervjuene deres, kommer folk ned til meg. En ansatt trener et våkent øye på meg mellom møtene.
Pionerbygningen. wikimedia commons / tfinc
På den vakre blåhimmeldagen jeg ankommer for å møte Brockman, ser han nervøs og bevoktet ut. Vi har aldri gitt noen så mye tilgang før, sier han med et forsiktig smil. Han har på seg fritidsklær og, som mange på OpenAI, har han en formløs hårklipp som ser ut til å reflektere en effektiv mentalitet uten dikkedarer.
Brockman, 31, vokste opp på en hobbygård i North Dakota og hadde det han beskriver som en fokusert, rolig barndom. Han melket kyr, samlet egg og ble forelsket i matematikk mens han studerte på egenhånd. I 2008 begynte han på Harvard og hadde til hensikt å ta dobbel hovedfag i matematikk og informatikk, men han ble raskt rastløs for å komme inn i den virkelige verden. Han droppet ut et år senere, begynte på MIT i stedet, og droppet deretter ut igjen i løpet av noen måneder. Andre gang var avgjørelsen hans endelig. Når han flyttet til San Francisco, så han seg aldri tilbake.
Brockman tar meg med til lunsj for å fjerne meg fra kontoret under et møte med hele selskapet. I kafeen på andre siden av gaten snakker han om OpenAI med intensitet, oppriktighet og undring, og trekker ofte paralleller mellom oppdraget og landemerkeprestasjoner i vitenskapshistorien. Det er lett å sette pris på karismaen hans som leder. Han forteller minneverdige passasjer fra bøkene han har lest, og ser på dalens favorittfortelling, USAs kappløp til månen. (En historie jeg virkelig elsker er historien om vaktmesteren, sier han og refererer til en berømt, men sannsynligvis apokryfisk historie. Kennedy går bort til ham og spør ham: 'Hva gjør du?' og han sier: 'Å, jeg er hjelpe til med å sette en mann på månen!') Det er også den transkontinentale jernbanen (Det var faktisk det siste megaprosjektet som ble gjort helt for hånd … et prosjekt av enorm skala som var totalt risikabelt) og Thomas Edisons glødelampe (En komité av fremstående eksperter sa ' Det kommer aldri til å fungere,' og ett år senere sendte han).
Greg Brockman, medgründer og CTO. Christie Hemm-klokke
Brockman er klar over sjansen OpenAI har tatt på seg - og klar over at den fremkaller kynisme og gransking. Men med hver referanse er budskapet hans klart: Folk kan være skeptiske alt de vil. Det er prisen for å våge veldig.
De som ble med i OpenAI i de første dagene husker energien, spenningen og følelsen av hensikt. Teamet var lite – dannet gjennom et tett nett av forbindelser – og ledelsen holdt seg løs og uformell. Alle trodde på en flat struktur der ideer og debatt ville være velkommen fra hvem som helst.
Musk spilte ingen liten rolle i å bygge en kollektiv mytologi. Måten han presenterte det for meg var 'Se, jeg skjønner det.' AGI er kanskje langt unna, men hva om det ikke er det?’ minnes Pieter Abbeel, en professor ved UC Berkeley som jobbet der, sammen med flere av studentene sine, de første to årene. «Hva om det til og med bare er 1 % eller 0,1 % sjanse for at det skjer i løpet av de neste fem til 10 årene? Burde vi ikke tenke veldig nøye gjennom det?’ Det fikk jeg med meg, sier han.
Men det uformelle førte også til en viss uklarhet i retningen. I mai 2016 fikk Altman og Brockman besøk av Dario Amodei, den gang en Google-forsker, som fortalte dem at ingen forsto hva de gjorde. På en konto publisert i New Yorker , det var ikke klart laget selv visste det heller. Målet vårt akkurat nå ... er å gjøre det beste som er å gjøre, sa Brockman. Det er litt vagt.
Ikke desto mindre ble Amodei med på laget noen måneder senere. Søsteren hans, Daniela Amodi, hadde tidligere jobbet med Brockman, og han kjente allerede mange av OpenAIs medlemmer. Etter to år, på Brockmans forespørsel, ble Daniela også med. Tenk deg – vi startet med ingenting, sier Brockman. Vi hadde nettopp dette idealet om at vi ønsket at AGI skulle gå bra.
Gjennom lunsjen vår resiterer Brockman charteret som hellig skrift, en forklaring på alle aspekter av selskapets eksistens.
I mars 2017, etter 15 måneder, innså ledelsen at det var på tide med mer fokus. Så Brockman og noen få andre kjernemedlemmer begynte å utarbeide et internt dokument for å legge ut en vei til AGI. Men prosessen avslørte raskt en fatal feil. Da teamet studerte trender innen feltet, skjønte de å være en ideell organisasjon var økonomisk uholdbart. Beregningsressursene som andre i feltet brukte for å oppnå banebrytende resultater, ble doblet hver 3,4 måned . Det ble klart at for å forbli relevante, sier Brockman, ville de trenge nok kapital til å matche eller overgå denne eksponentielle økningen. Det krevde en ny organisasjonsmodell som raskt kunne samle penger – samtidig som den på en eller annen måte også var tro mot oppdraget.
Ukjent for offentligheten – og de fleste ansatte – var det med dette i tankene at OpenAI lanserte sitt charter i april 2018. Dokumentet reartikulerte laboratoriets kjerneverdier, men endret språket subtilt for å gjenspeile den nye virkeligheten. Ved siden av sin forpliktelse til å unngå å muliggjøre bruk av AI eller AGI som skader menneskeheten eller unødvendig konsentrerer makt, understreket den også behovet for ressurser. Vi forventer at vi trenger å samle betydelige ressurser for å oppfylle vårt oppdrag, sa den, men vi vil alltid handle flittig for å minimere interessekonflikter blant våre ansatte og interessenter som kan kompromittere brede fordeler.
Vi brukte lang tid internt på å iterere med ansatte for å få hele selskapet kjøpt inn i et sett med prinsipper, sier Brockman. Ting som måtte forbli uforanderlige selv om vi endret strukturen vår.
Fra venstre til høyre: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (teknisk medarbeider), Greg Brockman, Alec Radford (leder for teknisk språkteam), Christine Payne (teknisk medarbeider), Ilya Sutskever og Chris Berner (leder). av infrastruktur). Christie Hemm Klok
Denne strukturendringen skjedde i mars 2019. OpenAI mistet sin rene nonprofit-status ved å sette opp en begrenset profittarm – en for-profit med en 100 ganger grense på investorenes avkastning, om enn overvåket av et styre som er en del av en ideell enhet. Kort tid etter kunngjorde den Microsofts milliardinvestering (selv om den ikke avslørte at denne var delt mellom kontanter og kreditter til Azure, Microsofts cloud computing-plattform).
Forutsigbart utløste flyttingen en bølge av anklager om at OpenAI skulle tilbake på oppdraget sitt. I et innlegg på Hacker Nyheter like etter kunngjøringen spurte en bruker hvordan en 100-dobbel grense i det hele tatt ville være begrensende: Tidlige investorer i Google har mottatt en omtrent 20 ganger avkastning på kapitalen, skrev de. Veddemålet ditt er at du vil ha en bedriftsstruktur som returnerer størrelsesordener mer enn Google ... men du vil ikke «konsentrere makten utilbørlig»? Hvordan vil dette fungere? Hva er egentlig makt, hvis ikke konsentrasjonen av ressurser?
Flyttingen raste også mange ansatte, som ga uttrykk for lignende bekymringer. For å dempe intern uro, skrev ledelsen opp en FAQ som en del av en serie svært beskyttede overgangsdokumenter. Kan jeg stole på OpenAI? ett spørsmål stilt. Ja, begynte svaret, etterfulgt av et forklaringsavsnitt.
Charteret er ryggraden i OpenAI. Det fungerer som springbrett for alle laboratoriets strategier og handlinger. Gjennom lunsjen vår resiterer Brockman det som hellig skrift, en forklaring på alle aspekter av selskapets eksistens. (Forresten, klargjør han halvveis i en resitasjon, jeg antar at jeg kan alle disse linjene fordi jeg brukte mye tid på å studere dem for å få dem helt riktig. Det er ikke slik at jeg leste dette før møtet.)
Hvordan vil du sikre at mennesker fortsetter å leve meningsfylte liv mens du utvikler mer avanserte evner? Som vi skrev, tror vi at virkningen bør være å gi alle økonomisk frihet, for å la dem finne nye muligheter som ikke er tenkelige i dag. Hvordan vil du strukturere deg selv for å fordele AGI jevnt? Jeg tror et verktøy er den beste analogien for visjonen vi har. Men igjen, det hele er underlagt charteret. Hvordan konkurrerer du om å nå AGI først uten å gå på akkord med sikkerheten? Jeg tror det er absolutt denne viktige balansegangen, og vår beste sjanse til det er det som står i charteret.
9. APRIL 2018 5 MINUTTER LES OpenAI
For Brockman er streng overholdelse av dokumentet det som får OpenAIs struktur til å fungere. Intern tilpasning blir behandlet som det viktigste: alle heltidsansatte er pålagt å jobbe fra samme kontor, med få unntak. For policyteamet, spesielt Jack Clark, direktøren, betyr dette et liv delt mellom San Francisco og Washington, DC. Clark har ikke noe imot – faktisk er han enig i mentaliteten. Det er øyeblikkene i mellom, som lunsjtid med kolleger, sier han, som bidrar til å holde alle på samme side.
På mange måter fungerer denne tilnærmingen tydelig: Selskapet har en imponerende enhetlig kultur. De ansatte jobber lange timer og snakker ustanselig om jobben sin gjennom måltider og sosiale timer; mange går til de samme partiene og abonnerer på den rasjonelle filosofien om effektiv altruisme . De slår vitser ved å bruke maskinlæringsterminologi for å beskrive livene deres: Hva er livet ditt en funksjon av? Hva optimaliserer du for? Alt er i utgangspunktet en minmax-funksjon. For å være rettferdig elsker også andre AI-forskere å gjøre dette, men folk som er kjent med OpenAI er enige: mer enn andre i feltet behandler de ansatte AI-forskning ikke som en jobb, men som en identitet. (I november, Brockman gift kjæresten hans gjennom ett år, Anna, på kontoret mot et bakteppe av blomster arrangert i en OpenAI-logo. Sutskever fungerte som officiant; en robothånd var ringbæreren.)
Men på et tidspunkt i midten av fjoråret ble charteret mer enn bare samtalemat ved lunsjtider. Rett etter byttet til en begrenset fortjeneste, innførte ledelsen en ny lønnsstruktur basert delvis på hver enkelt ansatts absorpsjon av oppdraget. Ved siden av kolonner som ingeniørekspertise og forskningsretning i en regnearkfane med tittelen Unified Technical Ladder, skisserer den siste kolonnen de kulturrelaterte forventningene for hvert nivå. Nivå 3: Du forstår og internaliserer OpenAI-charteret. Nivå 5: Du sikrer at alle prosjekter du og lagkameratene dine jobber med er i samsvar med charteret. Nivå 7: Du er ansvarlig for å opprettholde og forbedre charteret, og holde andre i organisasjonen ansvarlige for å gjøre det samme.
Første gang folk flest hørte om OpenAI var 14. februar 2019. Den dagen var laboratoriet annonsert imponerende ny forskning: en modell som kan generere overbevisende essays og artikler ved å trykke på en knapp. Mate den en setning fra Ringenes herre eller starten på en (falsk) nyhet om Miley Cyrus butikktyveri, og den ville spytte ut avsnitt etter avsnitt med tekst på samme måte.
Men det var også en hake: modellen, kalt GPT-2, var for farlig til å slippe ut, sa forskerne. Hvis så kraftig teknologi falt i feil hender, kan den lett bli våpen til å produsere desinformasjon i enormt omfang.
Tilbakeslaget blant forskere var umiddelbart. OpenAI gjennomførte et reklamestunt, sa noen. GPT-2 var ikke på langt nær avansert nok til å være en trussel. Og hvis det var det, hvorfor kunngjøre dens eksistens og deretter utelukke offentlig gransking? Det virket som OpenAI prøvde å utnytte panikken rundt AI, sier Britt Paris, en assisterende professor ved Rutgers University som studerer AI-generert desinformasjon.
Jack Clark, policy-direktør. Christie Hemm-klokke
I mai hadde OpenAI revidert sin holdning og kunngjort planer for en etappevis utgivelse. I løpet av de påfølgende månedene dro den suksessivt ut flere og kraftigere versjoner av GPT-2. I mellomtiden har den også engasjert seg med flere forskningsorganisasjoner for å granske algoritmens potensiale for misbruk og utvikle mottiltak. Til slutt ga den ut hele koden i november, etter å ha funnet, det sto , ingen sterke bevis for misbruk så langt.
Midt i fortsatt anklager om publisitetssøking insisterte OpenAI på at GPT-2 ikke hadde vært et stunt. Det var snarere et nøye gjennomtenkt eksperiment, enighet om etter en rekke interne diskusjoner og debatter. Konsensus var at selv om det hadde vært litt overkill denne gangen, ville handlingen danne presedens for å håndtere farligere forskning. Dessuten hadde charteret spådd at sikkerhets- og sikkerhetshensyn gradvis ville tvinge laboratoriet til å redusere vår tradisjonelle publisering i fremtiden.
Dette var også argumentet som policyteamet nøye la fram i sin seks måneders oppfølgingsblogginnlegg , som de diskuterte da jeg satt på et møte. Jeg tror det definitivt er en del av suksesshistorien, sa Miles Brundage, en policyforsker, og fremhevet noe i et Google-dokument. Ledelsen for denne delen bør være: Vi gjorde en ambisiøs ting, nå gjenskaper noen mennesker det, og her er noen grunner til at det var fordelaktig.
Men OpenAIs mediekampanje med GPT-2 fulgte også et veletablert mønster som har gjort det bredere AI-samfunnet skeptisk. Gjennom årene har laboratoriets store, sprudlende forskningskunngjøringer gjentatte ganger blitt beskyldt for å fremme AI-hype-syklusen. Mer enn én gang har kritikere også anklaget laboratoriet for å snakke opp resultatene til det punktet av feilkarakterisering. Av disse grunnene har mange i feltet hatt en tendens til å holde OpenAI på en armlengdes avstand.
Forsidebilder av OpenAIs forskningsutgivelser henger på kontorveggen. Christie Hemm Klok
Dette har ikke stoppet laboratoriet fra å fortsette å øse ressurser inn i sitt offentlige image. I tillegg til forskningsartikler publiserer den sine resultater i høyt produserte blogginnlegg for bedrifter som den gjør alt internt for, fra skriving til multimediaproduksjon til utforming av forsidebildene for hver utgivelse. På et tidspunkt begynte den også å utvikle en dokumentar om et av prosjektene sine for å konkurrere en 90-minutters film om DeepMinds AlphaGo . Det snurret til slutt innsatsen ut til en uavhengig produksjon, som Brockman og hans kone, Anna, nå delvis finansierer. (Jeg gikk også med på å vises i dokumentaren for å gi teknisk forklaring og kontekst til OpenAIs prestasjon. Jeg ble ikke kompensert for dette.)
Og ettersom tilbakeslaget har økt, har også interne diskusjoner for å ta det opp. Ansatte har blitt frustrerte over den konstante kritikken utenfor, og ledelsen bekymrer seg for at det vil undergrave laboratoriets innflytelse og evne til å ansette de beste talentene. Et internt dokument fremhever dette problemet og en oppsøkende strategi for å takle det: For å ha politisk innflytelse på regjeringsnivå, må vi bli sett på som den mest pålitelige kilden på ML [maskinlæring]-forskning og AGI, heter det i en linje under policyen. seksjon. Bred støtte og støtte fra forskningsmiljøet er ikke bare nødvendig for å få et slikt rykte, men vil forsterke budskapet vårt. En annen, under Strategi, lyder: 'Behandle ML-fellesskapet eksplisitt som en kommunikasjonsinteressenter. Endre vår tone og eksterne meldinger slik at vi bare motvirker dem når vi med vilje velger det.'
Det var en annen grunn til at GPT-2 hadde utløst et så akutt tilbakeslag. Folk følte at OpenAI igjen gikk tilbake til sine tidligere løfter om åpenhet og transparens. Med nyheter om profittovergangen en måned senere, gjorde den tilbakeholdte forskningen folk enda mer mistenksomme. Kan det være at teknologien har blitt holdt skjult som forberedelse til å lisensiere den i fremtiden?
Ilya Sutskever, medgründer og sjefsforsker. Christie Hemm Klok
Men lite visste folk at dette ikke var den eneste gangen OpenAI hadde valgt å skjule sin forskning. Faktisk hadde den holdt en annen innsats helt hemmelig.
Det er to rådende tekniske teorier om hva som skal til for å nå AGI. I en, alle nødvendige teknikker finnes allerede; det er bare et spørsmål om å finne ut hvordan du skalerer og monterer dem. I den andre må det være et helt nytt paradigme; dyp læring, den nåværende dominerende teknikken i AI, vil ikke være nok.
De fleste forskere faller et sted mellom disse ytterpunktene, men OpenAI har konsekvent sittet nesten utelukkende på skala-og-monterings-enden av spekteret. De fleste av dens gjennombrudd har vært produktet av å senke dramatisk større beregningsressurser inn i tekniske innovasjoner utviklet i andre laboratorier.
Brockman og Sutskever benekter at dette er deres eneste strategi, men laboratoriets strengt bevoktede forskning tyder på noe annet. Et team kalt Foresight kjører eksperimenter for å teste hvor langt de kan presse AI-evner fremover ved å trene eksisterende algoritmer med stadig større mengder data og datakraft. For ledelsen har resultatene av disse eksperimentene bekreftet dets instinkter om at laboratoriets alt-i-datastyrte strategi er den beste tilnærmingen.
I omtrent seks måneder ble disse resultatene skjult for offentligheten fordi OpenAI ser på denne kunnskapen som sitt primære konkurransefortrinn. Ansatte og praktikanter ble eksplisitt instruert om ikke å avsløre dem, og de som sluttet signerte taushetserklæringer. Det var først i januar at laget, uten vanlig fanfare, stille postet et papir på en av de primære åpen kildekodedatabasene for AI-forskning. Folk som opplevde det intense hemmeligholdet rundt innsatsen visste ikke hva de skulle gjøre med denne endringen. Spesielt, et annet papir med lignende resultater fra forskjellige forskere hadde blitt lagt ut noen måneder tidligere.
Christie Der Klok
I begynnelsen var dette nivået av hemmelighold aldri intensjonen, men det har siden blitt vanlig. Over tid har ledelsen beveget seg bort fra sin opprinnelige tro på at åpenhet er den beste måten å bygge gunstig AGI på. Nå er viktigheten av å tie imponert på de som jobber med eller på laben. Dette inkluderer aldri å snakke med journalister uten uttrykkelig tillatelse fra kommunikasjonsteamet. Etter mine første besøk på kontoret, da jeg begynte å kontakte forskjellige ansatte, mottok jeg en e-post fra kommunikasjonssjefen som minnet meg på at alle intervjuforespørsler måtte gå gjennom henne. Da jeg avslo, og sa at dette ville undergrave gyldigheten av det folk fortalte meg, instruerte hun ansatte om å holde henne informert om min oppsøking. En Slack-melding fra Clark, en tidligere journalist, berømmet senere folk for å holde et tett lokk mens en reporter snuste rundt.
I en uttalelse som reagerer på dette økte hemmeligholdet, refererte en talsperson for OpenAI tilbake til en del av charteret. Vi forventer at sikkerhets- og sikkerhetshensyn vil redusere vår tradisjonelle publisering i fremtiden, heter det i avsnittet, samtidig som det øker viktigheten av å dele sikkerhet, policy og standardforskning. Talsmannen la også til: I tillegg kjøres hver av våre utgivelser gjennom en infohazard-prosess for å evaluere disse avveiningene, og vi ønsker å frigi resultatene våre sakte for å forstå potensielle risikoer og påvirkninger før vi går løs i naturen.
En av de største hemmelighetene er prosjektet OpenAI jobber med neste gang. Kilder beskrev det for meg som kulminasjonen av de fire foregående årene med forskning: et AI-system trent på bilder, tekst og andre data ved å bruke enorme beregningsressurser. Et lite team har blitt tildelt den innledende innsatsen, med en forventning om at andre team, sammen med arbeidet deres, til slutt vil legge seg inn. Den dagen det ble annonsert på et møte for alle bedrifter, fikk ikke praktikanter delta. Folk som er kjent med planen gir en forklaring: Ledelsen mener dette er den mest lovende måten å nå AGI.
Mannen som driver OpenAIs strategi er Dario Amodei, eks-Googleren som nå fungerer som forskningsdirektør. Når jeg møter ham, virker han som en mer engstelig versjon av Brockman. Han har en lignende oppriktighet og følsomhet, men en luft av urolig nervøs energi. Han ser fjern ut når han snakker, brynene rynket, en hånd som fraværende drar i krøllene.
Amodei deler laboratoriets strategi i to deler. Den første delen, som dikterer hvordan den planlegger å nå avanserte AI-evner, sammenligner han med en investors portefølje av spill. Ulike lag på OpenAI spiller ut forskjellige spill. Språkteamet, for eksempel, har pengene sine på en teori som postulerer at AI kan utvikle en betydelig forståelse av verden gjennom ren språklæring. Robotikkteamet, derimot, fremmer en motsatt teori om at intelligens krever en fysisk legemliggjøring for å utvikle seg.
Som i en investors portefølje, har ikke alle spill like stor vekt. Men av hensyn til vitenskapelig strenghet, bør alle testes før de kastes. Amodi peker på GPT-2, med sine bemerkelsesverdig realistiske autogenererte tekster, som et eksempel på hvorfor det er viktig å ha et åpent sinn. Rent språk er en retning som feltet og til og med noen av oss var noe skeptiske til, sier han. Men nå er det sånn «Wow, dette er virkelig lovende».
Over tid, ettersom forskjellige spill hever seg over andre, vil de tiltrekke seg mer intens innsats. Da vil de kryssbestøve og kombinere. Målet er å ha færre og færre lag som til slutt kollapser i en enkelt teknisk retning for AGI. Dette er den nøyaktige prosessen som OpenAIs siste topphemmelige prosjekt visstnok allerede har startet.
Dario Amodi, forskningsdirektør. Christie Hemm-klokke
Den andre delen av strategien, forklarer Amodei, fokuserer på hvordan man kan gjøre slike stadig avanserte AI-systemer trygge. Dette inkluderer å sørge for at de reflekterer menneskelige verdier, kan forklare logikken bak beslutningene deres, og kan lære uten å skade mennesker i prosessen. Team dedikert til hvert av disse sikkerhetsmålene søker å utvikle metoder som kan brukes på tvers av prosjekter etter hvert som de modnes. Teknikker utviklet av forklaringsteamet kan for eksempel brukes til å avsløre logikken bak GPT-2s setningskonstruksjoner eller en robots bevegelser.
Amodei innrømmer at denne delen av strategien er noe tilfeldig, bygget mindre på etablerte teorier på feltet og mer på magefølelse. På et tidspunkt skal vi bygge AGI, og innen den tid vil jeg føle meg bra med disse systemene som opererer i verden, sier han. Alt der jeg ikke føler meg bra for øyeblikket, oppretter og rekrutterer jeg et team for å fokusere på den tingen.
På tross av all publisitetsjaging og hemmelighold, ser Amodei oppriktig ut når han sier dette. Muligheten for å mislykkes ser ut til å forstyrre ham.
Vi er i den vanskelige posisjonen: vi vet ikke hvordan AGI ser ut, sier han. Vi vet ikke når det kommer til å skje. Så, med forsiktig selvbevissthet, legger han til: Sinnet til enhver gitt person er begrenset. Det beste jeg har funnet er å ansette andre sikkerhetsforskere som ofte har visjoner som er annerledes enn det naturlige jeg kanskje har tenkt på. Jeg vil ha den typen variasjon og mangfold fordi det er den eneste måten du fanger alt på.
Saken er at OpenAI faktisk har liten variasjon og mangfold – et faktum som kom inn på min tredje dag på kontoret. Under den ene lunsjen jeg ble innvilget til å mingle med ansatte, satte jeg meg ved det mest synlig mangfoldige bordet med stor margin. Mindre enn et minutt senere innså jeg at de som spiste der, faktisk ikke var OpenAI-ansatte. Neuralink, Musks oppstart som jobber med datamaskin-hjerne-grensesnitt, deler samme bygning og spisestue.
Daniela Amodei, leder for folkoperasjoner. Christie Hemm Klok
Ifølge en talsperson for laboratoriet, av de over 120 ansatte, er 25% kvinner eller ikke-binære. Det er også to kvinner i ledergruppen, og ledergruppen er 30 % kvinner, sa hun, selv om hun ikke spesifiserte hvem som ble regnet med blant disse lagene. (Alle fire C-suite-ledere, inkludert Brockman og Altman, er hvite menn. Av over 112 ansatte jeg identifiserte på LinkedIn og andre kilder, var det overveldende antallet hvite eller asiatiske.)
I rettferdighet er denne mangelen på mangfold typisk i AI. I fjor a rapportere fra det New York-baserte forskningsinstituttet AI Now fant ut at kvinner utgjorde kun 18 % av forfatterne ved ledende AI-konferanser, 20 % av AI-professoratene og henholdsvis 15 % og 10 % av forskningsansatte ved Facebook og Google. Det er definitivt fortsatt mye arbeid å gjøre på tvers av akademia og industri, sa OpenAIs talsperson. Mangfold og inkludering er noe vi tar på alvor og jobber kontinuerlig med å forbedre ved å jobbe med initiativer som WiML, Girl Geek og vårt Scholars-program.
Faktisk har OpenAI forsøkt å utvide talentmassen. Den startet sitt eksterne Scholars-program for underrepresenterte minoriteter i 2018. Men bare to av de første åtte lærde ble heltidsansatte, selv om de rapporterte om positive erfaringer. Den vanligste årsaken til å nekte å bli: kravet om å bo i San Francisco. For Nadja Rhodes, en tidligere stipendiat som nå er den ledende maskinlæringsingeniøren ved et New York-basert selskap, hadde byen rett og slett for lite mangfold.
Men hvis mangfold er et problem for AI-industrien generelt, er det noe mer eksistensielt for et selskap som har som mål å spre teknologien jevnt til alle. Faktum er at det mangler representasjon fra gruppene som har størst risiko for å bli utelatt.
Det er heller ikke helt klart bare hvordan OpenAI planlegger å distribuere fordelene med AGI til hele menneskeheten, som Brockman ofte sier når han siterer sitt oppdrag. Ledelsen snakker om dette i vage ordelag og har gjort lite for å konkretisere detaljene. (I januar, Future of Humanity Institute ved Oxford University gitt ut en rapport i samarbeid med laboratoriet foreslår å fordele fordeler ved å dele ut en prosentandel av overskuddet. Men forfatterne siterte betydelige uløste problemer angående … måten det ville bli implementert på.) Dette er mitt største problem med OpenAI, sier en tidligere ansatt, som uttalte seg på betingelse av anonymitet.
Christie Der Klok
De bruker sofistikert teknisk praksis for å prøve å svare på sosiale problemer med AI, ekko Britt Paris fra Rutgers. Det virker som om de egentlig ikke har evnene til å faktisk forstå det sosiale. De forstår bare at det er et slags lukrativt sted å posisjonere seg akkurat nå.
Brockman er enig i at både teknisk og sosial ekspertise til syvende og sist vil være nødvendig for at OpenAI skal oppnå sitt oppdrag. Men han er uenig i at de sosiale spørsmålene må løses helt fra starten. Hvordan baker du etikk inn, eller disse andre perspektivene? Og når tar du dem inn, og hvordan? En strategi man kan satse på er å helt fra starten prøve å bake inn alt man måtte trenge, sier han. Jeg gjør ikke synes at at strategien sannsynligvis vil lykkes.
Det første man må finne ut, sier han, er hvordan AGI til og med vil se ut. Først da vil det være på tide å forsikre seg om at vi forstår konsekvensene.
I fjor sommer, i ukene etter overgangen til en modell med begrenset fortjeneste og tilskuddet på 1 milliard dollar fra Microsoft, forsikret ledelsen ansatte om at disse oppdateringene ikke ville endre OpenAIs tilnærming til forskning. Microsoft var godt på linje med laboratoriets verdier, og enhver kommersialiseringstiltak ville være langt unna; forfølgelsen av grunnleggende spørsmål vil fortsatt forbli i kjernen av arbeidet.
En stund så det ut til at disse forsikringene holdt seg, og prosjektene fortsatte som de var. Mange ansatte visste ikke engang hvilke løfter, om noen, hadde blitt gitt til Microsoft.
Men de siste månedene har presset fra kommersialiseringen tiltatt, og behovet for å produsere pengebringende forskning føles ikke lenger som noe i en fjern fremtid. Når han deler sin visjon for laboratoriet for 2020 privat med ansatte, er Altmans budskap klart: OpenAI må tjene penger for å forske – ikke omvendt.
Dette er en vanskelig, men nødvendig avveining, har ledelsen sagt - en den måtte gjøre på grunn av mangel på velstående filantropiske givere. Derimot mottar Seattle-baserte AI2, en ideell organisasjon som ambisiøst fremmer grunnleggende AI-forskning, sine midler fra en selvopprettholdende (i hvert fall i overskuelig fremtid) pengepool etterlatt av avdøde Paul Allen, en milliardær som er mest kjent for å være medstifter. Microsoft.
Men sannheten er at OpenAI står overfor denne avveiningen, ikke bare fordi den ikke er rik, men også fordi den tok det strategiske valget å prøve å nå AGI før noen andre. Det presset tvinger den til å ta avgjørelser som ser ut til å lande lenger og lenger unna den opprinnelige intensjonen. Den lener seg inn i hype i hastverket for å tiltrekke finansiering og talent, vokter forskningen i håp om å holde overtaket, og jager en beregningstung strategi – ikke fordi den blir sett på som den eneste veien til AGI, men fordi den virker som den raskeste .
Likevel er OpenAI fortsatt en bastion av talent og banebrytende forskning, fylt med mennesker som oppriktig streber etter å jobbe til fordel for menneskeheten. Med andre ord har den fortsatt de viktigste elementene, og det er fortsatt tid til å endre seg.
Nær slutten av intervjuet mitt med Rhodes, den tidligere fjernforskeren, spør jeg henne om en ting om OpenAI som jeg ikke bør utelate fra denne profilen. Jeg antar at det etter min mening er problemer, begynner hun nølende. Noen av dem kommer kanskje fra miljøet den står overfor; noen av dem kommer fra den typen mennesker som den har en tendens til å tiltrekke seg og andre mennesker som den utelater.
Men for meg føles det som om de gjør noe litt riktig, sier hun. Jeg fikk en følelse av at folkene der prøver oppriktig.
Oppdater: Vi gjorde noen endringer i denne historien etter at OpenAI ba oss om å avklare at da Greg Brockman sa at han ikke trodde det var mulig å bake etikk inn... helt fra begynnelsen da han utviklet AI, mente han at det skulle bety at etiske spørsmål ikke kunne løses fra begynnelsen, ikke at de ikke kunne løses fra begynnelsen. Også at han etter å ha droppet ut av Harvard overførte rett til MIT i stedet for å vente et år. Også at han ikke vokste opp på en gård, men 'på en hobbygård.' Brockman anser dette skillet som viktig.
I tillegg har vi klargjort at selv om OpenAI faktisk «frafalt sin nonprofit-status», fører et styre som er en del av en ideell enhet fortsatt tilsyn med den, og at OpenAI publiserer forskningen sin i form av bedriftsblogginnlegg samt, ikke i i stedet for forskningsartikler. Vi har også korrigert datoen for publisering av en artikkel fra eksterne forskere og tilknytningen til Peter Eckersley (tidligere, ikke nåværende, forskningsdirektør for Partnership on AI, som han nylig forlot).