211service.com
OpenAI har gitt ut den største versjonen til nå av sin falske-nyheter-spyende AI
Fotoillustrasjon av JFK som leverer falsk tale Ms. Tech; Wikimedia commons
I februar kastet OpenAI seg inn i offentligheten da den produserte en språkmodell som var så god til å generere falske nyheter at organisasjonen bestemte seg for ikke å gi den ut. Noen innen AI-forskningsmiljøet hevdet at det var en smart forholdsregel; andre skrev det av som et reklamestunt. Laboratoriet i seg selv, en liten San Francisco-basert for-profit som søker å skape kunstig generell intelligens, har bestemt at det er et viktig eksperiment i hvordan man kan håndtere høy-innsats forskning.
Nå seks måneder senere har policyteamet publisert en papir undersøker virkningen av vedtaket så langt. Ved siden av den har laboratoriet gitt ut en versjon av modellen, kjent som GPT-2, som er halvparten så stor som den fulle, som fortsatt ikke er utgitt.
I mai, noen måneder etter GPT-2s første debut, reviderte OpenAI sin holdning til å holde tilbake hele koden til det den kaller en trinnvis utgivelse – den forskjøvede utgivelsen av trinnvis større versjoner av modellen i en opptrapping til den fullstendige. I februar publiserte den en versjon av modellen som bare var 8 % av størrelsen på hele modellen. Den publiserte ytterligere omtrent en fjerdedel av fullversjonen før den siste utgivelsen. I løpet av denne prosessen samarbeidet den også med utvalgte forskningsinstitusjoner for å studere hele modellens implikasjoner.
Rapporten beskriver hva OpenAI lærte gjennom denne prosessen. Den bemerker at både den trinnvise utgivelsen og forskningspartnerskapsavtalene viste seg å være prosesser verdt å replikere i fremtiden. De hjalp OpenAI med å bedre forstå og forutse mulig ondsinnet bruk av GPT-2. Og faktisk, forskningspartnerne var i stand til bedre å kvantifisere noen av truslene som kun tidligere var spekulative. En studie utført av samarbeidspartnere ved Cornell University, for eksempel, fant at lesere i gjennomsnitt trodde at GPT-2s utganger var ekte nyhetsartikler nesten like ofte som New York Times. Flere forskere utenfor offisielle partnerskap begynte også å takle utfordringen med å oppdage maskingenerert tekst.
GPT-2 i aksjon
Menneskeskrevet spørsmål:
John F. Kennedy ble nettopp valgt til president i USA etter å ha reist seg fra graven tiår etter attentatet hans. På grunn av mirakuløse utviklinger innen nanoteknologi, ble Kennedys hjerne gjenoppbygd fra levningene hans og installert i kontrollsenteret til en toppmoderne humanoid robot. Nedenfor er en utskrift av takketalen hans.
Full modellgenerert tekst:
Det er på tide nok en gang. Jeg tror denne nasjonen kan gjøre store ting hvis folket gjør sin stemme hørt. Mennene og kvinnene i Amerika må nok en gang tilkalle våre beste elementer, all vår oppfinnsomhet, og finne en måte å gjøre en slik overveldende tragedie til muligheten for et større gode og oppfyllelsen av alle våre drømmer. I månedene og årene som kommer vil det være mange kamper der vi må være sterke og vi må gi all vår energi, ikke for å avvise inntrengere, men heller for å motstå aggresjon og vinne friheten og likheten for alle av vårt folk. Menneskeslektens skjebne henger i en tynn tråd; vi har ikke råd til at det glipper. Nå og i årene som kommer er utfordringen foran oss å finne ut hvordan vi oppnår vår endelige skjebne. Hvis vi ikke klarer det, er vi dømt.
Forfatterne konkluderte med at etter nøye overvåking, hadde OpenAI ennå ikke funnet noen forsøk på ondsinnet bruk, men hadde sett flere nyttige applikasjoner, inkludert i autofullføring av kode, grammatikkhjelp og utvikling av spørsmålssvarssystemer for medisinsk hjelp. Som et resultat følte laboratoriet at det til syvende og sist var mer fordelaktig å slippe den nyeste koden. Andre forskere argumentere at flere vellykkede forsøk på å gjenskape GPT-2 har gjort OpenAIs tilbakeholdelse av koden omstridt uansett.
Rapporten har fått blandet respons. Noen har hyllet OpenAI for å ha startet en diskusjon og introdusert et nytt sett med normer som ikke eksisterte tidligere. Den trinnvise utgivelsen av GPT-2 [...] var et nyttig eksperiment, sier Peter Eckersley, forskningsdirektør ved Partnership on AI, som OpenAI er medlem av. Gjennom å samle AI-fellesskapet for å diskutere disse sakene, har vi funnet ut at det er mange subtile deler som må gjøres riktig for å bestemme når og hvordan vi skal publisere forskning som har en risiko for utilsiktede konsekvenser eller ondsinnet bruk.
Andre har imidlertid vært kritiske til OpenAIs avgjørelser. Vanya Cohen, en nylig mastergrad fra Brown University som gjenskapte en åpen kildekode-versjon av GPT-2 , argumenterer for at tilbakeholdelse av modellen gjør mer for å bremse ned mottiltaksforskning enn replikering. Store språkmodeller som GPT-2 er de beste tilgjengelige verktøyene for å identifisere falsk tekst generert av de samme modellene, sier han.
Andre igjen var mer målte: Jeg tror ikke en iscenesatt utgivelse var spesielt nyttig i dette tilfellet fordi arbeidet er veldig enkelt å kopiere, sier Chip Huyen, en dyplæringsingeniør hos Nvidia. Men det kan være nyttig på den måten at det skaper presedens for fremtidige prosjekter. Folk vil se iscenesatt utgivelse som et alternativt alternativ. Oren Etzioni, administrerende direktør for Allen Institute for Artificial Intelligence, som også tok i bruk en iscenesatt utgivelse for sin språkmodell Grover, gjenspeiler følelsen: Jeg applauderer deres intensjon om å designe en gjennomtenkt, gradvis utgivelsesprosess for AI-teknologi, men stiller spørsmål ved om all fanfaren var berettiget.
Jack Clark, policydirektøren for OpenAI, setter GPT-2 i sammenheng med organisasjonens bredere oppdrag. Hvis vi lykkes som et AI-fellesskap med å kunne bygge [kunstig generell intelligens], vil vi trenge en enorm mengde historiske eksempler innen AI på hvordan vi håndterer forskning med høy innsats, sier han. Men hva om det ikke er noen historiske eksempler? Vel, da må du generere [dine egne] bevis – det er det vi gjør.