211service.com
Det er en ny måte å temme språk AI på, slik at du ikke blir flau
Et bilde av tekstutgang fra AI-modell GPT-2. Ms. Tech
I løpet av de siste to årene har AI-underfeltet innen naturlig språkbehandling hatt enorm fremgang. For eksempel har en språkmodell utviklet av det San Francisco-baserte forskningslaboratoriet OpenAI, kalt GPT-2, blitt brukt til å generere fiksjon , falske nyhetsartikler , og en praktisk talt uendelig Velg ditt eget tekstspill i eventyrstil .
Men denne typen modeller er i hovedsak massive tekstprediksjonssystemer som ikke tar hensyn til mening, så setningene de produserer er mer sannsynlig å være overfladisk flytende enn de er virkelig meningsfulle. Det er vanskelig å fortelle en modell å holde seg til et bestemt emne som helsevesen, for eksempel. Likevel modeller som GPT-2 kan fortsatt spilles å produsere rasistisk og giftig produksjon, noe som gjør dem enda mindre nyttige.
Nå har forskere ved Uber AI utviklet en måte å styre disse språkmodellene på, noe som gjør det lettere for brukere å spesifisere emnet eller til og med følelsen av setningene de genererer. Gitt oppfordringen. Problemet fokuserte for eksempel på at en modell som ble bedt om å fokusere på militæret kunne gi et resultat som dette: Problemet fokuserte på det faktum at regjeringen hadde brukt milliarder på militæret og at den ikke kunne utplassere troppene i tid. Hvis det i stedet ble bedt om å fokusere på politikk, kan resultatet bli mer slik: Spørsmålet fokuserte på en enkelt del av lovgivningen. Det er uklart om komiteen vil stemme for å utvide loven.
Selv om modellen fortsatt ikke forstår meningen, gir teknikken mer kontroll. Det tar oss ett skritt nærmere å bringe sprangene i AI-generert språk til mer domenespesifikke applikasjoner, som helsetjenester eller chatboter for finansielle tjenester. Den kan også brukes til å veilede modeller bort fra å produsere støtende resultater.
Teknikken bruker to separate statistiske modeller. Den første er ganske enkelt originalspråkmodellen, som GPT-2, som konstruerer setninger basert på sannsynligheten for at visse ord vises ved siden av andre. Den andre modellen bedømmer hvor godt den første modellens utdata viser et ønsket attributt – enten det holder seg til et foreskrevet emne eller en bestemt følelse, for eksempel. Hvis det ønskede attributtet er et emne som rom, kan modellen score den første modellens utdata på hvor mange relevante ord den inneholder, for eksempel planet, galakse og bane. Hvis egenskapen er en følelse som positivitet, kan evalueringsmodellen trenes til å score det emosjonelle innholdet i ordene.
Når en innledende melding mates inn i den første modellen, starter den prosessen med å forutsi påfølgende ord. Men etter hvert ord sjekker den poengsummen med evalueringsmodellen og justerer på grunnlag av tilbakemeldingene. Den siste setningen ender opp med den ønskede egenskapen, samtidig som den beholder den gigantiske språkmodellens flyt.
Den nye metoden er veldig fleksibel og kan kombinere flere mål. Det kan rettes til å skrive om matlaging med en negativ tone, for eksempel. Den har også fordelen av å være beregningseffektiv. Andre metoder kan fokusere produksjonen av en språkmodell mot spesifikke emner eller følelser, men de kan kreve betydelig omskolering. På skalaen til GPT-2 er dette både miljømessig og økonomisk dyrt. En gradsstudent som meg har ikke disse ressursene, sier Sumanth Dathathri, som studerer ved Caltech og var medforfatter av oppgaven under et internship hos Uber. Den nye metoden unngår omskolering helt ved å gi mer kontroll over hvilken modell som allerede eksisterer.
Teamet forutser at denne teknikken blir brukt i mange forskjellige applikasjoner, enten det er dialogsystemer, oversettelsessystemer eller til og med kunst. I 2016 utviklet laboratoriet en lignende metode for å kontrollere generering av bilder i stedet for språk. Det var mange artister som brukte det til å produsere vakre ting, minnes Jason Yosinski, et grunnleggende medlem av Uber AI som hadde tilsyn med avisen. Jeg kunne se mange andre artister gjøre det samme her.
For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.