Språkmodeller som GPT-3 kan varsle en ny type søkemotor

Pixabay

I 1998 publiserte et par Stanford-studenter en artikkel som beskrev en ny type søkemotor : I denne artikkelen presenterer vi Google, en prototype av en storstilt søkemotor som gjør mye bruk av strukturen i hypertekst. Google er utviklet for å gjennomsøke og indeksere nettet effektivt og produsere mye mer tilfredsstillende søkeresultater enn eksisterende systemer.

Relatert historie

Denne know-it-all AI lærer ved å lese hele nettet uten stans Diffbot bygger den største kunnskapsgrafen noensinne ved å bruke bildegjenkjenning og naturlig språkbehandling på milliarder av nettsider.

Nøkkelinnovasjonen var en algoritme kalt PageRank, som rangerte søkeresultatene ved å beregne hvor relevante de var for en brukers søk på grunnlag av lenkene deres til andre sider på nettet. På baksiden av PageRank ble Google inngangsporten til internett, og Sergey Brin og Larry Page bygde et av de største selskapene i verden.

Nå har et team av Google-forskere publisert et forslag til en radikal redesign som kaster ut rangeringstilnærmingen og erstatter den med en enkelt stor AI-språkmodell – en fremtidig versjon av BERT eller GPT-3 . Tanken er at i stedet for å søke etter informasjon i en enorm liste med nettsider, vil brukere stille spørsmål og få en språkmodell trent på disse sidene til å svare direkte på dem. Tilnærmingen kan endre ikke bare hvordan søkemotorer fungerer, men hvordan vi samhandler med dem.

Mange problemer med eksisterende språkmodeller må fikses først. Til å begynne med kan disse AI-ene noen ganger generere partiske og giftige svar på spørsmål – et problem som forskere ved Google og andre steder har påpekt .

Tenker PageRank på nytt

Søkemotorer har blitt raskere og mer nøyaktige, selv ettersom nettet har eksplodert i størrelse. AI brukes nå til å rangere resultater, og Google bruker BERT for å forstå søk bedre. Men under disse justeringene fungerer fortsatt alle vanlige søkemotorer på samme måte som de gjorde for 20 år siden: nettsider indekseres av crawlere (programvare som leser nettet uavbrutt og opprettholder en liste over alt det finner), resultater som samsvarer med en brukers søk, er hentet fra denne indeksen, og resultatene er rangert.

Denne indekshente-og-rangerings-planen har motstått tidens tann og har sjelden blitt utfordret eller seriøst tenkt på nytt, skriver Donald Metzler og kollegene hans ved Google Research. (Metzler avslo en forespørsel om å kommentere.)

Problemet er at selv de beste søkemotorene i dag fortsatt svarer med en liste over dokumenter som inneholder informasjonen som er bedt om, ikke med selve informasjonen. Søkemotorer er heller ikke flinke til å svare på spørsmål som krever svar hentet fra flere kilder. Det er som om du spurte legen din om råd og fikk en liste over artikler å lese i stedet for et rett svar.

Metzler og kollegene hans er interessert i en søkemotor som oppfører seg som en menneskelig ekspert. Den bør produsere svar på naturlig språk, syntetisert fra mer enn ett dokument, og sikkerhetskopiere svarene med referanser til støttende bevis, slik Wikipedia-artikler har som mål å gjøre.

Relatert historie

Hvorfor GPT-3 er den beste og verste AI akkurat nå

Open AIs språk AI imponerte publikum med sin tilsynelatende mestring av engelsk – men er det hele en illusjon?

Store språkmodeller tar oss en del av veien dit. Opplært på det meste av nettet og hundrevis av bøker, henter GPT-3 informasjon fra flere kilder for å svare på spørsmål på naturlig språk. Problemet er at den ikke holder styr på disse kildene og kan ikke gi bevis for svarene sine. Det er ingen måte å si om GPT-3 etterlyser pålitelig informasjon eller desinformasjon – eller bare spyr ut tull av egen produksjon.

Metzler og kollegene hans kaller språkmodeller for dilettanter - De oppfattes å vite mye, men kunnskapen deres er dyp. Løsningen, hevder de, er å bygge og trene fremtidige BERT-er og GPT-3-er for å holde oversikt over hvor ordene deres kommer fra. Ingen slike modeller er ennå i stand til å gjøre dette, men det er i prinsippet mulig, og det jobbes tidlig i den retningen.

Det har vært flere tiår med fremgang på ulike områder av søk, fra å svare på spørsmål til å oppsummere dokumenter til å strukturere informasjon, sier Ziqi Zhang ved University of Sheffield, Storbritannia, som studerer informasjonsinnhenting på nettet. Men ingen av disse teknologiene reviderte søket fordi de adresserer spesifikke problemer og ikke er generaliserbare. Det spennende premisset i denne oppgaven er at store språkmodeller er i stand til å gjøre alle disse tingene samtidig, sier han.

Likevel bemerker Zhang at språkmodeller ikke fungerer godt med tekniske eller spesialiserte emner fordi det er færre eksempler i teksten de er trent på. Det er trolig hundrevis av ganger mer data om e-handel på nettet enn data om kvantemekanikk, sier han. Språkmodeller i dag er også skjevt mot engelsk, noe som vil etterlate ikke-engelske deler av nettet underservert.

Hanna Hajishirzi, som studerer naturlig språkbehandling ved University of Washington, hilser ideen velkommen, men advarer om at det vil være problemer i praksis. 'Jeg tror store språkmodeller er veldig viktige og potensielt fremtiden for søkemotorer, men de krever store minne- og beregningsressurser,' sier hun. 'Jeg tror ikke de ville erstatte indeksering.'

Likevel er Zhang begeistret over mulighetene. Dette har ikke vært mulig tidligere, fordi store språkmodeller først tok fart nylig, sier han. Hvis det fungerer, vil det forandre søkeopplevelsen vår.

Oppdatering: vi har endret teksten for å tydeligere representere problemene med eksisterende store språkmodeller.

gjemme seg