AI bevæpnet med flere sanser kan få mer fleksibel intelligens

Menneskelig intelligens kommer fra vår kombinasjon av sanser og språklige evner. Kanskje det samme gjelder for kunstig intelligens.





multimodal AI singel

Selman Design

24. februar 2021

  • Hvorfor det er viktig:

    AI som kan sanse og snakke vil bli mye bedre til å navigere i nye utfordringer og jobbe sammen med mennesker.


  • Nøkkelspillere:

    • OpenAI



    • AI2

    • Facebook


  • Tilgjengelighet:



På slutten av 2012 fant AI-forskere først ut hvordan de skulle få nevrale nettverk å se. De beviste at programvare utviklet for å løst etterligne den menneskelige hjernen dramatisk kunne forbedre eksisterende datasynssystemer. Feltet har siden lært hvordan man får nevrale nettverk til å imitere måten vi resonnere, høre, snakke og skrive .

Men selv om AI har vokst seg bemerkelsesverdig menneskelignende – til og med overmenneskelig – ved å oppnå en spesifikk oppgave, fanger den fortsatt ikke fleksibiliteten til den menneskelige hjernen. Vi kan lære ferdigheter i en kontekst og bruke dem til en annen. Derimot, selv om DeepMinds spillalgoritme AlphaGo kan slå verdens beste Go-mestere, kan den ikke utvide den strategien utover brettet. Dyplæringsalgoritmer er med andre ord mestere i å fange opp mønstre, men de kan ikke forstå og tilpasse seg en verden i endring.

Fremdriftsspørsmålet

Denne historien var en del av mars 2021-utgaven vår



  • Se resten av saken
  • Abonnere

Forskere har mange hypoteser om hvordan dette problemet kan overvinnes, men spesielt én har fått gjennomslag. Barn lærer om verden ved å sanse og snakke om den. Kombinasjonen virker nøkkelen. Etter hvert som barn begynner å assosiere ord med syn, lyder og annen sanseinformasjon, er de i stand til å beskrive flere og mer kompliserte fenomener og dynamikk, skille det som er årsakssammenheng fra det som kun gjenspeiler korrelasjon, og konstruere en sofistikert modell av verden. Den modellen hjelper dem deretter å navigere i ukjente miljøer og sette ny kunnskap og erfaringer i sammenheng.

DeepMinds AI har nå utkonkurrert nesten alle menneskelige spillere på StarCraft II AlphaStar samarbeidet med seg selv for å lære nye strategier for å erobre det populære galaktiske krigføringsspillet.

AI-systemer er på den annen side bygget for å gjøre bare én av disse tingene om gangen. Datasyns- og lydgjenkjenningsalgoritmer kan sanse ting, men kan ikke bruke språk for å beskrive dem. En naturlig språkmodell kan manipulere ord, men ordene er løsrevet fra enhver sansevirkelighet. Hvis sanser og språk ble kombinert for å gi en AI en mer menneskelignende måte å samle inn og behandle ny informasjon på , kunne det endelig utvikle noe som en forståelse av verden?

Håpet er at disse multimodale systemene, med tilgang til både sensoriske og språklige moduser for menneskelig intelligens, skal gi opphav til en mer robust type AI som lettere kan tilpasse seg nye situasjoner eller problemer. Slike algoritmer kan da hjelpe oss med å takle mer komplekse problemer, eller bli portert inn i roboter som kan kommunisere og samarbeide med oss ​​i hverdagen.



Nye fremskritt innen språkbehandlingsalgoritmer som OpenAIs GPT-3 har hjulpet. Forskere forstår nå hvordan man kan replikere språkmanipulasjon godt nok til å gjøre kombinasjonen med sanseevner mer potensielt fruktbar. Til å begynne med bruker de den aller første sanseevnen feltet oppnådde: datasyn. Resultatene er enkle bimodale modeller, eller visuelt-språklig AI .

Det siste året har det vært flere spennende resultater på dette området. I september laget forskere ved Allen Institute for Artificial Intelligence, AI2, en modell som kan generere et bilde fra en teksttekst , som demonstrerer algoritmens evne til å assosiere ord med visuell informasjon. I november utviklet forskere ved University of North Carolina, Chapel Hill, en metode som inkorporerer bilder i eksisterende språkmodeller , noe som økte modellenes leseforståelse.

2021

10 banebrytende teknologier

OpenAI brukte deretter disse ideene for å utvide GPT-3. I begynnelsen av 2021 ga laboratoriet ut to visuelle språkmodeller. Man knytter objektene i et bilde til ordene som beskriver dem i en bildetekst. Den andre genererer bilder basert på en kombinasjon av konseptene den har lært. Du kan for eksempel få den til å lage et maleri av en kapybara som sitter på et felt ved soloppgang. Selv om den kanskje aldri har sett dette før, kan den mikse og matche det den vet om malerier, kapybaraer, åkre og soloppganger for å tenke opp dusinvis av eksempler.

Å oppnå mer fleksibel intelligens ville ikke bare låse opp nye AI-applikasjoner: det ville også gjøre dem tryggere.

Mer sofistikerte multimodale systemer vil også muliggjøre flere avanserte robotassistenter (tenk robotbutlere, ikke bare Alexa). Den nåværende generasjonen av AI-drevne roboter bruker primært visuelle data for å navigere og samhandle med omgivelsene. Det er bra for å fullføre enkle oppgaver i begrensede miljøer, som å oppfylle bestillinger på et lager. Men laboratorier som AI2 jobber med å legge til språk og inkludere flere sensoriske innganger, som lyd og taktile data, slik at maskinene kan forstå kommandoer og utføre mer komplekse operasjoner, som å åpne en dør når noen banker på.

På lang sikt kan multimodale gjennombrudd bidra til å overvinne noen av AIs største begrensninger. Eksperter hevder for eksempel at dens manglende evne til å forstå verden også er grunnen til at den lett kan mislykkes eller bli lurt. (Et bilde kan endres på en måte som er umerkelig for mennesker, men får en AI til å identifisere det som noe helt annet.) Å oppnå mer fleksibel intelligens ville ikke bare låse opp nye AI-applikasjoner: det ville også gjøre dem tryggere. Algoritmer som viser CV-er vil ikke behandle irrelevante egenskaper som kjønn og rase som tegn på evne. Selvkjørende biler ville ikke miste peilingen i ukjente omgivelser og krasje i mørket eller i snøvær. Multimodale systemer kan bli de første AI-ene vi virkelig kan stole på med livene våre.