211service.com
Hvordan kan vi være sikre på at AI vil oppføre seg? Kanskje ved å se den krangle med seg selv.
OpenAI-bloggen
En dag kan det være helt normalt å se et AI-system kjempe med seg selv.
Konseptet kommer fra forskere ved OpenAI , en ideell organisasjon grunnlagt av flere Silicon Valley-armaturer, inkludert Y Combinator-partner Sam Altman, LinkedIn-leder Reid Hoffman, Facebook-styremedlem og Palantir-grunnlegger Peter Thiel, og Tesla- og SpaceX-sjef Elon Musk.
OpenAI-forskerne har tidligere vist at AI-systemer som trener seg selv noen ganger kan utvikle uventede og uønskede vaner. For eksempel, i et dataspill, kan en agent finne ut hvordan feil veien til en høyere poengsum. I noen tilfeller kan det være mulig for en person å overvåke opplæringsprosessen . Men hvis AI-programmet gjør noe umulig komplekst, er dette kanskje ikke mulig. Så forskerne foreslår at to systemer diskuterer et bestemt mål i stedet.
Vi tror at denne eller en lignende tilnærming til slutt kan hjelpe oss med å trene opp AI-systemer til å utføre langt mer kognitivt avanserte oppgaver enn mennesker er i stand til, samtidig som de forblir i tråd med menneskelige preferanser, skriver forskerne i et blogginnlegg skisserer konseptet.
Ta for eksempel et AI-system designet for å forsvare seg mot menneskelige eller AI-hackere. For å forhindre at systemet gjør noe skadelig eller uetisk, kan det være nødvendig å utfordre det for å forklare logikken for en bestemt handling. Denne logikken kan være for kompleks for en person å forstå, så forskerne foreslår at en annen AI diskuterer visdommen i handlingen med det første systemet, ved å bruke naturlig språk, mens personen observerer. Ytterligere detaljer vises i en forskningsoppgave .
Å la AI-programmer krangle med hverandre krever mer sofistikert teknologi enn det som finnes i dag. Så langt har OpenAI-forskerne bare utforsket ideen med et par ekstremt enkle eksempler. Det ene involverer to AI-systemer som prøver å overbevise en observatør om en skjult karakter ved sakte å avsløre individuelle piksler.
Forskerne har skapt en nettside hvor alle to personer kan prøve å spille rollene som de debatterende AI-systemene mens en tredje tjener som dommer. De to deltakerne konkurrerer om å overbevise dommeren om et bildes natur samtidig som de fremhever deler av det. Etter hvert blir det lettere for observatøren å fortelle hvem som er ærlig.
Vincent Conitzer , en forsker ved Duke University som studerer etiske spørsmål som involverer AI, sier at arbeidet er på et tidlig stadium, men lover. Å lage AI-systemer som kan forklare beslutningene deres er en utfordrende forskningsagenda, sier han. Hvis det lykkes, kan det i stor grad bidra til ansvarlig bruk av AI.
Slik det står – og til tross noen merkelig uttalelser fra slike som Elon Musk (en OpenAI-finansierer og inntil nylig medlem av styret) – vi er fortsatt et stykke unna å ha AI-systemer som er i stand til å lure og overliste oss i den typen scenario som er skildret i filmer som Ex machina og Henne .
Likevel, noen AI-forskere utforsker måter å sikre at teknologien ikke oppfører seg på utilsiktede måter. Dette kan bli viktigere ettersom AI-programmer blir mer komplekse og uutredelige (se The dark secret at the heart of AI).
Jeg synes ideen om verdijustering gjennom debatt er veldig interessant og potensielt nyttig, sier Ariel Procaccia , en professor i informatikk ved CMU som studerer beslutningstaking med autonome systemer.
Procaccia bemerker imidlertid at arbeidet er svært foreløpig, og at konseptet til og med kan inneholde en grunnleggende selvmotsigelse. For å debattere verdiladede spørsmål på en måte som er forståelig for en menneskelig dommer, kan det hende at AI-agentene må ha et solid grep om menneskelige verdier i utgangspunktet, sier han. Så tilnærmingen er uten tvil å sette vognen foran hesten.
Iyad Rawan , en forsker ved MITs Media lab, legger til at forskerne må være forsiktige med at et par AI-er ikke havner i en sirkulær krangel. Jeg tror de vil treffe noen veldig vanskelige problemer veldig raskt, sier han. Først er hvordan man automatiserer argumentasjon i naturlig språk, som fortsatt er et uløst problem.