Google sier den nye chatboten Meena er den beste i verden

Kategori: Kunstig intelligens Lagt ut 30. januar

Google har gitt ut en nevrale nettverksdrevet chatbot kalt Meena som den hevder er bedre enn noen annen chatbot der ute.

Dataslurp: Meena ble trent på hele 341 gigabyte med offentlig chatting på sosiale medier – 8,5 ganger så mye data som OpenAIs GPT-2. Google sier Meena kan snakke om stort sett alt, og kan til og med finne på (dårlige) vitser .

Hvorfor det er viktig: Åpen samtale som dekker et bredt spekter av emner er vanskelig, og de fleste chatboter kan ikke følge med. På et tidspunkt sier de fleste ting som ikke gir mening eller avslører mangel på grunnleggende kunnskap om verden. En chatbot som unngår slike feil vil langt på vei få AI-er til å føles mer menneskelige, og gjøre karakterer i videospill mer naturtro.

Sans og spesifisitet: For å sette Meena på prøve, har Google utviklet en ny beregning den kaller Sensibleness and Specificity Average (SSA), som fanger opp viktige attributter for naturlige samtaler, for eksempel om hver ytring gir mening i kontekst – noe mange chatboter kan gjøre – og er spesifikt for det som nettopp har blitt sagt, som er vanskeligere.

Hva mener du? For eksempel, hvis du sier at jeg liker tennis og en chatbot svarer. Det er fint, svaret gir mening, men er ikke spesifikt. Mange chatbots er avhengige av triks som dette for å skjule det faktum at de ikke vet hva du snakker om. På den annen side er et svar som Me too – jeg kan ikke få nok av Roger Federer spesifikk. Google brukte crowdworkers til å generere eksempelsamtaler og score ytringer i rundt 100 samtaler. Meena fikk en SSA-score på 79 %, sammenlignet med 56 % for Mitsuku, en toppmoderne chatbot som har vunnet Loebner-prisen de siste fire årene. Selv menneskelige samtalepartnere oppnådde bare 86 % i denne nye testen.

Kan jeg snakke med Meena? Ikke ennå. Google sier at den ikke vil gi ut en offentlig demo før den har undersøkt modellen for sikkerhet og skjevhet, noe som sannsynligvis er en god ting. Da Microsoft ga ut chatboten Tay på Twitter i 2016, begynte den å spy ut rasistiske, kvinnefiendtlige invektiv i løpet av timer.