211service.com
Nvidia har nettopp gjort det enklere å bygge smartere chatbots og smartere falske nyheter
Et bilde av en stemmeassistentenhet ved siden av lydbølger Ms Tech; originalbilde: HARMON KARDON
Kunstig intelligens har gjort imponerende fremskritt det siste tiåret, men maskiner er fortsatt elendige til å forstå språk. Bare prøv å engasjere Alexa i litt vittig tull.
Nvidia, selskapet som lager databrikkene som driver mange AI-algoritmer, tror dette er i ferd med å endre seg og ønsker å utnytte en forventet eksplosjon.
Programvare brikkeprodusenten gir ut gjør det enklere å bygge AI-programmer på maskinvaren som er i stand til å bruke språk mer elegant. Den nye koden kan akselerere utviklingen av nye språkalgoritmer, og gjøre chatboter og taleassistenter raskere og smartere.
Nvidia lager allerede de mest populære brikkene for å trene dyptlærende AI-modeller, som er dyktige på oppgaver som bildeklassifisering. Tradisjonelt har det imidlertid vært mye vanskeligere å bruke statistiske maskinlæringsmetoder som dyp læring på det skrevne eller talte ordet, fordi språket er så tvetydig og komplekst.
Men det har vært en betydelig fremgang i det siste. To nye dyplæringstilnærminger til språk fra Google, kjent som Transformer og BERT, har vist seg spesielt flinke til å oversette mellom språk, svare på spørsmål om et tekststykke og til og med generere tekst som ser realistisk ut. Dette har utløst en økning i akademisk og industris interesse for å fremme språk ved hjelp av maskinlæring.
Kombinasjonen av Transformer og BERT har hatt enorm effekt, sier Alexander Rush , en professor ved Harvard University som spesialiserer seg på underfeltet til AI kjent som naturlig språkbehandling (NLP). Det er i utgangspunktet toppmoderne i alle benchmarks, og lar en undergraduate produsere modeller i verdensklasse i fem linjer med kode.
Nvidia har vært flink til å jage de siste trendene innen AI-forskning. Hvis den siste anelsen viser seg å være riktig, kan stemmeassistenter gå fra å bare svare på bjeffede kommandoer til å sette flere ord sammen. Chatboter kan i mellomtiden bli mindre uklare, mens autofullføringsfunksjonen fant mange i programmer og apper kan begynne å foreslå hele avsnitt i stedet for bare de neste ordene.
Vi har stor etterspørsel etter språkmodellering, sier Bryan Catanzaro , VP for anvendt dyp læring hos Nvidia. Og hvis du ser på tempoet i språkfremgangen, virker det som et opplagt sted for oss å gjøre investeringer.
Nvidia utviklet programvaren sin ved å optimalisere en rekke deler av prosessen som ble brukt til å trene språkmodeller på GPU-ene. Dette satte fart på opplæringen av AI-modeller (fra flere dager til mindre enn en time), akselererte ytelsen til trente språkmodeller (fra 40 millisekunder til litt over 2 millisekunder), og gjorde det mulig å trene mye større språkmodeller (Nvidias språkmodell , kalt Megatron, er mange ganger større enn noe tidligere laget, med 8,6 milliarder parametere).
Autofullfør ingen ondskap
Fremskritt i språket kan imidlertid ha en mørkere side. Smartere algoritmer kan brukes til å masseprodusere mer overbevisende, skreddersydde falske anmeldelser, innlegg i sosiale medier og nyhetssaker. Andre forskergrupper har vist hvordan kraftige språkmodeller kan skape realistisk tekst etter å ha inntatt store deler av skriften fra internett.
Nvidia har en enkel plan for å forhindre potensielt misbruk: den vil ikke gi ut den største språkmodellen den har utviklet, og planlegger å stole på at forskere bruker verktøyene med forsiktighet. Vi gir ut kode som viser hvordan man bruker GPUer for å trene disse store modellene, sier Catanzaro. Vi tror fellesskapet vil bruke denne koden på en ansvarlig måte, men husk at treningsmodeller av denne størrelsen krever seriøs datakraft, noe som gjør den utenfor rekkevidde for folk flest.
Selv om fremgangen fortsetter raskt, vil det sannsynligvis ta lang tid før maskinene virkelig kan snakke med oss. Språk er villedende vanskelig for maskiner å forstå, delvis på grunn av dets komposisjonelle kompleksitet: ord kan omorganiseres for å låse opp uendelig mening. Å forstå betydningen av en setning krever ofte også en slags sunn forståelse av verden – noe datamaskiner ikke har.
Vi ser en renessanse innen NLP-evner, sier Oren Etzioni, administrerende direktør i the Allen Institute for Artificial Intelligence (Ai2) , en ideell organisasjon i Seattle dedikert til banebrytende AI-forskning. Dette vil føre til bedre chatbots og taleassistenter, sier han, selv om de vil lide av mangel på sunn fornuft. En stemmeassistent som er like nyttig som en dyktig hotellconcierge er fortsatt utenfor horisonten, sier Etzioni.
Ai2 lanserte nylig et verktøy, kalt Grover , som bruker NLP-fremskritt for å fange opp tekst som ser ut til å ha blitt trukket ut av AI. Etzioni påpeker at roboter allerede lurer folk på Facebook og Twitter. Automatisk generert falsk tekst er allerede her, sier han, og vil sannsynligvis øke eksponentielt.