211service.com
Apples AI-direktør: Slik superlader du dyp læring
Apples direktør for kunstig intelligens, Ruslan Salakhutdinov, mener at de dype nevrale nettverkene som har gitt spektakulære resultater de siste årene kan bli overladet i årene som kommer ved tillegg av minne, oppmerksomhet og generell kunnskap.
Snakker kl MIT Technology Review EmTech Digital-konferansen i San Francisco tirsdag sa Salakhutdinov at disse egenskapene kan bidra til å løse noen av de utestående problemene innen kunstig intelligens.
Salakhutdinov, som beholder en stilling som en førsteamanuensis ved Carnegie Mellon University i Pittsburgh, pekte i sin tale på begrensninger med dypt læringsdrevet maskinsyn og naturlig språkforståelse.
Dyplæring – en teknikk som involverer bruk av et stort antall grovt simulerte nevroner arrangert i mange sammenkoblede lag – har gitt dramatiske fremskritt i maskinoppfatning de siste årene, men det er mange måter disse nettverkene er begrenset på.
Salakhutdinov viste for eksempel hvordan bildetekstsystemer basert på teknologien kan merke bilder feil fordi de har en tendens til å fokusere på alt i bildet. Deretter pekte han på en løsning i form av såkalte oppmerksomhetsmekanismer, en tilpasning til dyp læring som er utviklet de siste årene. Tilnærmingen kan rette på disse feilene ved å ha et systemfokus på spesifikke deler av et bilde når du bruker forskjellige ord i en bildetekst. Den samme tilnærmingen kan også bidra til å forbedre naturlig språkforståelse ved å gjøre det mulig for en maskin å fokusere på den relevante delen av en setning for å utlede dens betydning.
En teknikk som heter minnenettverk , utviklet av forskere ved Facebook, kan forbedre hvordan maskiner snakker med mennesker. Som navnet antyder, legger tilnærmingen til en komponent av langtidshukommelse til nevrale nettverk slik at de husker historien til en chat.
Minnenettverk har vist seg å forbedre en annen type AI også, kjent som forsterkende læring. For eksempel viste to forskere ved CMU nylig hvordan dette kan skape en smartere spillalgoritme . Forskere ved DeepMind, et AI-fokusert datterselskap av Alphabet, har også demonstrert måter for dyplæringssystemer å bygge og få tilgang til en form for hukommelse.
Forsterkende læring dukker raskt opp som en verdifull måte å løse vanskelige programmerbare problemer innen robotikk og automatisert kjøring. Det var en av MIT Technology Review sine 10 banebrytende teknologier i 2017.
Et annet spennende område for fremtidig forskning, sa Salakhutdinov, ville være å finne måter å kombinere håndbygde kunnskapskilder med dyp læring. Han pekte på generell kunnskapsdatabaser som Freebase og ordbetydende depoter som WordNet .
Akkurat som mennesker er avhengige av generell kunnskap når de analyserer språk eller tolker en visuell scene, kan dette bidra til å gjøre AI-systemer smartere, sa Salakhutdinov. Hvordan kan vi inkludere all den forkunnskapen i dyp læring? sa han under talen. Det er en stor utfordring.
Salakhutdinov talte under en sesjon som samlet forskere fra flere forskjellige AI-skoler. Et vanlig tema blant foredragsholderne var behovet for ulike tilnærminger for å ta AI til neste nivå.
Under økten Peter søndager , en professor ved University of Washington som studerer forskjellige maskinlæringsmetoder, sa at det også er behov for å fortsette å søke etter helt nye tilnærminger til AI. Det er en tankegang innen maskinlæring at vi ikke trenger fancy nye algoritmer, vi trenger bare mer data, sa han. Jeg tror det er veldig dype, grunnleggende ideer som må oppdages før vi virkelig kan løse AI.