211service.com
Maskinlæringsinfrastruktur med høy ytelse og rimelige kostnader akselererer innovasjon i skyen
Levert av Amazon Web Services
Kunstig intelligens og maskinlæring (AI og ML) er nøkkelteknologier som hjelper organisasjoner med å utvikle nye måter å øke salget på, redusere kostnader, strømlinjeforme forretningsprosesser og forstå kundene sine bedre. AWS hjelper kunder med å akselerere deres AI/ML-adopsjon ved å levere kraftig databehandling, høyhastighetsnettverk og skalerbare lagringsalternativer med høy ytelse etter behov for ethvert maskinlæringsprosjekt. Dette senker adgangsbarrieren for organisasjoner som ønsker å ta i bruk skyen for å skalere ML-applikasjonene sine.
Utviklere og dataforskere flytter teknologiens grenser og tar i økende grad i bruk dyp læring, som er en type maskinlæring basert på nevrale nettverksalgoritmer. Disse dyplæringsmodellene er større og mer sofistikerte, noe som resulterer i økende kostnader for å drive underliggende infrastruktur for å trene og distribuere disse modellene.
For å gjøre det mulig for kunder å akselerere sin AI/ML-transformasjon, bygger AWS maskinlæringsbrikker med høy ytelse og rimelige kostnader. AWS Inferentia er den første maskinlæringsbrikken bygget fra grunnen av AWS for den laveste kostnaden for maskinlæringsslutning i skyen. Faktisk leverer Amazon EC2 Inf1-forekomster drevet av Inferentia 2,3 ganger høyere ytelse og opptil 70 % lavere kostnad for maskinlæringsslutning enn nåværende generasjons GPU-baserte EC2-forekomster. AWS Trainium er den andre maskinlæringsbrikken fra AWS som er spesialbygd for trening av dyplæringsmodeller og vil være tilgjengelig i slutten av 2021.
Kunder på tvers av bransjer har distribuert sine ML-applikasjoner i produksjon på Inferentia og sett betydelige ytelsesforbedringer og kostnadsbesparelser. For eksempel muliggjør AirBnBs kundestøtteplattform intelligente, skalerbare og eksepsjonelle serviceopplevelser til fellesskapet av millioner av verter og gjester over hele verden. Den brukte Inferentia-baserte EC2 Inf1-instanser for å distribuere NLP-modeller (natural language processing) som støttet chatbotene. Dette førte til en 2x forbedring i ytelse ut av esken i forhold til GPU-baserte forekomster.
Med disse innovasjonene innen silisium, gjør AWS det mulig for kunder å trene og utføre sine dyplæringsmodeller i produksjon enkelt med høy ytelse og gjennomstrømning til betydelig lavere kostnader.
Maskinlæring utfordrer hastighetsskiftet til skybasert infrastruktur
Maskinlæring er en iterativ prosess som krever at team bygger, trener og distribuerer applikasjoner raskt, i tillegg til å trene, omskolere og eksperimentere ofte for å øke prediksjonsnøyaktigheten til modellene. Når de distribuerer opplærte modeller i forretningsapplikasjonene sine, må organisasjoner også skalere applikasjonene sine for å betjene nye brukere over hele verden. De må kunne betjene flere forespørsler som kommer inn samtidig med nesten sanntidsforsinkelse for å sikre en overlegen brukeropplevelse.
Nye brukstilfeller som objektdeteksjon, naturlig språkbehandling (NLP), bildeklassifisering, konversasjons-AI og tidsseriedata er avhengige av dyplæringsteknologi. Dyplæringsmodeller øker eksponentielt i størrelse og kompleksitet, og går fra å ha millioner av parametere til milliarder i løpet av et par år.
Opplæring og distribusjon av disse komplekse og sofistikerte modellene fører til betydelige infrastrukturkostnader. Kostnadene kan raskt bli uoverkommelig store ettersom organisasjoner skalerer applikasjonene sine for å levere nesten sanntidsopplevelser til sine brukere og kunder.
Det er her skybaserte maskinlæringsinfrastrukturtjenester kan hjelpe. Skyen gir tilgang på forespørsel til databehandling, nettverk med høy ytelse og stor datalagring, sømløst kombinert med ML-operasjoner og AI-tjenester på høyere nivå, for å gjøre det mulig for organisasjoner å komme i gang umiddelbart og skalere sine AI/ML-initiativer.
Hvordan AWS hjelper kunder med å akselerere AI/ML-transformasjonen
AWS Inferentia og AWS Trainium har som mål å demokratisere maskinlæring og gjøre den tilgjengelig for utviklere uavhengig av erfaring og organisasjonsstørrelse. Inferentias design er optimalisert for høy ytelse, gjennomstrømning og lav ventetid, noe som gjør den ideell for å distribuere ML-inferens i stor skala.
Hver AWS Inferentia-brikke inneholder fire NeuronCores som implementerer en systolisk array-matrisemultiplikeringsmotor med høy ytelse, som øker kraftig hastighet på typiske dyplæringsoperasjoner, som konvolusjon og transformatorer. NeuronCores er også utstyrt med en stor cache på brikken, som bidrar til å kutte ned på ekstern minnetilgang, redusere latens og øke gjennomstrømningen.
AWS Neuron, programvareutviklingssettet for Inferentia, støtter naturlig ledende ML-rammeverk, som TensorFlow og PyTorch. Utviklere kan fortsette å bruke de samme rammeverkene og livssyklusutviklingsverktøyene de kjenner og elsker. For mange av de trente modellene deres kan de kompilere og distribuere dem på Inferentia ved å endre bare en enkelt kodelinje, uten ytterligere endringer i applikasjonskoden.
Resultatet er en slutningsdistribusjon med høy ytelse, som enkelt kan skaleres samtidig som kostnadene holdes under kontroll.
Sprinklr, et software-as-a-service-selskap, har en AI-drevet enhetlig kundeopplevelsesadministrasjonsplattform som gjør det mulig for selskaper å samle inn og oversette tilbakemeldinger fra kunder i sanntid på tvers av flere kanaler til handlingskraftig innsikt. Dette resulterer i proaktiv problemløsning, forbedret produktutvikling, forbedret innholdsmarkedsføring og bedre kundeservice. Sprinklr brukte Inferentia til å distribuere NLP og noen av datasynsmodellene og så betydelige ytelsesforbedringer.
Flere Amazon-tjenester distribuerer også sine maskinlæringsmodeller på Inferentia.
Amazon Prime Video bruker computer vision ML-modeller for å analysere videokvaliteten til live-arrangementer for å sikre en optimal seeropplevelse for Prime Video-medlemmer. Den distribuerte sine bildeklassifiserings ML-modeller på EC2 Inf1-forekomster og så en 4x forbedring i ytelse og opptil 40 % kostnadsbesparelser sammenlignet med GPU-baserte forekomster.
Et annet eksempel er Amazon Alexas AI- og ML-baserte intelligens, drevet av Amazon Web Services, som er tilgjengelig på mer enn 100 millioner enheter i dag. Alexas løfte til kundene er at det alltid blir smartere, mer samtalevennlig, mer proaktivt og enda mer herlig. Å innfri dette løftet krever kontinuerlige forbedringer i responstider og maskinlæringsinfrastrukturkostnader. Ved å distribuere Alexas tekst-til-tale ML-modeller på Inf1-forekomster, var den i stand til å senke inferensforsinkelse med 25 % og kostnad per slutning med 30 % for å forbedre tjenesteopplevelsen for titalls millioner kunder som bruker Alexa hver måned.
Frigjør nye maskinlæringsfunksjoner i skyen
Mens bedrifter raser for å fremtidssikre virksomheten sin ved å muliggjøre de beste digitale produktene og tjenestene, kan ingen organisasjoner falle på etterskudd med å implementere sofistikerte maskinlæringsmodeller for å hjelpe til med å innovere sine kundeopplevelser. I løpet av de siste årene har det vært en enorm økning i anvendeligheten av maskinlæring for en rekke brukstilfeller, fra personalisering og churn-prediksjon til svindeldeteksjon og forsyningskjedeprognoser.
Heldigvis frigjør maskinlæringsinfrastruktur i skyen nye funksjoner som tidligere ikke var mulig, noe som gjør den langt mer tilgjengelig for ikke-eksperter. Det er derfor AWS-kunder allerede bruker Inferentia-drevne Amazon EC2 Inf1-instanser for å gi intelligensen bak anbefalingsmotorene og chatbotene deres og for å få praktisk innsikt fra tilbakemeldinger fra kunder.
Med AWS skybaserte maskinlæringsinfrastrukturalternativer som passer for ulike ferdighetsnivåer, er det klart at enhver organisasjon kan akselerere innovasjon og omfavne hele livssyklusen for maskinlæring i stor skala. Ettersom maskinlæring fortsetter å bli mer gjennomgripende, kan organisasjoner nå fundamentalt transformere kundeopplevelsen – og måten de driver forretning på – med kostnadseffektiv, skybasert maskinlæringsinfrastruktur med høy ytelse.
Finn ut mer om hvordan AWS sin maskinlæringsplattform kan hjelpe bedriften din med innovasjon her .
Dette innholdet ble produsert av AWS. Den ble ikke skrevet av MIT Technology Reviews redaksjon.