211service.com
Datasyn i AI: Dataene som trengs for å lykkes
Levert av Påstand
Å utvikle kapasiteten til å kommentere enorme mengder data samtidig som kvaliteten opprettholdes er en funksjon av livssyklusen for modellutvikling som bedrifter ofte undervurderer. Det er ressurskrevende og krever spesialkompetanse.
I hjertet av ethvert vellykket maskinlærings-/kunstig intelligens (ML/AI)-initiativ er en forpliktelse til treningsdata av høy kvalitet og en vei til kvalitetsdata som er bevist og veldefinert. Uten denne kvalitetsdatapipelinen er initiativet dømt til å mislykkes.
Datavisjons- eller datavitenskapsteam henvender seg ofte til eksterne partnere for å utvikle sin dataopplæringspipeline, og disse partnerskapene driver modellytelsen.
Det er ingen definisjon av kvalitet: kvalitetsdata er helt avhengig av det spesifikke datasynet eller maskinlæringsprosjektet. Det er imidlertid en generell prosess alle team kan følge når de jobber med en ekstern partner, og denne veien til kvalitetsdata kan brytes ned i fire prioriterte faser.
Merknadskriterier og kvalitetskrav
Treningsdatakvalitet er en evaluering av et datasetts egnethet til å tjene formålet i en gitt ML/AI-brukstilfelle.
Datasynsteamet må etablere et entydig sett med regler som beskriver hva kvalitet betyr i forbindelse med prosjektet deres. Merknadskriterier er samlingen av regler som definerer hvilke objekter som skal kommenteres, hvordan de skal kommenteres riktig, og hva kvalitetsmålene er.
Nøyaktighet eller kvalitetsmål definerer det laveste akseptable resultatet for evalueringsmålinger som nøyaktighet, tilbakekalling, presisjon, F1-poengsum, osv. Vanligvis vil et datasynsteam ha kvalitetsmål for hvor nøyaktig objekter av interesse ble klassifisert, hvor nøyaktig objekter ble lokalisert og hvor nøyaktig relasjoner mellom objekter ble identifisert.
Arbeidsstyrkeopplæring og plattformkonfigurasjon n
Plattformkonfigurasjon. Oppgavedesign og arbeidsflytoppsett krever tid og ekspertise, og nøyaktig merknad krever oppgavespesifikke verktøy. På dette stadiet trenger datavitenskapsteam en partner med ekspertise for å hjelpe dem med å finne ut hvordan de best kan konfigurere merkeverktøy, klassifiseringstaksonomier og merknadsgrensesnitt for nøyaktighet og gjennomstrømning.
Arbeidertesting og scoring. For å merke data nøyaktig, trenger annotatorer en godt utformet opplæringsplan slik at de fullt ut forstår annoteringskriteriene og domenekonteksten. Annoteringsplattformen eller den eksterne partneren bør sikre nøyaktighet ved aktivt å spore annotatorkompetanse mot gulldataoppgaver eller når en vurdering er endret av en høyere kvalifisert arbeider eller administrator.
Grunnsannhet eller gulldata. Grunnsannhetsdata er avgjørende på dette stadiet av prosessen som grunnlaget for å score arbeidere og måle produksjonskvalitet. Mange datasynsteam jobber allerede med et datasett for grunnsannhet.
Myndighetskilder og kvalitetssikring
Det er ingen én-størrelse-passer-alle kvalitetssikring (QA)-tilnærming som vil oppfylle kvalitetsstandardene for alle ML-brukstilfeller. Spesifikke forretningsmål, så vel som risikoen forbundet med en underpresterende modell, vil drive kvalitetskravene. Noen prosjekter når målkvalitet ved å bruke flere annotatorer. Andre krever komplekse gjennomganger mot sannhetsdata eller eskaleringsarbeidsflyter med bekreftelse fra en saksekspert.
Det er to primære autoritetskilder som kan brukes til å måle kvaliteten på merknader og som brukes til å score arbeidere: gulldata og ekspertgjennomgang.
- Gulldata: Gulldataene eller bakkens sannhet kan brukes både som et kvalifiseringsverktøy for testing og scoring av arbeidere i begynnelsen av prosessen og også som mål for utskriftskvalitet. Når du bruker gulldata for å måle kvalitet, sammenligner du arbeiderkommentarer med ekspertkommentarene dine for det samme datasettet, og forskjellen mellom disse to uavhengige, blinde svarene kan brukes til å produsere kvantitative målinger som nøyaktighet, gjenkalling, presisjon og F1-score. .
- Ekspertvurdering: Denne metoden for kvalitetssikring er avhengig av ekspertvurdering fra en høyt kvalifisert arbeider, en administrator eller fra en ekspert på kundesiden, noen ganger alle tre. Den kan brukes sammen med gulldata QA. Ekspertkontrolløren ser på svaret gitt av den kvalifiserte arbeideren og enten godkjenner det eller foretar rettelser etter behov, og produserer et nytt riktig svar. Til å begynne med kan en ekspertgjennomgang finne sted for hver enkelt forekomst av merkede data, men over tid, ettersom arbeiderkvaliteten forbedres, kan ekspertgjennomgang bruke tilfeldig prøvetaking for løpende kvalitetskontroll.
Iterering på datasuksess
Når et datasynsteam har lansert en pipeline for treningsdata av høy kvalitet, kan det akselerere fremdriften til en produksjonsklar modell. Gjennom kontinuerlig støtte, optimalisering og kvalitetskontroll kan en ekstern partner hjelpe dem:
- Sporhastighet: For å skalere effektivt er det greit å måle annoteringsgjennomstrømming. Hvor lang tid tar det å gå gjennom prosessen? Blir prosessen raskere?
- Juster opplæring av arbeidere: Etter hvert som prosjektet skaleres, kan merking og kvalitetskrav utvikles. Dette krever kontinuerlig opplæring og scoring av arbeidsstyrken.
- Train on edge case: Over tid bør treningsdata inkludere flere og flere edge case for å gjøre modellen din så nøyaktig og robust som mulig.
Uten opplæringsdata av høy kvalitet kan ikke selv de best finansierte, mest ambisiøse ML/AI-prosjektene lykkes. Datasynsteam trenger partnere og plattformer de kan stole på for å levere datakvaliteten de trenger og for å drive livsendrende ML/AI-modeller for verden.
Alegion er den velprøvde partneren for å bygge treningsdatapipeline som vil gi drivstoff til modellen din gjennom hele livssyklusen. Kontakt Alegion på [email protected] .
Dette innholdet ble produsert av Alegion. Den ble ikke skrevet av MIT Technology Reviews redaksjon.