Bekymret for firmaets AI-etikk? Disse oppstartene er her for å hjelpe.

Getty

Rumman Chowdhurys jobb pleide å innebære mye oversettelse. Som ansvarlig AI-leder hos konsulentfirmaet Accenture ville hun jobbe med kunder som sliter med å forstå AI-modellene deres. Hvordan visste de om modellene gjorde det de skulle? Forvirringen kom ofte delvis fordi selskapets dataforskere, advokater og ledere så ut til å snakke forskjellige språk. Teamet hennes ville fungere som mellomting slik at alle parter kunne komme på samme side. Det var mildt sagt ineffektivt: Å revidere en enkelt modell kunne ta måneder.

Så på slutten av 2020 forlot Chowdhury stillingen for å starte sin egen virksomhet. Kalt Paritet AI , tilbyr den kundene et sett med verktøy som prøver å krympe prosessen ned til noen få uker. Den hjelper dem først med å identifisere hvordan de ønsker å revidere modellen deres – er det for skjevhet eller for overholdelse av lover? – og gir deretter anbefalinger for å takle problemet.

Parity er blant en voksende mengde oppstartsbedrifter som lover organisasjoner måter å utvikle, overvåke og fikse AI-modellene deres på. De tilbyr en rekke produkter og tjenester fra skjevhetsreduksjonsverktøy til forklaringsplattformer. Opprinnelig kom de fleste av deres klienter fra sterkt regulerte bransjer som finans og helsevesen. Men økt forskning og medieoppmerksomhet på spørsmål om partiskhet , personvern og åpenhet har flyttet fokus for samtalen. Nye kunder er ofte rett og slett bekymret for å være ansvarlige, mens andre ønsker å fremtidssikre seg i påvente av regulering.

Så mange selskaper står virkelig overfor dette for første gang, sier Chowdhury. Nesten alle ber faktisk om litt hjelp.

Fra risiko til påvirkning

Når du jobber med nye kunder, unngår Chowdhury å bruke begrepet ansvar. Ordet er for squishy og dårlig definert; det gir for mye rom for feilkommunikasjon. Hun begynner i stedet med mer kjent bedriftsspråk: ideen om risiko. Mange selskaper har risiko- og compliancearmer, og etablerte prosesser for risikoreduksjon.

AI-risikoreduksjon er ikke annerledes. Et selskap bør starte med å vurdere de forskjellige tingene det bekymrer seg for. Disse kan inkludere juridisk risiko, muligheten for å bryte loven; organisasjonsrisiko, muligheten for å miste ansatte; eller omdømmerisiko, muligheten for å lide en PR-katastrofe. Derfra kan den jobbe bakover for å bestemme hvordan den skal revidere AI-systemene. Et finansselskap, som opererer under rettferdige utlånslover i USA, ønsker å sjekke sine utlånsmodeller for skjevheter for å redusere juridisk risiko. Et telehelseselskap, hvis systemer trener på sensitive medisinske data, kan utføre personvernrevisjoner for å redusere omdømmerisiko.

Parity inkluderer et bibliotek med foreslåtte spørsmål for å hjelpe bedrifter med å vurdere risikoen ved AI-modellene deres.

PARITET

Paritet hjelper til med å organisere denne prosessen. Plattformen ber først et selskap om å bygge en intern konsekvensanalyse – i hovedsak et sett med åpne spørreundersøkelser om hvordan virksomheten og AI-systemene fungerer. Den kan velge å skrive tilpassede spørsmål eller velge dem fra Paritys bibliotek, som har mer enn 1000 forespørsler tilpasset fra AI-etiske retningslinjer og relevant lovgivning fra hele verden. Når vurderingen er bygget, oppfordres ansatte på tvers av selskapet til å fylle den ut basert på jobbfunksjon og kunnskap. Plattformen kjører deretter fritekstsvarene deres gjennom en naturlig-språklig prosesseringsmodell og oversetter dem med et øye mot selskapets viktigste risikoområder. Paritet fungerer med andre ord som den nye mellomtingen for å få datavitere og advokater på samme side.

Deretter anbefaler plattformen et tilsvarende sett med risikoreduserende tiltak. Disse kan inkludere å lage et dashbord for å kontinuerlig overvåke en modells nøyaktighet, eller implementere nye dokumentasjonsprosedyrer for å spore hvordan en modell ble trent og finjustert på hvert trinn i utviklingen. Den tilbyr også en samling åpen kildekode-rammeverk og verktøy som kan hjelpe, som IBMs AI Fairness 360 for skjevhetsovervåking eller Googles modellkort for dokumentasjon.

Chowdhury håper at hvis selskaper kan redusere tiden det tar å revidere modellene sine, vil de bli mer disiplinerte når det gjelder å gjøre det regelmessig og ofte. Over tid håper hun at dette også kan åpne dem for å tenke utover risikoreduksjon. Mitt sleipe mål er faktisk å få flere bedrifter til å tenke på effekt og ikke bare risiko, sier hun. Risiko er språket folk forstår i dag, og det er et veldig verdifullt språk, men risiko er ofte reaktivt og responsivt. Effekten er mer proaktiv, og det er faktisk den bedre måten å ramme hva det er vi bør gjøre.

Et ansvarsøkosystem

Mens Parity fokuserer på risikostyring, er en annen oppstart, Spelemann , fokuserer på forklarbarhet. Administrerende direktør Krishna Gade begynte å tenke på behovet for mer åpenhet i hvordan AI-modeller tar beslutninger mens han fungerte som ingeniørsjef for Facebooks nyhetsfeed-team. Etter presidentvalget i 2016 gjorde selskapet et stort internt press for å bedre forstå hvordan algoritmene rangerte innhold. Gades team utviklet et internt verktøy som senere ble grunnlaget for Hvorfor ser jeg dette? trekk .

Relatert historie

Fem måter å gjøre AI til en større kraft for godt i 2021 Det er mer oppmerksomhet på AIs innflytelse enn noen gang før. La oss få det til å telle.

Gade lanserte Fiddler kort tid etter det, i oktober 2018. Det hjelper datavitenskapsteam med å spore modellenes utviklende ytelse, og lager rapporter på høyt nivå for bedriftsledere basert på resultatene. Hvis en modells nøyaktighet forringes over tid, eller den viser partisk oppførsel, hjelper Fiddler med å feilsøke hvorfor det kan skje. Gade ser på overvåkingsmodeller og forbedring av forklaringen som de første trinnene for å utvikle og distribuere AI mer bevisst.

Arthur , grunnlagt i 2019, og Vekter og skjevheter , grunnlagt i 2017, er ytterligere to selskaper som tilbyr overvåkingsplattformer. I likhet med Fiddler, legger Arthur vekt på forklaringsevne og bias-demping, mens Weights & Biases sporer maskinlæringseksperimenter for å forbedre forskning reproduserbarhet . Alle tre selskapene har observert et gradvis skifte i selskapenes største bekymringer, fra lovlig overholdelse eller modellytelse til etikk og ansvar.

Den kyniske delen av meg var bekymret i begynnelsen for at vi skulle se kunder komme inn og tenke at de bare kunne krysse av i en boks ved å assosiere merkevaren deres med noen andre som driver med ansvarlig AI, sier Liz O'Sullivan, Arthurs VP for ansvarlig AI, som fungerer også som teknologidirektør for Surveillance Technology Oversight Project, en aktivistorganisasjon. Men mange av Arthurs klienter har forsøkt å tenke utover bare tekniske rettelser til deres styringsstrukturer og tilnærminger til inkluderende design. Det har vært så spennende å se at de virkelig er investert i å gjøre det rette, sier hun.

O'Sullivan og Chowdhury er også begge glade for å se flere startups som deres komme online. Det er ikke bare ett verktøy eller én ting du må gjøre for å gjøre ansvarlig AI, sier O'Sullivan. Chowdury er enig: Det kommer til å bli et økosystem.

gjemme seg