En ledende AI-konferanse prøver å fikse feltets reproduserbarhetskrise

Kategori: Kunstig intelligens Lagt ut 09. april

I forrige uke var arrangørene av Neural Information Processing Systems Conference (NeurIPS), en av verdens største årlige AI-forskningskonferanser, oppdatert deres policy for papirinnleveringer krever det de kaller en sjekkliste for reproduserbarhet. Det er et lite skifte i en større kamp for å dempe den økende reproduserbarhetskrisen i vitenskapen, der et foruroligende antall forskningsfunn ikke blir vellykket replikert av andre forskere, noe som sår tvil om gyldigheten av de første funnene.

I februar advarte en statistiker fra Rice University om at maskinlæringsteknikker sannsynligvis gir næring til krisen fordi resultatene de produserer er vanskelige å revidere. Det er et bekymringsfullt problem ettersom maskinlæring i økende grad brukes på viktige områder som helsevesen og narkotikaforskning.

NeurIPS sin reproduserbarhetssjekkliste prøver å takle problemet. Blant annet må forskere gi en tydelig beskrivelse av algoritmen deres; en fullstendig beskrivelse av deres datainnsamlingsprosess; en lenke til et hvilket som helst simuleringsmiljø de brukte under trening; og en omfattende gjennomgang av hvilke data de oppbevarte, kastet og hvorfor. Tanken er å skape en ny standard for åpenhet for forskere for å vise hvordan de kom frem til konklusjonene sine.

Som verdens mest betydningsfulle AI-konferanse, skrev Jack Clark, policy-direktøren for den ideelle organisasjonen OpenAI, i sitt ukentlige nyhetsbrev Import AI, NeurIPS 2019 policy vil ha en avsmittende effekt på tvers av [det] bredere AI-økosystemet.

Denne historien dukket opprinnelig opp i vårt Webby-nominerte AI-nyhetsbrev The Algorithm. For å få den levert direkte til innboksen din, registrer deg her gratis.