Forskere sliter med å gjenskape AI-studier

Kategori: Kunstig intelligens Lagt ut 16. februar

Manglende kode og data gjør det vanskelig å sammenligne maskinlæringsarbeid – og det kan skade fremdriften.

Problemet: Vitenskap rapporter at fra et utvalg på 400 artikler på topp AI-konferanser de siste årene, delte bare 6 prosent av foredragsholderne kode. Bare en tredjedel delte data, og litt over halvparten delte sammendrag av algoritmene deres, kjent som pseudokode.

Hvorfor det er viktig: Uten tilgang til denne informasjonen er det vanskelig å reprodusere resultatene fra en studie. Det gjør det nesten umulig å sammenligne nyutviklede verktøy mot eksisterende, så det er vanskelig for forskere å vite hvilken retning de skal presse fremtidig forskning.

Slik løser du det: Noen ganger kan mangel på deling være forståelig - for eksempel hvis åndsverk eies av et privat firma. Men det ser ut til å være en mer utbredt kultur for å holde detaljene skjult. Noen møter og journaler oppmuntrer nå til deling; kanskje flere burde følge etter.