211service.com
Datautvinning avslører historiske hendelser i offentlige arkiver
Studiet av politisk historie gjennomgår en revolusjon. Drivkraften bak denne endringen er tilgjengeligheten av elektroniske registre over myndighetenes aktivitet og muligheten til å tall-cunche disse dataene på måter som aldri før har vært mulig.
Historikere har umiddelbar tilgang til moderne nyhetsrapporter om viktige verdensbegivenheter. Men disse rapportene må kalibreres ved å sammenligne dem med datidens myndighetsregistre, som kan variere på viktige og ukjente måter. Men disse postene blir vanligvis ikke offentliggjort før noen år senere. Det store antallet offentlige dokumenter gjør denne prosessen vanskelig siden det er altfor lett for forskere å overse noe vesentlig.
Så en automatisert måte å søke etter viktige hendelser i disse myndighetene vil være svært nyttig.
Datautvinning avslører økningen i offentlig kommunikasjon under Saigons fall (øverst), men lite av betydning knyttet til Finland (nederst).
I dag sier Yuanjun Gao ved Columbia University i New York og noen få venner at de har utviklet et sett med statistiske verktøy som kan gjøre denne jobben. De har testet teknikken på elektroniske arkiver fra amerikanske myndigheter utgitt av National Archives og sammenlignet resultatene med moderne nyhetsrekord.
Arbeidet er muliggjort av det faktum at det amerikanske utenriksdepartementet har lagret klassifisert kommunikasjon elektronisk siden 1973. Mange av postene fra 1973 til 1977 er nå offentlig tilgjengelige og består av 1,4 millioner avklassifiserte kabler og metadata knyttet til 0,4 millioner dokumenter. levert i diplomatisk pose.
Disse elektroniske postene er alle tildelt koder relatert til emnet deres. Så kommunikasjon knyttet til Sør-Vietnam er merket VS, de som er relatert til De forente nasjonalforsamlinger merket UNGA, til Finland merket FI, og så videre.
Det lar forskere spore kommunikasjon relatert til spesifikke emner uten å vite detaljene i meldingene selv.
Å plotte antall meldinger over tid avslører noen interessante mønstre. For eksempel avslører den en økning i kommunikasjon knyttet til Sør-Vietnam i april 1975 på tidspunktet for Saigons fall.
Kommunikasjon knyttet til FNs generalforsamling øker med jevne mellomrom tilsvarende datoene for forsamlingene som finner sted hvert år. Dette mønsteret inkluderer en ekstra økning i april-mai 1974 som tilsvarer en spesiell FN-sesjon kalt Algerie for å diskutere deres krav om støtte til en ny internasjonal økonomisk orden.
Derimot viser merkene knyttet til Finland mellom 1973 og 1977 ingen topper eller spesielt mønster, noe som gjenspeiler stabiliteten til nasjonen på den tiden.
Store pigger er relativt enkle å se visuelt, men Gao og co har utviklet verktøy for å oppdage dem automatisk og rangere deres betydning ved å sammenligne dem med bakgrunnsnivået av aktivitet på den tiden.
Det gjør at teamet kan lage en rangering av de 30 mest betydningsfulle hendelsene i løpet av denne perioden.
Ikke alle disse toppene tilsvarer viktige verdensbegivenheter. For eksempel er de to viktigste toppene knyttet til administrative spørsmål som transport og endringer i visumregistreringssystemet.
Men rangeringen finner et bredt spekter av andre viktige hendelser, som Carter-administrasjonens prioritering av menneskerettigheter, presidenten i Egypt, Anwar Sadats overraskelsesbesøk i Israel i 1977, krisen i Sørøst-asiatiske båtfolk i 1975-76, Yom 1973. Kippur-krigen og Portugals tilbaketrekning fra Angola i 1975-76, og så videre.
Det er interessant arbeid som bør endre måten historikere og samfunnsvitere gjør arbeidet sitt på. Og dette er bare begynnelsen. Denne typen automatiserte metoder kan også vise hvordan mennesker brukte merkeprosessen den gangen, hvor ofte feil ble gjort, og om visse typer meldinger kan ha blitt borte.
Og etter hvert som mer detaljerte elektroniske poster blir utgitt, vil forskere kunne utvikle mer avanserte måter å utvinne dem på. Politisk historie vil aldri bli den samme.
Ref: arxiv.org/abs/1712.07319 : Gruvebegivenheter med deklassifiserte diplomatiske dokumenter