211service.com
Data mining avslører grunnleggende mønster av menneskelig tenkning
Tilbake i 1935 gjorde den amerikanske lingvisten George Zipf en bemerkelsesverdig oppdagelse. Zipf var nysgjerrig på forholdet mellom vanlige ord og mindre vanlige. Så han telte hvor ofte ord forekommer i vanlig språk og ordnet dem deretter etter frekvensen.
Dette avslørte en bemerkelsesverdig regelmessighet. Zipf fant ut at frekvensen til et ord er omvendt proporsjonal med dets plass i rangeringen. Så et ord som er nummer to i rangeringen vises halvparten så ofte som det vanligste ordet. Det tredjerangerte ordet vises en tredjedel så ofte og så videre.
På engelsk er det mest populære ordet de, som utgjør omtrent 7 prosent av alle ord, etterfulgt av og , som forekommer 3,5 prosent av tiden, og så videre. Omtrent 135 ord står for halvparten av alle ord som vises. Så noen få ord dukker opp ofte, mens de fleste nesten aldri dukker opp.
Men hvorfor? En spennende mulighet er at hjernen behandler vanlige ord forskjellig og at det å studere Zipfs distribusjon bør avsløre viktig innsikt i denne hjerneprosessen.
Det er imidlertid et problem. Lingvister er ikke alle enige om at den statistiske fordelingen av ordfrekvens er et resultat av kognitive prosesser. I stedet sier noen at fordelingen er et resultat av statistiske feil knyttet til lavfrekvente ord, som kan gi lignende distribusjoner.
Det som selvfølgelig trengs er en større studie på tvers av et bredt spekter av språk. En slik storstilt studie ville være mer statistisk kraftig og dermed i stand til å skille disse mulighetene fra hverandre.
I dag får vi nettopp en slik studie takket være arbeidet til Shuiyuan Yu og kolleger ved Communication University of China i Beijing. Disse gutta har funnet Zipfs lov på 50 språk hentet fra et bredt spekter av språkklasser, inkludert indoeuropeisk, uralisk, altaisk, kaukasisk, kinesisk-tibetansk, dravidisk, afro-asiatisk, og så videre.
Yu og co sier at ordfrekvensene på disse språkene deler en felles struktur som er forskjellig fra den statistiske feil ville gi. Dessuten sier de at denne strukturen antyder at hjernen behandler vanlige ord annerledes enn uvanlige, en idé som har viktige konsekvenser for naturlig språkbehandling og automatisk generering av tekst.
Yu og cos metode er grei. De begynner med to store tekstsamlinger kalt British National Corpus og Leipzig Corpus. Disse inkluderer prøver fra 50 forskjellige språk, hver prøve inneholder minst 30 000 setninger og opptil 43 millioner ord.
Forskerne fant at ordfrekvensene på alle språkene følger en modifisert Zipfs lov der fordelingen kan deles inn i tre segmenter. De statistiske resultatene viser at Zipfs lover på 50 språk deler et strukturelt mønster med tre segmenter, der hvert segment viser særegne språklige egenskaper, sier Yu.
Denne strukturen er interessant. Yu og co har prøvd å simulere det ved å bruke en rekke modeller for å lage ord. En modell er monkey-at-a-skrivemaskin-modellen, som genererer tilfeldige bokstaver som danner ord når det oppstår et mellomrom.
Denne prosessen genererer en kraftlovfordeling som Zipfs lov. Den kan imidlertid ikke generere tresegmentstrukturen som Yu og co har funnet. Denne strukturen kan heller ikke genereres av feil knyttet til lavfrekvente ord.
Imidlertid er Yu og co i stand til å reprodusere denne strukturen ved å bruke en modell av måten hjernen fungerer på kalt dual-prosessteorien. Dette er ideen om at hjernen fungerer på to forskjellige måter.
Den første er rask intuitiv tenkning som krever lite eller ingen resonnement. Denne typen tenkning antas å ha utviklet seg for å tillate mennesker å reagere raskt i truende situasjoner. Det gir generelt gode løsninger på vanskelige problemer, som for eksempel mønstergjenkjenning, men kan lett lures av ikke-intuitive situasjoner.
Imidlertid er mennesker i stand til mye mer rasjonell tenkning. Denne andre typen tenkning er tregere, mer beregnende og bevisst. Det er denne typen tenkning som lar oss løse komplekse problemer som matematiske gåter og så videre.
Dual-prosessteorien antyder at vanlige ord som den, og, hvis og så videre behandles av rask, intuitiv tenkning og brukes oftere. Disse ordene danner en slags ryggrad for setninger.
Men mindre vanlige ord og uttrykk som hypotese og Zipfs lov krever mye mer nøye ettertanke. Og på grunn av dette forekommer de sjeldnere.
Faktisk, når Yu og co simulerer denne doble prosessen, fører det til den samme tresegmentstrukturen i ordfrekvensfordelingen som de målte på 50 forskjellige språk.
Det første segmentet gjenspeiler fordelingen av vanlige ord, det siste segmentet gjenspeiler fordelingen av uvanlige ord, og det midterste segmentet er resultatet av kryssingen av disse to regimene. Disse resultatene viser at Zipfs lov i språk er motivert av kognitive mekanismer som dobbel prosessering som styrer menneskelig verbal atferd, sier Yu og co.
Det er interessant arbeid. Ideen om at den menneskelige hjernen behandler informasjon på to forskjellige måter har fått betydelig fart de siste årene, ikke minst på grunn av boken Tenker, raskt og sakte av den nobelprisvinnende psykologen Daniel Kahneman, som har studert denne ideen i detalj.
Et velkjent problem som brukes til å utløse rask og langsom tenkning er dette:
Et balltre og en ball koster $1,10 totalt. Ballen koster $1,00 mer enn ballen. Hvor mye koster ballen?
Svaret er selvfølgelig 5 øre. Men nesten alle har den opprinnelige tilbøyeligheten til å tenke 10 cent. Det er fordi 10 cent føles riktig. Det er i riktig størrelsesorden og antydes av rammen av problemet. Det svaret kommer fra den raske, intuitive siden av hjernen din.
Men det er feil. Det riktige svaret krever den langsommere, mer kalkulerende delen av hjernen din.
Yu og co sier at de samme to prosessene er involvert i å generere setninger. De hurtigtenkende del av din hjernen skaper de grunnleggende struktur av setning ( de ord her merket i dristig). De andre ord krever de tregere, mer beregnende del av din hjerne.
Det er denne doble prosessen som fører til den tre-segmenterte Zipfs lov.
Det burde få interessante konsekvenser for informatikere som jobber med naturlig språkbehandling. Dette feltet har dratt nytte av store fremskritt de siste årene. Disse har kommet fra maskinlæringsalgoritmer, men også fra store databaser med tekst samlet inn av selskaper som Google.
Men å generere naturlig språk er fortsatt vanskelig. Du trenger ikke å chatte med Siri, Cortana eller Google-assistenten lenge for å komme i møte med samtalegrensene deres.
Så en bedre forståelse av hvordan mennesker genererer setninger kan hjelpe betydelig. Zipf ville garantert blitt fascinert.
Ref: arxiv.org/abs/1807.01855 : Zipfs lov på 50 språk: dens strukturelle mønster, språklig tolkning og kognitiv motivasjon