Bør høyskoler virkelig sette smarte høyttalere i sovesaler?

Da Mateo Catano kom tilbake for sitt andre år som undergraduate ved Saint Louis University høsten 2018, fant han seg selv med en ny romkamerat – ikke en annen student, men en kroppsløs hjerne i form av en Amazon Echo Dot.

Tidligere samme sommer hadde informasjonsteknologiavdelingen ved SLU installert om lag 2300 av smarthøyttalerne – én for hvert av universitetets residensrom, noe som gjorde skolen til den første i landet som gjorde det. Hver enhet var forhåndsprogrammert med svar på rundt 130 SLU-spesifikke spørsmål, alt fra bibliotekets åpningstider til plasseringen av registrarens kontor (skolen kalt denne AskSLU). Enhetene inkluderte også de grunnleggende stemmeferdighetene som er tilgjengelige på andre Dots, inkludert alarmer og påminnelser, generell informasjon og muligheten til å streame musikk.

Denne historien var en del av januar 2020-utgaven vår

• Se resten av saken
• Abonnere

For Catano var Dot et kjærkomment tillegg. Han likte å høre været først om morgenen og vite hvilke spisesaler som var åpne. Og hvis han skal være ærlig, likte han selskapet. Å leve i singel, AskSLU fikk meg definitivt til å føle meg mindre ensom, sier han. Og jeg likte statusen til å være på det første universitetet som gjorde dette.

Catanos reaksjon var akkurat det SLU-administratorene håpet på. I høst kunngjorde jesuittinstitusjonen planer om å utvide stemmeferdighetene til Echo Dots ved å inkludere både tekstmeldinger og chatbot-funksjoner.

Ingen anelse om langtidseffektene

Vi er på randen av en ny æra med smarthøyttalere på campus. Skoler så omfattende som Arizona State University, Lancaster University i Storbritannia og Ross University School of Medicine i Barbados har tatt i bruk stemmeferdighetsteknologi på campus. Noen, inkludert Northeastern University, har tatt teknologien et skritt videre og gir nå studentene tilgang til økonomi, kursplaner og karakterer, og utestående avgifter via taleenheter.

På slutten av 2018 kunngjorde Bostons Emerson College at det var en av 18 mottakere av et stipend fra Amazon for å fremme stemmeaktivert teknologi på campus, en del av teknologigigantens Alexa Innovation Fellowship. Emerson har laget et dedikert stemmelaboratorium der studentene kan samhandle og eksperimentere med Alexa-ferdigheter, og den planlegger å installere Alexa-enheter på steder som teatre og utenfor heisbanker.

Administratorer ved noen av disse skolene fortalte meg at de tror Alexa vil styrke påmeldingen og redusere frafallet. Flere sa også at de tror stemmeteknologi kan øke elevenes suksess og øke deres generelle lykke.

Imidlertid er det mange mennesker på campus som ser en mørk side.

Når det gjelder å distribuere lytteenheter der sensitive samtaler oppstår, har vi rett og slett ingen anelse om hvilken langsiktig effekt det å ha samtaler tatt opp og oppbevart av Amazon kan ha på fremtiden deres – til og med, muligens, på deres helse og velvære, sier Russell Newman, en Emerson-professor som forsker på den politiske økonomien til kommunikasjon og kommunikasjonspolitikk.

Vi vet fortsatt ikke helt hvor mye data stemmeferdigheter verter som Amazon – eller tredjeparter som er avhengige av Amazon – høster, eller hva de gjør med den informasjonen.

Andre fakultetsmedlemmer jeg snakket med gjentok Newmans innvendinger. Hva om data hentet fra studentenes samtaler påvirket sjansene deres for å få boliglån eller jobb senere? Hva om det ble brukt mot utenlandske studenter for å få dem deportert, eventuelt til hjemland hvor de kunne bli fengslet for sine politiske synspunkter?

Ikke sant. Så gitt alle risikoene, hvorfor er høyskoler så ivrige etter å fylle studiestedene sine med AI-aktiverte mikrofoner? Hva er det for dem?

AI til unnsetning

Høyskoler og universiteter står overfor flere truende kriser. Etter år med skyhøye påmeldingstall, ser amerikanske skoler nedgang i opptak, en trend som forventes å forverres i løpet av det neste tiåret. En spesialrapport fra november 2019 fra Chronicle of Higher Education spår raske nedganger ved selv landets mest selektive institusjoner. Institusjonelle inntekter har stanset - Moody's Investors Service ga negative utsikter for høyere utdanning for regnskapsåret 2019, med unntak av universiteter i sør. I tre år har utdanningsdepartementet forsøkt å kutte milliarder fra økonomisk støtte og støtte til fattigere studenter, selv om kongressen har avvist kuttene. Statens bidrag til offentlige universitetsbudsjetter har ligget etter siste lavkonjunktur. Private høyskoler sliter også; mer enn en fjerdedel av dem er nå i minus. De siste årene har 20 private, ideelle høyskoler stengt dørene, og mange flere vurderer å slå seg sammen eller konsolidere.

I mellomtiden klarer ikke halvparten av alle studenter som går inn på college å oppgradere innen seks år. Forskere gir en rekke forklaringer. Nick Bowman, professor i utdanning ved University of Iowa, peker på det faktum at dagens studenter er eldre enn de tradisjonelle 18- til 22-åringene. Mange har fulltidsjobb. Noen har omsorg for barn eller søsken eller aldrende foreldre. Og med et gjennomsnitt på 35 000 dollar i studielånsgjeld etter fire år på skolen, kan utsiktene til å droppe ut være fristende.

For mange høyskoleadministratorer tilbyr AI tiltalende løsninger på disse vanskelighetene. Winston-Salem State University, et historisk svart universitet med mange lavinntekts- og førstegenerasjons studenter, har hatt vedvarende problemer med å hjelpe hver påmeldte klasse med å nå nøkkelfrister som å sende inn utskrifter og vaksinasjonsdokumenter fra videregående skole, fylle ut skjemaer for økonomisk støtte og lage boliginnskudd. Vi innså at mange av studentene våre kanskje ikke forstår påmeldingsprosessen til høyskoler og kanskje ikke kan stole på familier eller støttesystemer for å dekode den for dem, sier Jay Davis, universitetets leder for medierelasjoner.

For to år siden inngikk WSSU et samarbeid med et teknologifirma kalt AdmitHub for å tilby en AI-chatbot ved navn Winston for å hjelpe studenter med å navigere i registreringsprosessen. Davis sier at appen svarer på omtrent tre fjerdedeler av studentenes spørsmål, og at det har vært en dramatisk økning i antall studenter som oppfyller deres økonomiske krav og sender inn alle støttedokumentene som er nødvendige for å fullføre søknaden. I år er WSSU vertskap for sin største førsteårsklasse på mer enn et tiår, og Davis sier at Winston spilte en stor rolle i det.

Tilgang til ordene dine, for alltid

Jeg brukte flere timer på å leke med chatbots på en håndfull høyskoler og universiteter. De stilte alle spørsmål om skolens maskot, hvor jeg kunne finne middag, og når neste sports- eller alumninettverksarrangement var. Men de flubbet andre. Da jeg fortalte en at jeg var syk, informerte det meg om at studenthelsestasjonen ikke ville gi en skriftlig unnskyldning for tapte timer. Jeg spurte den hvor studenthelsestasjonen var; det svarte med universitetsreisetider for potensielle studenter. Jeg fortalte en annen at jeg følte meg deprimert, og det henviste meg til et føderalt studieprogram for økonomisk støtte.

Campus-programmererne på den andre siden av disse enhetene fortalte meg alle at ferdighetene ville bli bedre etter hvert som flere studenter brukte dem – noe som selvfølgelig er det som gjør AI så effektiv. Men det er også det som gjør trusler mot personvernet vårt så reelle, sier Vitaly Shmatikov, professor i informatikk ved Cornell Tech. Teknologiselskaper, sier Shmatikov, er notorisk ugjennomsiktige når det gjelder personvern og sikkerhet. Det han og andre lærde har lært om dem er i stor grad ved hjelp av omvendt konstruksjon og litt utdannet gjetting, og funnene angår Shmatikov mye.

For det første, sier han, trener selskaper som Amazon sine talegjenkjenningsalgoritmer på opptak av tidligere brukerinteraksjoner for å gjøre dem bedre til for eksempel å forstå hensikten med et spørsmål. Han sier at alle de involverte selskapene er svært usikre på hvor mye data som reiser mellom dem. Det er ingen løfter til brukeren om at dataene deres ikke vil forlate en bestemt enhet, sier Shmatikov. Vi vet fortsatt ikke helt hvor mye data stemmekompetanse verter som Amazon – eller tredjeparter som er avhengige av Amazon – høster, eller hva de gjør med den informasjonen. Amazon svarte ikke på flere forespørsler om kommentarer.

Shmatikov sier det er rimelig å anta at et selskaps sky har dato- og tidsstemplede opptak av studentenes forespørsler til en smarthøyttaler, og enhetene kan til og med ta opp samtalene studenten kan ha hatt med andre før eller etter å snakke med den. Etter hvert som stemmeidentifikasjon og plasseringsferdigheter forbedres, vil det i økende grad bli mulig å knytte disse opptakene til en enkeltperson. Det er ikke som en skole som søker i skapet ditt; det er mer som et skoleopptak i evighet alt som noen gang har vært i skapet ditt og hva du og vennene dine sa hver gang du åpnet det, og deretter la en rekke kommersielle enheter søke i den informasjonen.

Tjenestemenn ved Arizona State University og Saint Louis University sier at de ikke kobler informasjon som studentenes økonomi, helsejournaler og karakterer (data kjent som autentisert, siden det krever at en student kobler til personlige kontoer) før de er mer sikre på sikkerhetstiltak. Teknologien som ble brukt ved Northeastern ble utviklet av et lite team ledet av Somen Saha, som da var ansatt ved universitetet. Saha opprettet til slutt et uavhengig selskap kalt n-Powered, som utviklet en app kalt MyHusky som er tilgjengelig gjennom Alexa. Imidlertid erkjenner personvernsiden også at vi bruker Amazons plattform for å få dette til å fungere. Amazon lagrer informasjon om bruk som kan slettes på forespørsel.

Shmatikov sier at å bruke et universitets egen programvare og begrense bruken av chatbots til generelle spørsmål kan begrense et teknologiselskaps tilgang til studentinformasjon, men det vil ikke løse problemet helt. Han peker på sensitive spørsmål som om helsestasjonen tilbyr STD-testing eller resepter for å behandle tilstander som schizofreni: teknisk sett er disse ikke knyttet til en spesifikk student, men det er ikke så vanskelig å finne ut hvem som spør, og studentene er kanskje ikke klar over det. Dette er ikke alltid anonyme spørsmål. I tillegg, sier Shmatikov, så lenge et selskap som Amazon konverterer studentforespørsler til datasignaler, har det tilgang til studentens informasjon – for alltid.

Skremmende konsekvenser

Personvern er en bekymring for enhver bruker av en AI-enhet, men fakultetet jeg snakket med for denne historien insisterer på at det er spesielt skumle konsekvenser for høyere utdanning.

Høyskolestudenter er kanskje den mest attraktive kategorien av forbrukere, sier Emersons Newman. De er de vanskeligste å nå og mest sannsynlig å sette trender. Som et resultat, sier han, er dataene deres noen av de mest verdifulle og mest sannsynlige for å bli utvunnet eller solgt. Og for utdanningsinstitusjoner å være medskyldige i kommodifisering av studenter for bedriftsvinning er, sier han, fundamentalt motsatt til deres oppdrag.

Sarah T. Roberts, assisterende professor i informasjonsstudier ved UCLA, sier at skoler som inngår avtaler med teknologiselskaper i det minste potensielt setter elevenes velvære i fare. En students tid på en høyskole eller et universitet brukes til å utforske ideer og prøve nye identiteter, enten det er politisk tro eller kjønn og seksualitet, sier Roberts. Kunnskapen om at de blir registrert mens de gjør det, vil utvilsomt hindre elevene i å føle at de kan si sin mening. Det er også verdt å huske, sier hun, at mange studenter kommer fra land der det kan være farlig å avsløre sin seksualitet eller politiske overbevisninger.

På Northeastern opprettet en student en underskriftskampanje på nett som krevde at universitetet skulle fjerne alle Alexa-enheter. Det lyder delvis: Alexas er godt dokumentert som skjulte lytteenheter som brukes til å hjelpe til med å skjerpe Amazons markedsføringstaktikker .... I det minste tvinger Northeastern University en fremmed enhet i studentrom som ingen ba om. I verste fall krenker de hensynsløst studentorganets personvern på instruks fra en bedriftsgiver. I begynnelsen av desember hadde oppropet 125 underskrifter.

Ved Emerson har studenter og andre fakultetsmedlemmer sluttet seg til Newman for å opprette en komité for å utarbeide personvernregler for campus. I det minste, sier han, skulle han gjerne sett at det ble plassert varselskilt overalt hvor et lytteapparat befinner seg. Han sier at administrasjonen så langt har vært samarbeidsvillig, og utplasseringen av eventuelle enheter har blitt forsinket.

Vi trenger en sikker måte å eksperimentere med disse teknologiene på og forstå konsekvensene av bruken av dem i stedet for å bare fortsette en blind marsj mot overvåking med det formål å tjene penger, sier Newman. Dette er sofistikerte applikasjoner med livslange konsekvenser for individene som blir analysert av dem, til ender som ennå ikke er kjent. Vi må alle være veldig fornuftige og gjennomtenkte her.

Kathryn Miles er frilansskribent og forfatter av Quakeland: On the Road to America's Next Devastating Earthquake . Historien hennes The Little Coin That Ate Quebec dukket opp i mai/juni 2018-utgaven.

gjemme seg