Podcast: Når ansiktet ditt er billetten din





I del-tre av denne siste serien hopper Jennifer Strong og teamet ved MIT Technology Review på banen for å pakke ut hvor mye ting er i endring.

Vi møtes :

  • Donnie Scott, senior visepresident for offentlig sikkerhet, IDEMIA
  • Michael D'Auria, visepresident for forretningsutvikling, Second Spectrum
  • Jason Gay, sportsspaltist, Wall Street Journal
  • Rachel Goodger, direktør for forretningsutvikling, Fancam
  • Rich Wang, direktør for analyse og fanengasjement, Minnesota Vikings

Studiepoeng

Denne episoden ble rapportert og produsert av Jennifer Strong, Anthony Green, Tate Ryan-Mosley, Emma Cillekens og Karen Hao. Vi er redigert av Michael Reilly og Gideon Lichfield.

Avskrift

[TR ID]



Sterk: Jeg er i Queens i nabolaget i nærheten av et enormt stadionkompleks kalt Citi Field. Det er hjemmet til New York Mets, men fordi det er offseason for baseball. Akkurat nå er alt låst og alt du egentlig kan høre er rushtrafikken.

Men hvis du ser opp, langs kanten av stadion hvor tusenvis av fans til slutt vil komme tilbake, kan du se noe av maskinvaren som driver lagets bruk av ansiktsgjenkjenning. Disse kameraene er ment å oppdage ansikter som har blitt utestengt fra eiendommen – folk som billettskalpere, folk som har løpt inn på banen, til og med begått forbrytelser ute på parkeringsplassen, og det systemet drives av et av de største navnene i ansiktet anerkjennelse - NEC. Den er i stand til å måle ting som ører - og den fungerer fortsatt med folk som har på seg masker, hatter og solbriller.

Og så når du kommer over til turnstiles - det er et annet ansiktssystem fra et selskap som er kjent for flyplasssikkerhet - kalt Clear - og det er for billettfri adgang. I utgangspunktet kan du bruke ansiktet ditt som billett. Når du kommer inn er det et betalingssystem i et konsesjonsområde - noe som betyr at du kan kjøpe en øl med ansiktet ditt, hvis du ønsker det.



Men det er når du kommer til setet ditt at ting blir veldig interessant. Selv før pandemien har oppmøtet på baseballkamper vært på nedgang. Faktisk har denne stadion omtrent 15 tusen færre seter enn den den erstattet. Og så, på den ene siden, prøver stadioner å gjøre opplevelsen så trygg og problemfri som mulig, men de prøver også å lære så mye de kan om hvem disse menneskene er på tribunen og det også gjøres med ansiktsgjenkjenning. Jeg heter Jennifer Strong, og i denne siste episoden av miniserien vår ser vi på hvordan dette og andre sporingssystemer endrer sportsopplevelsen på tribunen og på banen.

[VIS ID]

[ Lyd fra Chicago White Sox på Milwaukee Brewers (anker): Ok, vi er tilbake til å spille ball. To ut. 1. omgang. Ingen poengsum. Og slageren blir Harold Baines med en 7-kamps slagrekke...]



[Lyd fra Chicago White Sox hos Milwaukee Brewers: publikum jubler]

Sterk: I flere tiår var det å samle seg rundt TV-en eller radioen den beste måten å konsumere sport på. Ofte betydde det å stille inn i timevis som denne Major League Baseball-kampen fra 1984 mellom Chicago White Sox og Milwaukee Brewers.

[ Lyd fra Chicago White Sox på Milwaukee Brewers (Anchor ): Det er dypt i midtfeltet. Går tilbake.. Det kan være ute herfra. Manning ser opp. Det er her borte! Et hjemmeløp for Harold Baines. Soxs vinner 7-6 i den lengste kampen i amerikansk ligahistorie.]



Sterk: Kampen varte i åtte timer og seks minutter. Og det måtte gjennomføres over to dager. Men sportstitting i dag ser ganske annerledes ut. Menneskelig oppmerksomhet måles i sekunder, og de krymper. Millioner av mennesker ser fortsatt på, men omtrent en tredjedel strømmer dem på mobile enheter. Og av de som fortsatt ser på TV, gjør 80 prosent av dem det mens de bruker en annen enhet for å søke i statistikk, livescore, sende meldinger til andre fans og se relaterte videoer. Segmentet av fans som deltar på spill personlig blir nå sett på som kunder med høy verdi. Og det er et annet sted der ansikts-ID kommer inn.

[ Lyd fra CNBC nyhetssending (anker): Og hvis du ble sint over at Facebook invaderte personvernet ditt, vil du kanskje ikke delta på en større sportsbegivenhet.]

[ Lyd fra CNBC nyhetssending (Eric Chemi): Nye høyteknologiske kameraer kan nå ta et bilde av hver person, i hvert sete, hvert minutt av spillet.]

Sterk: Ansiktsdata samlet inn på stadioner av selskaper som Fancam brukes nå for å få innsikt i fandemografi som alder, kjønn og rase. Panoramakameraer er i stand til å ta bilder med så fine detaljer at du kan zoome inn (fra et fugleperspektiv av et stadion) inn på tribunen, på en individuell person, og fortsatt være i stand til å skille ut nyanser som et smil, skrive på skjorten deres, til og med teksturen på jakken. Og nå kan du også raskt beregne prosentandelen av personer som bærer masker – som i tilfellet med NFLs Minnesota Vikings.

Wang: Dette er nytt for alle. Vi prøver fortsatt å finne ut nøyaktig hvordan vi håndhever disse maskereglene og hvordan vi skal overvåke dem og spore dem.

Sterk: Rich Wang er deres direktør for analyse og fanengasjement. Han er på en Zoom-samtale som viser hvordan de bruker datasyn.

Wang: Også, hvis du ser på denne grafen. Det laveste punktet er at 87% av folk som har masken på mesteparten av tiden og i det meste av spillet. Folk er du kjenner som oppfører seg og håndhever maskeregelen. Så det er virkelig positive historier som vil fortsette å støtte vår sak om økende fans

Goodger: Å kunne bruke denne statistikken til å gjenåpne arenaer og få fans tilbake til stadion. Og så bare som en sikkerhet også, når fansen er tilbake på stadion ved å bruke noen av disse beregningene i tillegg til maskebruken, også å kunne bruke informasjonen om seksjonskapasitet.

Sterk: Og dette er Rachel Goodger, direktør for forretningsutvikling i Fancam.

Goodger: Så det er klart at fansen har et sete tildelt dem når de går inn på stadion igjen, og fansen er sosialt distansert. Men hva skjer hvis fansen begynner å bevege seg rundt på stadion, og en seksjon blir overkapasitet. Du vet, i sanntid for å kunne varsle personalet og for at de skal kunne se den informasjonen og si, ok vel, vi må bryte opp denne delen litt. Og så for lag som kan se tilbake etter hver eneste kamp og si wow, vi gjorde en god jobb i dag. Eller wow, vi trenger virkelig å jobbe mer med maskebruk i det nedre eller øvre målet i denne delen og slike ting. Jeg tror det er data som kommer til å være veldig viktige for ikke bare, som jeg nevnte, for å gjenåpne disse stadionene, men for å holde dem åpne i fremtiden.

Sterk: Selskapet selger data tilbake til idrettslagene som bruker dem til å fremme markedsføringen, og påvirker alt fra hvilken musikk som spilles på stadioner til hvilke annonser folk ser under og til og med etter at kampen er avsluttet.

Scott: Du vil begynne å se dataene du er villig til å dele bredere sammen med teknologien som brukes for identifikasjon for å gjøre ting mer forutsigbare.

Sterk: Donnie Scott er senior visepresident for offentlig sikkerhet ved IDEMIA. Den designer AI-drevne identitets- og sikkerhetsløsninger for alle typer virksomheter.

Scott : Og det vil være alt fra et digitalt førerkort på telefonen til en fysisk lisens, til et kredittkort, til en elektronisk betalingsmekanisme.

Sterk: De lager også biometriske teknologier som gjenkjenner ansikter, fingeravtrykk eller øyne som kan brukes til å bekrefte identitet på sportsstadioner eller andre steder som flyplasser og teatre.

Scott: Så vi vil i hovedsak bygge inn teknologien i lojalitetsprogrammet deres, men vi vil legge til det, muligheten til å koble til enten deres biometri - ansikt, fingeravtrykk, iris i noen land som foretrekker det på grunn av ansiktsdekninger og andre ting, eller mobilen deres enhet der du autoritativt kan dele din biometriske informasjon, eller det faktum at du er sesongkortinnehaver, med et utstyr på spillestedet. Og derfor vet du, når du dukker opp, vet de at Jennifer har billetter til denne kampen. De er gyldige på denne datoen. Hun kan gå gjennom porten.

Sterk: Målet deres? Er å være usynlig. Identitetsdata fanges opp av kameraer som er skjult som ser ut til å være en vanlig svingkors. Alt handler om å skape det som er kjent som en friksjonsfri opplevelse.

Scott : Så spesielt rundt fornøyelsesparker, um, men det samme med stadioner og andre konsertarenaer, teknologien utvikler seg fra å være en enhet som skiller seg ut til å være en del av den normale flyten og cue av selve lokalet.

Sterk: Vi låser allerede opp smarttelefoner med øynene, fingrene og ansiktet, og det ble vant til denne ideen om biometri i hverdagen. Scott tror det kan være grunnen til at responsen på disse tjenestene stort sett har vært positiv.

Scott : Du vet, jeg har sett barna mine vokse opp med først å åpne en Apple-enhet med tommelavtrykket, og deretter gå videre med at de følte de ble veldig dårlig behandlet fordi de ikke kunne låse den opp med ansiktet. Og vi har alle blitt, du vet, de siste 15 årene, 10 årene, ufølsomme for det rare i det. Jeg tror det meste av samfunnet er fokusert på hvordan det gjør livet mitt enklere.

Sterk: Og i en verden der det er like enkelt å bekrefte identiteten din som å låse opp en telefon, kan de biometriske dataene dine bli viktigere enn et pass, bilnøkler eller andre fysiske gjenstander vi har med oss.

Scott : Jeg tror folk kommer til å bli veldig vant til at teknologien er der, hvordan man bruker den, hvordan man samhandler med den og hva man kan forvente av den fordi jeg tror vi kommer til å se den i alle samfunnslag. Vi kommer til å se det når vi reiser. Vi kommer til å se det når vi gjør forretninger med myndighetene våre. Vi kommer til å se det når vi gjør forretninger i dagligvarebutikker i dere vet sports- og konsertlokaler og musikkparker også. Så det kommer til å bli en så standard livsstil at tilgangsdelen vil bli en de facto normal. Og så er det det som skjer videre.

Sterk: Og det som skjer videre kan bety mer personlige opplevelser.

Scott : Jeg tror at det neste som kommer kommer til å være, å aktivere fanopplevelsen. Men etter det blir det, hvordan passer fanopplevelsen inn i livet ditt? Og, du vet, det er et konsept som er ganske stort og bredt, men et som når de to første delene er aktivert gjennom teknologi og aktivert gjennom en aksept av brukeren selv, bare er naturlige ting som kommer med en forbedret, moden bruk av en teknologi. Du kan tenke på en fornøyelsespark, et hode eller en karakter hvor barna kan gå til favorittkarakteren sin og bli anerkjent for hvem de er og få en tilpasset opplevelse som er spesifikk for dem.

Sterk: Noe som sannsynligvis vil skje i stor skala.

Scott : Du kan se en fremtid når du ankom flyplassen eller når du ankommer sportsbegivenheten, og den leder deg til parkeringen din basert på å gjenkjenne bilen din eller dele hvem du er fra telefonen din med flyplassoperatøren eller flyselskapet eller TSA selv. Du ville ha et kjent tidspunkt for å gå ut, ikke sant. Som er den ideelle tilstanden der det står at jeg har en flytur klokken fem i dag basert på ventetidene som er spådd og hvor vi er. Jeg vet at det kommer til å ta meg 12 minutter å komme meg fra forsiden av flyplassen gjennom sjekkpunktet til porten. Og du kommer til å få veibeskrivelse underveis, den samme opplevelsen kommer til å skje for idrettsarenaer og konsertlokaler, hvor du fra parkering vil bli dirigert gjennom den korteste linjen, du vet, den linjen kommer til å beveg deg raskt fordi den er biometrisk aktivert, og så vil den kunne veilede deg til hvor kan jeg få innrømmelsene mine som jeg ønsker, hvor lenge må jeg, før jeg må begynne å gå, slik at jeg kan sitte i setet mitt før det starter, jeg tror den typen sekundære fordeler kommer til å komme ganske raskt ettersom spillestedene blir instrumentert, for å kunne gjenkjenne og identifisere folk.

D'Auria: Jeg tror det er en enorm mulighet til å gjøre denne typen sportsfanopplevelse, mer engasjerende, mer potent. Og jeg tenker bare hvor vi er i de tidlige dagene av det. Jeg heter Mike D’Auria og jeg er visepresident for forretningsutvikling i Second Spectrum.

Sterk: Selskapet leverer sporingsdata og analyseprogramvare for profesjonelle sportsligaer som NBA og Major League Soccer. En serie kameraer som ikke er større enn ditt standard sikkerhetskamera, gir enestående maskinforståelse av hvert spill.

D'Auria: Den typen kjerne i denne teknologien er datasyn som kjører på toppen av disse kamerafeedene. Og det dette er ment å gjøre er å spore bevegelsen til hver spiller og ballen 25 ganger i sekundet. Så du kan tenke i løpet av en typisk NBA-basketballkamp, ​​du kan fange opp millioner av datapunkter som ikke eksisterte før og bruke dem til å bygge en serie med produkter eller opplevelser på toppen av som virkelig kan endre måten vi ser og samhandler med sport.

Sterk: Disse datapunktene analyseres raskt med AI, som kan spytte ut spådommer som sannsynligheten for at en spiller vil senke en tre-peker – mens spillet fortsatt pågår. Den bruker også disse dataene til å levere en mer personlig, interaktiv seeropplevelse for fans som ser eksternt.

D'Auria: I denne siste NBA-finalen kjørte vi det vi kaller videoforsterkning i sanntid på toppen av spillet. Og så det du kan gjøre der er for eksempel å ta den skuddsannsynlighetsmodellen. Og mens spillet spilles, kan du integrere i 3D-rom i videoen, en skuddsannsynlighetsboble over hodet på hver offensiv spiller som oppdateres i sanntid. Vi kan skissere skuespillet som kjøres mens det utfolder seg. Så hvis du prøver å lære litt om spillet, kan du på en måte ha en tutorial eller hvordan ville det føles å ha en trener ved siden av deg. Du vet, eller hvis du bare vil ha det gøy eller på en måte spille litt, du vet, hver gang noen dunker ballen, kan du se et lyn slå ned på bakbrettet. Og så hver av disse opplevelsene er kanskje ikke riktige for alle, men jeg tror vi vil flytte til en verden der direktesendt sport virkelig kan tilpasses slik du ønsker å se det.

Sterk: Og tilgang til mengder av data har forandret hvordan trenere trener spillerne sine.

D'Auria: Så hvis du går tilbake og tenker på måten data tradisjonelt har blitt fanget i sport, ville du ha folk enten sittende på tribunen eller se kampen på TV og på en måte koder manuelt. Det var et skudd. Det var et pass. Det var en pick and roll-aksjon. Og så fra denne typen underliggende sporingsdatasett kan du bruke maskinlæring for på en måte å automatisere hele prosessen.

Sterk: Denne automatiseringen gjør at alle disse dataene kan matches med spillfilm. Trenere, daglige ledere og analytikere kan deretter sile gjennom det med et programvareverktøy som fungerer som en søkemotor.

D'Auria: Og så for folk som jobber på et NBA-lag, kan du stille veldig kompliserte spørsmål eller stille veldig detaljerte spørsmål om spillet. Og med noen få tastetrykk, noen få museklikk, kan du få et veldig presist svar i datavisualisering og en automatisk generert spilleliste med, du vet, for eksempel, hvis jeg ville se på, Anthony Davis, LeBron James, velg og rulle fra høyrekanten der forsvaret iser og Anthony Davis ruller og noen tagger ham fra den svake siden. Og så tar LeBron James et hoppskudd og klarer det. Du vet, du kan få det veldig nøyaktige settet av hver gang den kombinasjonen har skjedd i løpet av disse gutta NBA-karrierer i løpet av sekunder, og deretter bruke det til dine trenerformål. Og nå, eh, noen på lagnivå kan bruke tiden sin på å si, vel, jeg har denne videoen eller denne informasjonen, hvordan kan jeg hjelpe en trener med å implementere det i spilleplanen sin? Eller hvordan kan jeg hjelpe spillerne mine med å lære noe nytt på banen? Så det flytter på en måte arbeidsflyten deres til undervisning og implementering versus slags, du vet, datainnsamling og manuelt arbeid.

Sterk: Og han sier at i løpet av de neste par årene kan rollene til disse maskinene i spillet skifte fra assistenttrener til assistentdommer – noe som gir kontekst og nyanser til vanskelige samtaler.

D'Auria: Jeg mener, vi har sett dette allerede noen andre steder der vi jobber. Så vi skal på en måte gi fotballeksemplet på at du nå har teknologi som vil hjelpe med målet, ingen måloppkalling, ikke sant? Du ser dette i tennis med datasystemer som brukes til å dømme, om en ball er over linjen eller, du vet, innover eller utenfor banen, og være i stand til å gjøre dette med presisjon som helt ærlig er bedre enn hva en linjedommer kunne do eller en dommer som kan ha en veldig vanskelig vinkel for å se om bokstavelig talt hver millimeter av ballen gikk over. Du begynner å se dette med offsidelinjen i fotball også. Så jeg tror generelt at det første stedet dette skjer er å i utgangspunktet, um, du vet, forsterke eller assistere en dommers evner. Så du kan tenke på å gi en dommer og ytterligere datakilde eller, du vet, en ekstra validering av en av avgjørelsene deres.

Sterk: Fordi systemet allerede kan identifisere spillere fra deres trøyer, trenger ikke Second Spectrum å bruke ansiktskartlegging eller gjenkjenning. Men det er nyttig for analyser. Og det er ikke bare spesifikt for å fange ansikter. Akkurat nå vises spillere i systemet som prikker på et kart. Og etter hvert som kamerasystemene deres forbedres, kan disse prikkene forvandles til hele skjeletter. Ekstra detaljer som sanntids albuevinkel kan hjelpe med enda mer nøyaktige skuddforutsigelser. Men ikke alle er ombord.

Gay: Du vet, en sport som jeg følger og synes er fascinerende er sykkelracing og sykkelracing er en sport som faktisk er i en lang samtale om. Fjerner teknologi.

Sterk: Jason Gay er sportsspaltist for The Wall Street Journal.

Gay: Teknologien nå i sykling kan si, ok, hvis du vil vinne dette løpet eller ta igjen denne personen, må du legge ned X mengder innsats i X antall minutter. Og du har faktisk disse dataene rett på en datamaskin ombord, på en sykkel foran deg som forteller deg nøyaktig hva du skal gjøre. Nå. Det er liksom en fantastisk ting. Men det er heller ikke så veldig menneskelig, ikke sant? Det ser ut til å være noe klinisk, og det har skapt det som mange føler er litt av en tørr racingstil der folk er datadrevne og de bruker hodet for mye, i motsetning til hjertet. Franskmennene har et uttrykk for panache. De elsker å se løp vunnet med panache, som i bunn og grunn betyr vårt mageinstinkt. Og så har det vært samtaler om, vel, hva om vi tar disse datamaskinene fra syklistene og får dem, du vet, til å bruke hodet i hjertet til å sykle. Nå er det en sikkerhetshensyn her som er samtidig med dette, ikke sant? Du vil faktisk ha den informasjonen skaper en tryggere opplevelse for en rytter ofte, men det er fascinerende at teknologien har blitt så god i visse tilfeller, når det gjelder å maksimere innsatsen eller fortelle en idrettsutøver hvilken innsats som kreves, at de er begynner å trekke seg tilbake fra det.

Sterk: Og for sport som omfavner denne teknologien, endrer det hvordan spillet spilles.

Gay: Her er et eksempel fra baseball, og vi ser ganske ofte at en manager kommer til en haug og fjerner en pitcher fra en kamp, ​​selv om pitcheren pitcher veldig, veldig bra den dagen, grunnen til at de fjerner dem er at dataene viser at dette pitcher har en tendens til å bryte sammen på et visst tidspunkt. Det er nesten som et bildekk eller noe. Og de sier bare at denne pitcheren på dette tidspunktet av spillet historisk sett kommer til å slutte å prestere på det høye nivået vi trenger ham til. Så vi skal ta det grepet. Vi fjerner liksom magefølelsen ved å si at der, javel, han ruller i dag, la oss bare la dem gå. De er avhengige av tallene.

Sterk: Datadrevne spillstrategier endrer også hvordan team rekrutterer. Som i basketball, hvor spillere som kan utføre et trepunktsskudd (en gang betraktet som en gimmick av NBA) nå anses som ekstremt verdifulle.

Gay: Årsaken er at basketballag ved å se på tallene deres oppdaget at et trepoengsskudd er et mer effektivt skudd. Du vil heller ta det trepunktsskuddet enn å ta et lengre topunktshopp. Og så prioriterer du trepekeren i en forseelse. Det mest ekstreme eksemplet på dette - Houston Rockets, hvor du har en flerårig MVP-kandidat i James Harden som ofte tar tre poeng etter tre poeng i et spill, fordi det er en effektiv måte for dem å spille på.

[ Sound of Houston Rockets på Los Angeles Clippers (kunngjørere): Harden, ingen i nærheten av ham, setter hele tiden og spikrer trepoengeren! Skritt tilbake, åpne tre, skjønner! James Harden går tilbake legger opp en treer, Den går, spretter og faller gjennom!]

Sterk: Teknologi spiller også assistenttrener på steder som garderoben til The Dallas Mavericks.

[Lyd fra video av Marc Cuban på Dallas Mavericks (cubansk): Det som vil skje er når en spiller kommer inn, eller noen kommer inn, vil vi ha ansiktsgjenkjenning. Det vil ta et bilde av deg og det vil si 'ok her kommer Marc eller her kommer Dirk']

Sterk: Marc Cuban er deres eier.

[Lyd fra video av Marc Cuban ved Dallas Mavericks (cubansk ): Og for noen av spillerne eller noen av staben vil det sette trenernotater: her er hva du forventes å gjøre og fortelle deg hva som skjer. For alle vi ikke kjenner, kommer det til å bli ehh-ehh-ehh for helvete.]

Sterk: Og det er ikke bare basketball. Å bruke AI for å finne det mest effektive spillemønsteret vokser på tvers av alle idretter. Og det er en rolle for ansikts-ID også. Den samme ansiktskartleggingen som ser når du ser direkte på telefonen din for å låse den opp, kan også hjelpe trenere med å se hva spillerne fokuserer på i løpet av spillet.

Gay: Jeg mener, det er en utrolig integrert ting for si en fotball-quarterback. Hvis du på en eller annen måte kunne gjengi hva en fotball-quarterback ser på eller enda viktigere ikke ser på, ikke ser downfield. Vel, du kan se, du vet, umiddelbar nytte for enhver quarterback, hvilket som helst fotballag. Men det gjelder også en point guard eller, du vet, noen som spiller venstre tackling eller noen som tar på et baseballlag. Det er mange skuespill som hvis du er i stand til å se på hva en idrettsutøver ser på banen eller ikke ser igjen, noe som sannsynligvis er det viktigste, vil det få enorme konsekvenser.

Sterk: Neste episode avslutter vi miniserien vår med en titt på hvordan ansiktskartlegging forvandler shoppingopplevelsen. Og spoilervarsel – det går langt utover bare å identifisere hvem som er i butikken

Guive Balooch: For å virkelig virtuelt kunne prøve på med augmented reality-sminke, må du oppdage hvor øyet er og hvor øyenbrynet er. Og, um, det må være på et nøyaktighetsnivå at når produktet er der, ser det ikke ut som det ikke akkurat er på leppen din og folks lepper er, kan variere i form, fargen mellom hudtonen din og din leppe, kan også være veldig forskjellige. Og så du må ha en algoritme som kan oppdage det og sørge for at det fungerer.

Sterk: Denne episoden ble rapportert og produsert av meg, Anthony Green, Tate Ryan-Mosley, Emma Cillekens og Karen Hao. Vi er redigert av Michael Reilly og Gideon Lichfield. Takk for at du lyttet, jeg heter Jennifer Strong.

[TR ID]

gjemme seg