211service.com
Podcast: Hvordan prisalgoritmer lærer å samarbeide
Ms Tech | Envato
Algoritmer bestemmer nå hvor mye ting koster. Det kalles dynamisk prising, og det justeres i henhold til gjeldende markedsforhold for å øke fortjenesten. Fremveksten av e-handel har drevet prisalgoritmer til en hverdagslig foreteelse – enten du handler på Amazon, bestiller fly, hotell eller bestiller en Uber. I denne fortsettelsen av serien vår om automatisering og lommeboken din, utforsker vi hva som skjer når en maskin bestemmer prisen du betaler.
I denne episoden møter vi:
- Lisa Wilkins, UX-designer
- Gabe Smith, sjefevangelist, Pricefx
- Aylin Caliskan, assisterende professor, University of Washington
- Joseph Harrington, professor i næringsliv, økonomi og offentlig politikk, University of Pennsylvania
- Maxime Cohen, Scale AI Chair professor, McGill University
Studiepoeng:
Denne episoden ble rapportert av Anthony Green og produsert av Jennifer Strong og Emma Cillekens. Vi er redigert av Mat Honan og vår miksingeniør er Garret Lang, med lyddesign og musikk av Jacob Gorski.
Full utskrift:
[TR ID]
Jennifer: Greit, så jeg er på en flyplass like utenfor New York City og ser bare på avgangstavlen her og ser alle disse flyreisene som går forskjellige steder... Det får meg til å tenke på hvordan vi bestemmer hvor mye noe skal koste... som en billett til en av disse flyreiser. For hvor flyet skal er bare en del av puslespillet. Prisen på flybillettene er svært personlig tilpasset. Det inkluderer enorme mengder forbrukerdata. Prisene endres også i sanntid basert på ting som våre bestillingsmønstre, konkurrentpriser, til og med været….
Jennifer: Men det var ikke alltid sånn. Det var en gang … vi kunne stole på forestillingen om at det du ser er det du får.
I disse dager bestemmes prisene av algoritmer. Det kalles dynamisk prising ... som priser ting i henhold til gjeldende markedsforhold for å øke fortjenesten.
Og det er ikke bare flyselskaper som bruker denne teknikken.
[SOT: Forhandlere vedtar 'Dynamisk prissetting' - via YouTube]
TV-nyhetsreporter: En praksis startet av flyselskapene, dynamisk prissetting har nå blitt tatt i bruk av forhandlere, takket være noe ny teknologi.
[SOT: Amazon anklaget for høyprising WCPO ABC 9, via YouTube]
TV-nyhetsreporter: ...og det blir mer og mer vanlig takket være dataalgoritmer. Du finner det med Disney World-billetter, hotellrom, Major League Baseball-seter...og nå. AMAZON.
Jennifer: Netthandel drev disse algoritmene til en hverdagslig foreteelse ...
Men hva betyr det for forbrukerne?
[SOT: ANTITTRUST OG KONKURRANSE KONFERANSE Del 12 Dag to Panel tre 'Amazon Phenomenon' - via YouTube]
Lina Khan, direktør, juridisk politikk, Open Markets Institute: Amazon endrer prisene to millioner ganger om dagen, vet du, så hva er en stabil pris for noen av oss, og hvordan kan vi vite at vi betaler forskjellige priser? Jeg tror det kommer til å bli et sentralt spørsmål fremover.
Jennifer: Jeg er Jennifer Strong og denne episoden, hva skjer når en maskin bestemmer prisen du betaler.
[VIS ID]
OC:...du har nådd målet ditt.
[MUSIKK]
[SOT: KIRO7 Seattle - Via nettet]
Nyhetsanker 2: Da det lød skudd i går kveld, lette folk etter en utvei. I kveld sier noen at sikkerheten gikk til høystbydende.
Jennifer: Det var midt på kvelden pendling. januar i fjor. Da det var en skyting i sentrum av Seattle.
Nyhetsanker 1 : Rideshare-selskaper er under ild i kveld for å heve prisene mens folk prøvde å flykte fra skuddvekslingen. Noen ryttere sier at de ble kuttet.
Lisa Wilkins: Bussen som jeg vanligvis tok, skulle gå nedover gaten som skytingen skjedde på. Så alle bussene som skulle ned den gaten, stoppet alle. De ble ikke omdirigert eller noe, de bare stoppet.
Jennifer: Lisa Wilkins jobber innen teknologi, og kontoret hennes er mindre enn et kvartal unna der skytingen skjedde.
Lisa Wilkins: Jeg bestemte meg for å ta en Uber eller Lyft, og du vet, ta den med hjem eller ta den tilbake til bilen min, som er ved en Park and Ride, som var omtrent 17 miles unna. Og så da jeg åpnet appen, så jeg at det var som hundre dollar eller noe å komme dit når det normalt ville ha vært kanskje 30 dollar.
Jennifer: Når etterspørselen er høy, blir prisen på en tur med Lyft eller Uber automatisk dyrere. I nødstilfeller setter selskaper et tak for disse prisene når det er klart hva som skjer, og i dette tilfellet tilbød de å refundere syklister som betalte høyere priser.
Men selv om jobben til Lisa Wilkins er å designe apper med et øye på brukeropplevelsen, sier hun at det fortsatt tok et øyeblikk å innse hva som skjedde med henne - var på grunn av en prisalgoritme.
Lisa Wilkins: Først var jeg veldig sint fordi du vil ta det personlig, som om de gjør dette med vilje. Dette er en skyting og de utnytter det. Og så da jeg på en måte snakket med en annen kollega om det. Du vet, vi var fortsatt opprørt over at det skulle koste så mye å komme noen vei, men vi innså at dette er prisstigning. Dette er en bot som i utgangspunktet sier hva prisene kommer til å være. Og som en UX-designer, forstår jeg at det er mange kantsaker som du kanskje ikke planlegger for at skal skje i produktet ditt.
Jennifer: Og dette kan ha noen utilsiktede resultater.
Gabe Smith: Det var en bok om fluegenetikk på Amazon. Det var .. det var to konkurrerende algoritmer som bare fortsatte å se på hverandre og øke prisen litt. Den andre ville øke prisen litt på toppen av det. Og de fortsatte bare ukontrollert frem og tilbake i, vet du, mange dager. Og det endte opp med at prisen på denne boken var som $1,2 millioner riktig.
Gabe Smith: Mitt navn er Gabe Smith og jeg er sjefevangelisten for PriceFX. Og jeg har ca 14 års erfaring innen prisoptimalisering og styring.
Jennifer: Han bruker kunstig intelligens og andre verktøy for å hjelpe bedrifter med å bestemme hva noe skal koste. Han tenker også på hvordan han kan unngå disse uteliggere ... som den millionboken om insekter.
Gabe Smith: Så på åttitallet var det virkelig når datakraften og datatilgjengeligheten kom til et punkt hvor disse teknikkene kunne begynne å bli utnyttet. Og egentlig dukket det opp først i flybransjen og deretter i andre reise- og fritidsnæringer som leiebiler og hoteller.
Jennifer: Dynamisk prissetting kan hjelpe bedrifter å vite hva de skal ta betalt for produkter som utløper eller er begrenset i tilbud. Som når et fly letter ... det er ingen endring på hvor mange av disse setene som er fylt. Så for å oppnå størst mulig omsetning, må flyselskapene selge flest mulig seter til høyest mulig pris. Og for å lære hva den prisen er? De må forstå nyansene i passasjeradferd og markedsetterspørsel.
Gabe Smith: Så det var egentlig den første bruken av prisoptimalisering og kunstig intelligens for å drive prising inn i et marked. Og siden den gang har den virkelig utvidet seg i bruk på tvers av mange forskjellige bransjer. Vi har for eksempel et selskap som driver med dynamisk prissetting av skibilletter basert på kommende arrangementer, værforhold, snøforhold, men vi har også andre kunder som selger elektronikk, kjemikalier. Vi har industrielle produksjonsselskaper, distribusjonsselskaper, virkelig disse teknikkene blir tatt i bruk i en rekke bransjer.
Jennifer: Nøkkelen til å få alt til å fungere er et rikt datasett om kunder og hva som driver betalingsviljen deres. Jo mer data... Jo mer målrettede priser kan være for enkeltpersoner.
Gabe Smith: Hvordan de oppfører seg. Hvilket produkt du tilbyr. Ting som hva er arten av transaksjonen eller tilbudet du gjør? Alle disse kan tas med i prisoptimaliseringsalgoritmene dine og påvirke hva du skal tilby. Så hvis du har slike data, kan det faktisk være ganske enkelt å kunne implementere prisoptimalisering. Så vi har kunder der vi har implementert ting på så lite som et par måneder.
Jennifer: Og han sier at disse systemene blir bedre til å håndtere kompleksitet og balansere konkurrerende mål.
Gabe Smith: Så kanskje jeg vil være sikker på at jeg alltid er posisjonert på en bestemt måte i forhold til konkurrentene mine, ikke sant? Eller kanskje jeg vil si: ‘Hei, jeg vil aldri øke prisene med mer enn 5 % på noen.’ Prøver jeg å maksimere inntektene, prøver jeg å maksimere fortjenesten? Prøver jeg å maksimere volumgjennomstrømmingen? Jeg kunne balansere mellom disse. Så, hva som skjer i organisasjoner, vet du, det er konkurrerende mål mange ganger. Og så kan du veilede ikke bare, ok, hva er min listepris, men hva er, du vet, den forhandlede prisen eller kampanjen basert på en kundeproduktkombinasjon.
Jennifer: Disse begrensningene er viktige fordi prissettingsalgoritmer ikke er bundet, ganske enkelt kan prioritere høyere priser.
En annen sak? Sørge for at disse prisene ikke forsterker systemisk skjevhet.
Men dette er ikke så enkelt.
Gabe Smith: Det kan være at du ikke ser en av disse tingene eksplisitt, men de kan være like under overflaten i en annen egenskap du bruker. Så hvis du bruker et postnummer eller du bruker demografien når det gjelder inntektsnivåer, vet du, det kan være systemisk skjevhet som er i disse dataene. Så du må virkelig tenke gjennom hvordan du bygger disse tingene ut og sørge for at du gjør det riktige fra et etisk perspektiv. Og jeg tror at en del av aksepten er: Føler jeg at jeg som forbruker får en god avtale eller en bedre avtale i noen tilfeller som følge av dette, eller er det alltid til leverandørens fordel?
[MUSIKKOVERGANG]
Aylin Caliskan: Vi vet at storteknologi bruker disse individualiserte prisalgoritmene mye, og vi forstår ikke nødvendigvis hva som skjer bak disse systemene eller algoritmene fordi de er svarte bokser. Vi ser bare resultatene på individuell basis, i utgangspunktet prisen vi mottar. Og vi har egentlig ikke metoder eller datasett for å systematisk studere prisdiskrimineringsalgoritmer.
Aylin Caliskan: Jeg er Aylin Caliskan. Jeg er for tiden assisterende professor ved University of Washington og min forskning fokuserer på maskinlæring og kunstig intelligens skjevhet.
Jennifer: For et par år siden ga byen Chicago mandat at selskaper som Uber og Lyft offentliggjorde prisdata til publikum. Dette ga forskerne tilgang til millioner av anonymiserte turer over hele byen. Hun sammenlignet priser med demografien i nabolaget og hva hun fant? Overrasket henne.
Aylin Caliskan: Resultatene våre viser at nabolag som har yngre innbyggere eller høyt utdannede innbyggere, betalte betydelig høyere billettpriser. Og nabolag som har høyere ikke-hvite innbyggere, så vel som fattige nabolag, vi betaler også høyere billettpriser som ble bestemt av disse prisdiskrimineringsalgoritmene.
Jennifer: Teamet hennes vil vite hvorfor dette skjer, men det er vanskelig uten detaljer om tilbud og etterspørsel - som ikke er offentliggjort.
Forskere er bare i stand til å få en delmengde av disse dataene.
Aylin Caliskan: Betaler innbyggere i vanskeligstilte nabolag høyere rettferdige priser på grunn av egenskapene til nabolagene deres. Eller har tilgangen på sjåfører en innvirkning på rettferdig prising i disse nabolagene der etterspørselen virker relativt lav. Men hvis tilbudet er enda lavere, vil den relative etterspørselen følgelig se høyere ut, noe som kan øke billettprisene og jo mer åpenhet, jo bedre metoder kan vi utvikle for å studere den ulike virkningen av disse algoritmene eller deres dynamikk, hvordan de lærer av nabolaget transportmønster og trafikkmønster.
Jennifer: Som tar opp en annen vanskelig sak? Det er egentlig ingen regler om dette.
Aylin Caliskan: Vi trenger mer politikk og regelverk slik at vi kan få tilgang til dette datasettet og fortsette å studere dette og forstå hvordan dette kan påvirke smart byplanlegging samt ressursallokering, fordi hvis slike datasett brukes for eksempel i førerløse biler eller ressursallokering i smarte byer, kan disse skjevhetene ende opp med å bli videreført eller potensielt forsterket i fremtiden, og forårsake alle slags uventede bivirkninger som vi må håndtere i fremtiden.
Jennifer: Etter pausen finner vi ut hvordan regulering kan se ut ... og vi lærer hvordan disse algoritmene kan fungere i en dagligvarebutikk.
Men først vil jeg fortelle deg om en hendelse kalt CyberSecure. Det er Tech Reviews cybersikkerhetskonferanse, og jeg vil være der sammen med kollegene mine og snakke om løsepengevare og andre viktige problemer. Du kan lære mer på Cyber Secure M-I-T dot com.
Vi kommer straks tilbake... etter dette.
[MIDROLL]
[MUSIKK]
Jennifer: Prisalgoritmer kan også hjelpe forbrukere... ved å tilpasse produkter og anbefalinger ... eller gi innsikt til selskaper som hjelper dem med å designe bedre produkter og tjenester.
Men disse systemene gir også nye utfordringer for de som regulerer konkurransen.
Kongressen vedtok den første antitrustloven for over et århundre siden, men det var ikke før i 2015 at regjeringen saksøkte sin første antitrustsak spesifikt rettet mot e-handel. I så fall erklærte en mann seg skyldig i å ha konspirert for å ulovlig fikse prisene på plakater han solgte på Amazon med andre selgere... ved å bruke en algoritme laget for å koordinere prisendringer.
Joseph Harrington: Prisalgoritmen vil se seg om etter den beste eller laveste prisen til konkurrerende selgere, det vil si konkurrenter til de to nettselgerne. Og så ville de to nettselgerne satt en litt lavere fellespris. Så de to selgerne konkurrerte fortsatt mot andre firmaer i markedet, men konkurrerte bare ikke mot hverandre. Så i stedet for å koordinere på en felles pris, koordinerte de på en felles prisalgoritme og det hadde samme effekt med å redusere konkurransen.
Joseph Harrington: Så jeg er Joe Harrington. Jeg er professor i virksomhet, økonomi og offentlig politikk ved Wharton School, University of Pennsylvania. Min forskning er innen samhandling og karteller.
Jennifer: Saken som involverer Amazon-plakatselgerne er noe som er ganske nær tradisjonell samordning ... der ellers konkurrerende virksomheter koordinerer priser via direkte, menneskelig til menneskelig kommunikasjon.
Men det er økende forskning om at prisalgoritmer selv kan lære å danne et slags digitalt kartell for seg selv ... og samarbeide for å heve prisene uten menneskelig involvering.
Joseph Harrington: La oss nå tenke på en leder som bestemmer seg for at de skal delegere prisbeslutningen til en selvlærende algoritme. Den selvlærende algoritmen kommer til å eksperimentere med forskjellige prisalgoritmer eller prisregler i håp om å finne de som er mer lønnsomme. Så de ender opp med mer lønnsomme prisregler. Og grunnen til at de er mer lønnsomme er på grunn av det faktum at de selvlærende algoritmene har lært å ikke konkurrere mot hverandre.
Jennifer: Og forskere i Italia har allerede funnet bevis på at det skjer i et simulert miljø.
Joseph Harrington: Så de vurderte en veldig standard økonomisk modell av et marked. En som har blitt brukt av mange økonomer, både til teoretisk og empirisk arbeid. Og spørsmålet var om de kunne lære å samarbeide i et ganske sofistikert og komplekst simulert miljø. Og svaret er veldig klart, ja, det er funnet å være priser som bare rutinemessig var godt over konkurransedyktige priser, noen ganger ganske nær monopolpriser.
Jennifer: Han sier at disse selvlærende algoritmene oppfører seg på en måte som speiler menneskelige karteller.
Joseph Harrington: Algoritmer setter en høy pris over konkurransedyktige priser, som da skaper et insentiv, i det minste på kort sikt, til å sette en lavere pris for å ta flere markedsandeler og høyere fortjeneste. Det de selvlærende algoritmene har lært om konsekvensene av å avvike fra det ved å sette en lavere pris, er at den andre selvlærende algoritmen har tatt i bruk en prisalgoritme som vil straffe den oppførselen. Så spesifikt hvis en av dem plutselig skulle senke prisen, ble den andre selvlærende algoritmens prisalgoritme opplært til å svare med en veldig lav pris som svar. Prisene ville forbli lave i en stund, men de ville ha en tendens til å jobbe seg tilbake til de høye samhandlingsprisene. Så det vi har her, er disse selvlærende algoritmene som lærer at vi kommer til å sette en høy pris, og grunnen til at de ikke avviker fra det, er at de har lært at det kommer til å bli gjengjeldelse. straff av den andre, selvlærende algoritmen. Og det er akkurat det vi tenker på som samspill.
Jennifer: Det er fortsatt et åpent spørsmål om denne typen ting kan skje i et virkelig marked, med all dens ekstra kompleksitet.
Men begrepet automatisert samarbeid reiser alle slags juridiske spørsmål.
Joseph Harrington: Hvis vi går tilbake til eksemplet på Amazon-markedet og plakatselgerne på nett, så er det den typen samarbeid som det juridiske rammeverket er godt utformet for. Den er designet for konspirasjon der konkurrenter kommuniserer. Og koordinere deres oppførsel. Loven er definert i form av et sinnsmøte, en bevisst forpliktelse til en felles ordning. Tanken om at det har vært denne kommunikasjonen, som har ført til en viss gjensidig forståelse blant konkurrenter om å ikke lenger konkurrere. Alt som mangler med konkurrenter som har tatt i bruk selvlærende algoritmer så lenge de gjorde det uavhengig. Disse selvlærende algoritmene har ikke forståelse, langt mindre gjensidig forståelse, som egentlig er det som kreves i lovens kontekst.
Jennifer: Og foreløpig... er det ingen som har ansvaret for å overvåke om disse systemene følger regler vi anser som rettferdige.
Joseph Harrington: Jeg mener, jeg tror det som egentlig er den potensielle juridiske reaksjonen i fremtiden ville være å forby visse egenskaper ved prisalgoritmer. Hvis disse var forbudt, ville det være et insentiv for firmaene selv til å overvåke prisalgoritmene sine, ikke å avsløre seg selv ulovlig. Men akkurat nå er det virkelig ingen som overvåker dem. Og bedriftene har absolutt ingen insentiv, vil jeg si, til å overvåke dem.
Jennifer: Han sier at konkurransehemmende prisalgoritmer også kan være innebygd i programvare ... som kan brukes av selskaper som konkurrerer mot hverandre ... uten at disse selskapene selv er klar over det.
Joseph Harrington: Og så er spørsmålet, vel, hva kan gjøres med det? Og nå er vi her igjen, i et litt grumsete juridisk territorium, fordi konspirasjon krever to eller flere aktører, som tradisjonelt er to eller flere konkurrenter som har bestemt seg for å ikke lenger konkurrere. Men nå ser vi for oss at det er en slags en aktør, som er tredjepartsutvikleren som kan designe en prisalgoritme som ikke er særlig konkurransedyktig. Og hvis det kan overbevise mange firmaer i et marked om å ta det i bruk, vil det prestere godt for disse firmaene, fordi det vil resultere i høyere priser og mindre priskonkurranse. Nok en gang er det ille, men det er ingen konspirasjon fordi det egentlig bare er den ene skuespilleren, tredjepartsutvikleren som promoterer dette.
Jennifer: Og der er et eksempel på det i den virkelige verden..i en studie gjort av tyske bensinstasjoner som begynte å ta i bruk en prisalgoritme.
Joseph Harrington: Og bevisene er at gjennomsnittlige priskostnadsmarginer gikk opp som svar på dette, i størrelsesorden rundt 12 %. Men det som virkelig var veldig slående var at hvis du så på markeder der det bare var to stasjoner, så bare forestill deg et geografisk marked hvor det bare er to stasjoner som konkurrerer. Og det studien fant var at hvis en av dem tok i bruk prisalgoritmen, var det egentlig ingen merkbar effekt på prisene. Men hvis begge ble vedtatt, var det en betydelig økning i priskostnadsmarginene. I størrelsesorden rundt 29%. Så nå informerer dette om hva disse prisalgoritmene gjør. Hvis de bare fører til mer effektiv dynamisk prissetting, ville du ha forventet å se en viss effekt, selv når bare én stasjonsoperatør tok det i bruk. Men det er ikke det som er funnet i studien. Det er først når begge konkurrentene er adoptert, du ser en effekt. Og det er en effekt, som er en betydelig prisøkning. Så jeg tror det er noe som er, tror jeg, skjer. Og det er noe som er litt mer, tror jeg, konkret og hvor det potensielt er flere politiske alternativer å håndtere. I motsetning til tilfellet med selvlærende algoritmer, som jeg tror er et potensielt problem som vi ønsker å komme i forkant av.
Maxime Cohen: Tidligere kunne vi endre priser hver dag eller hver måned, men nå kan prisene endres hver time eller i enkelte applikasjoner, til og med hvert minutt.
Maxime Cohen: Mitt navn er Maxime Cohen. Jeg er Scale AI Chair professor ved McGill University i Montreal, Canada, og jeg er også meddirektør for Retail Innovation lab.
Jennifer: De siste årene har det vært en eksplosjon av dynamisk prisingspraksis... Og personlig prissetting er også stadig mer vanlig.
I fremtiden kan dynamiske prissystemer være fullstendig autonome... og brukes i en enda større skala.
Som reiser spørsmålet: Hvordan beskytter vi personvernet vårt når dataene våre brukes til å bestemme hvor mye vi betaler for ting?
Maxime Cohen: Så prisalgoritmen på slutten av dagen bør være basert på ikke-personlige attributter. Du kan for eksempel samle inn kjøpshistorikk, du kan potensielt samle inn plasseringen til brukerne, handlingene de har utført tidligere, men du vil ikke bruke noen form for personlige egenskaper som navn eller kjønn eller noe som er mer personlig.
Jennifer: Et annet spørsmål … hvor trekker vi grensen mellom rettferdig og urettferdig prising?
Maxime Cohen: Man må stille seg selv spørsmålet. Er det rettferdig å tilby forskjellige priser til forskjellige kunder for de samme produktene eller den samme tjenesten? Og svaret på det spørsmålet er faktisk ikke enkelt. Disse to temaene om personvern og rettferdighet er veldig delikate og trenger etter min mening nøye reguleringer fremover.
Jennifer: Han sier at regulatorer bør komme sammen og gjøre det klart hvilke data som kan samles inn, lagres og brukes til å ta prisbeslutninger.
Maxime Cohen: For eksempel hvis Uber begynner å rope forskjellige priser, basert på prosentandelen av batteri du har i telefonen når du bestiller en tur. Ville det være greit? Ville det ikke være greit? Så regulatorer bør komme sammen til bordet og lage en liste over attributter som er rimelige å bruke for prisbeslutninger og noen andre attributter i en svarteliste der de ikke skal brukes til prisbeslutninger.
Jennifer: Og det er ikke bare nettbaserte handlekurver som står på spill. Dynamiske prisalgoritmer kan snart finne et hjem også i fysisk detaljhandel ... i form av elektroniske hylleetiketter.
Maxime Cohen: Du kan faktisk endre prisen på spesifikke produkter til bestemte tider, ved ganske enkelt å endre en enkelt kodelinje og trykke på én knapp. Du endrer én kodelinje. Da kan du implementere en prisendring til praktisk talt null kostnader. Nå er det eneste gjenstående spørsmålet i fysisk detaljhandel hvordan kundene vil reagere på kraftige, dynamiske prispraksis. Hvis du tenker deg om, vil prisene begynne å stige i supermarkeder i travle timer. Hvis det er en tid på døgnet hvor de har mye folk i supermarkedet, vil prisene gå opp. På samme måte vil prisene begynne å stige når du har svært lavt lager for spesifikke produkter. Hvis du har mindre aksjekurser vil gå opp for å like, sørg for at du optimaliserer fortjenesten. Nå er det ikke klart om kundene vil være fornøyde, og de vil akseptere den typen praksis som allerede er på plass i den elektroniske verden. Det kan være definitivt lønnsomt på kort sikt, men det kan generere langsiktige tap, spesielt når det gjelder kundelojalitet. Så vi må gjøre mye forskning for å prøve å forstå kraften og de potensielle fordelene ved dynamisk prising for fysisk detaljhandel.
[KREDITTER]
Jennifer: Denne episoden ble rapportert av Anthony Green og produsert av oss to med Emma Cillekens. Vi er redigert av Mat Honan og vår miksingeniør er Garret Lang, med lyddesign og musikk av Jacob Gorski.
Takk for at du lyttet, jeg heter Jennifer Strong.
[TR ID]