Competitive Predictive Analytics - Tim Salimans op Nyenrode

Compe&&ve Predic&ve Analy&cs

Tim Salimans

Predictive Analytics

¨  Marketing beslissingen worden gemaakt onder onzekerheid

¨  De juiste beslissing vraagt om een voorspelling ¤ Verwachte opbrengst versus kosten ¤ Welke actie op welk moment voor het beste resultaat?

¨  Predictive Analytics is het gebruik van data om deze voorspellingen zo goed mogelijk te maken

¨  Algoritmica helpt bedrijven hierbij

Competitie

Kaggle

¨  Platform voor predictive analytics competitions

Kaggle

¨  Platform voor predictive analytics competitions

¨  Bedrijf stelt gedeelte van de data beschikbaar, houdt deel van de data achter

¨  Deelnemers bouwen modellen op beschikbare data ¨  Deelnemers voorspellen de waardes van de

achtergehouden data ¨  Beste voorspelling wint de competitie

3 Soorten Competities

¨  Case competitions

¤ Competities voor het vinden van de beste oplossing voor een case

¨  People competitions ¤ Competities voor het vinden van de beste mensen

¨  Algorithm competitions ¤ Competitie tussen algoritmes

Case competitions

¨  Definieer de business case ¤ Welke beslissing moet worden gemaakt? ¤ Welke bronnen van onzekerheid zijn er? ¤ Welke informatie is belangrijk? ¤ Hoe wordt het resultaat gemeten?

¨  Ontsluit relevante data voor deze case ¨  Schrijf een wedstrijd uit voor de beste oplossing

Allstate Customer Retention Competitie

¨  Allstate is een grote Amerikaanse autoverzekeraar ¨  Premie verzekering toegespitst op klant

¤  Te hoog: klant stap over ¤  Te laag: verzekeraar maakt verlies

¨  Veel data beschikbaar over klanten ¤  Schadevrij? ¤ Hoe lang al klant? ¤ Hoe oud? ¤ Welk merk auto? ¤ Waar woont de klant?

¨  Vraag: welke premie om klant te behouden?


¨  3 jaar data beschikbaar gesteld ¤ Aangeboden premie ¤ Klantgegevens ¤ Bleef de klant of niet?

¨ ½ jaar test data ¤ Aangeboden premie is gegeven ¤ Voorspellen of de klant bleef of niet

Deloitte/FIDE chess rating challenge

¨  10 jaar resultaten van schaakwedstrijden

¨  2 jaar achtergehouden, deze moeten worden voorspeld

à A verslaat B, B verslaat C, wat is de kans dat A wint van C?

¨  Gesponsord door wereld schaak federatie FIDE and Deloitte Australia


FIDE maakt gebruik van het Elo systeem ¨  Elke speler krijgt een rating ¨  Voorspelde resultaat is een functie van het verschil in

ratings tussen de spelers ¨  Rating punten worden verdeeld op basis van dit

rating verschil en de uitslag


Elo system


Problemen met het Elo systeem

¨  Onzekerheid wordt niet correct meegenomen ¨  Het kijkt niet terug in de tijd ¨  Resultaten uit het verleden worden niet goed gewogen

¨  Niet alle informatie bevind zich in de uitslag…


TrueSkill ¨  Bayesiaanse variant Elo ¨  Ontwikkeld bij Microsoft ¨  Gebruikt voor rating Halo

spelers

¨  Aanpassen om resultaten goed te wegen en alle informatie mee te nemen


¨  Eerste poging

¨  Dat is makkelijk!


¨  2 weken later

¨  Ik krijg al wat meer competitie


¨  Weer 2 weken later


¨  1 week later

¨  Weer #1!


¨  1 dag later

¨  Dat duurde niet lang


En toen moest ik naar een conferentie in St. Louis….


¨  Jet lag: Bij gebrek aan slaap nog maar een laatste poging in de vroege morgen…

¨  Weer op de eerste plek!


¨  En uiteindelijk…

¨  Gewonnen!


Bedenkers TrueSkill deden ook mee Op hun uitnodiging 3 maanden gewerkt bij Microsoft Research Cambridge

Heritage Health Prize

People competitions

¨  Competitie om talent te ontdekken ¤ Extern: wie moet je aannemen? ¤  Intern: waar zit ons analytics talent?

¨  Deloitte: wereldwijde wedstrijd onder 100,000+ werknemers

¨  Facebook: recruiting competitions

Observing Dark Worlds competition

¨  Recruiting competition van Winton Capital

¨  80% van de massa in the universum is donkere materie

¨  Donker: Straalt geen licht uit ¨  Wel zwaartekracht

àVind de locatie van donkere materie gebaseerd op de effecten van deze zwaartekracht


¨  Model ¤ Vervorming rond de

donkere materie ¤ Kracht van het effect

neemt af met 1/r ¤ Kracht afhankelijk van

de massa van materie

𝑒↓𝑡 ≈𝑚/𝑟 


¨  Resultaat: Heat map mogelijke locaties donkere materie

¨  Voorspelling: Punt dat de verwachte fout minimaliseert


Slim?

Middelmatige score!


¨  Leaderboard gebaseerd op maar 30 gevallen ¨  Einduitslag gebaseerd op 90 andere gevallen

Kaggle in Class

Algorithm competitions

Financiële markten

¨  Ultieme voorspellingscompetitie ¨  Algoritmes handelen met elkaar ¨  Duidelijk doel: winst maken ¨  Geen duidelijke case

¤ Omgeving niet statisch

¨  Algoritmes voeren direct competitie voor beste handelsmogelijkheden

Real-Time Ad Bidding

Real-Time Ad Bidding

¨  RTB = competitieve marketing tussen algoritmes ¨  Het beste algoritme wint ¨  Dynamische setting

¤ Concurrentie verandert ¤ Consument verandert ¤ Publishers veranderen

¨  RTB de ultieme marketing predictive analytics competitie? ¨  Algoritmica werkt met FlxOne aan RTB oplossing

Conclusies

¨  Competitie een nuttige lens voor het bekijken van predictive analytics ¤ Vinden van oplossingen ¤ Vinden van mensen

¨  Marketing en predictive analytics steeds competitiever

Vragen?

Blog: TimSalimans.com Consul&ng: Algoritmica.nl E-‐mail: &[email protected]

Competitive Predictive Analytics - Tim Salimans op Nyenrode

Business

Transcript of Competitive Predictive Analytics - Tim Salimans op Nyenrode