Compe&&ve  Predic&ve  Analy&cs  

Tim  Salimans  

Predictive Analytics

¨  Marketing beslissingen worden gemaakt onder onzekerheid

¨  De juiste beslissing vraagt om een voorspelling ¤ Verwachte opbrengst versus kosten ¤ Welke actie op welk moment voor het beste resultaat?

¨  Predictive Analytics is het gebruik van data om deze voorspellingen zo goed mogelijk te maken

¨  Algoritmica helpt bedrijven hierbij

Competitie

Kaggle

¨  Platform voor predictive analytics competitions

Kaggle

¨  Platform voor predictive analytics competitions

¨  Bedrijf stelt gedeelte van de data beschikbaar, houdt deel van de data achter

¨  Deelnemers bouwen modellen op beschikbare data ¨  Deelnemers voorspellen de waardes van de

achtergehouden data ¨  Beste voorspelling wint de competitie

3 Soorten Competities

¨  Case competitions

¤ Competities voor het vinden van de beste oplossing voor een case

¨  People competitions ¤ Competities voor het vinden van de beste mensen

¨  Algorithm competitions ¤ Competitie tussen algoritmes

Case competitions

¨  Definieer de business case ¤ Welke beslissing moet worden gemaakt? ¤ Welke bronnen van onzekerheid zijn er? ¤ Welke informatie is belangrijk? ¤ Hoe wordt het resultaat gemeten?

¨  Ontsluit relevante data voor deze case ¨  Schrijf een wedstrijd uit voor de beste oplossing

Allstate Customer Retention Competitie

¨  Allstate is een grote Amerikaanse autoverzekeraar ¨  Premie verzekering toegespitst op klant

¤  Te hoog: klant stap over ¤  Te laag: verzekeraar maakt verlies

¨  Veel data beschikbaar over klanten ¤  Schadevrij? ¤ Hoe lang al klant? ¤ Hoe oud? ¤ Welk merk auto? ¤ Waar woont de klant?

¨  Vraag: welke premie om klant te behouden?

Allstate Customer Retention Competitie

¨  3 jaar data beschikbaar gesteld ¤ Aangeboden premie ¤ Klantgegevens ¤ Bleef de klant of niet?

¨ ½ jaar test data ¤ Aangeboden premie is gegeven ¤ Voorspellen of de klant bleef of niet

Allstate Customer Retention Competitie

Deloitte/FIDE chess rating challenge

¨  10 jaar resultaten van schaakwedstrijden

¨  2 jaar achtergehouden, deze moeten worden voorspeld

à A verslaat B, B verslaat C, wat is de kans dat A wint van C?

¨  Gesponsord door wereld schaak federatie FIDE and Deloitte Australia

Deloitte/FIDE chess rating challenge

FIDE maakt gebruik van het Elo systeem ¨  Elke speler krijgt een rating ¨  Voorspelde resultaat is een functie van het verschil in

ratings tussen de spelers ¨  Rating punten worden verdeeld op basis van dit

rating verschil en de uitslag

Deloitte/FIDE chess rating challenge

Elo system

Deloitte/FIDE chess rating challenge

Problemen met het Elo systeem

¨  Onzekerheid wordt niet correct meegenomen ¨  Het kijkt niet terug in de tijd ¨  Resultaten uit het verleden worden niet goed gewogen

¨  Niet alle informatie bevind zich in de uitslag…

Deloitte/FIDE chess rating challenge

TrueSkill ¨  Bayesiaanse variant Elo ¨  Ontwikkeld bij Microsoft ¨  Gebruikt voor rating Halo

spelers

¨  Aanpassen om resultaten goed te wegen en alle informatie mee te nemen

Deloitte/FIDE chess rating challenge

¨  Eerste poging

¨  Dat is makkelijk!

Deloitte/FIDE chess rating challenge

¨  2 weken later

¨  Ik krijg al wat meer competitie

Deloitte/FIDE chess rating challenge

¨  Weer 2 weken later

Deloitte/FIDE chess rating challenge

¨  1 week later

¨  Weer #1!

Deloitte/FIDE chess rating challenge

¨  1 dag later

¨  Dat duurde niet lang

Deloitte/FIDE chess rating challenge

En toen moest ik naar een conferentie in St. Louis….

Deloitte/FIDE chess rating challenge

¨  Jet lag: Bij gebrek aan slaap nog maar een laatste poging in de vroege morgen…

¨  Weer op de eerste plek!

Deloitte/FIDE chess rating challenge

¨  En uiteindelijk…

¨  Gewonnen!

Deloitte/FIDE chess rating challenge

Bedenkers TrueSkill deden ook mee Op hun uitnodiging 3 maanden gewerkt bij Microsoft Research Cambridge

Heritage Health Prize

People competitions

¨  Competitie om talent te ontdekken ¤ Extern: wie moet je aannemen? ¤  Intern: waar zit ons analytics talent?

¨  Deloitte: wereldwijde wedstrijd onder 100,000+ werknemers

¨  Facebook: recruiting competitions

Observing Dark Worlds competition

¨  Recruiting competition van Winton Capital

¨  80% van de massa in the universum is donkere materie

¨  Donker: Straalt geen licht uit ¨  Wel zwaartekracht

àVind de locatie van donkere materie gebaseerd op de effecten van deze zwaartekracht

Observing Dark Worlds competition

Observing Dark Worlds competition

¨  Model ¤ Vervorming rond de

donkere materie ¤ Kracht van het effect

neemt af met 1/r ¤ Kracht afhankelijk van

de massa van materie

𝑒↓𝑡 ≈𝑚/𝑟 

Observing Dark Worlds competition

¨  Resultaat: Heat map mogelijke locaties donkere materie

¨  Voorspelling: Punt dat de verwachte fout minimaliseert

Observing Dark Worlds competition

Slim?

Middelmatige score!

Observing Dark Worlds competition

¨  Leaderboard gebaseerd op maar 30 gevallen ¨  Einduitslag gebaseerd op 90 andere gevallen

Kaggle in Class

Kaggle in Class

Algorithm competitions

Financiële markten

¨  Ultieme voorspellingscompetitie ¨  Algoritmes handelen met elkaar ¨  Duidelijk doel: winst maken ¨  Geen duidelijke case

¤ Omgeving niet statisch

¨  Algoritmes voeren direct competitie voor beste handelsmogelijkheden

Real-Time Ad Bidding

Real-Time Ad Bidding

Real-Time Ad Bidding

¨  RTB = competitieve marketing tussen algoritmes ¨  Het beste algoritme wint ¨  Dynamische setting

¤ Concurrentie verandert ¤ Consument verandert ¤ Publishers veranderen

¨  RTB de ultieme marketing predictive analytics competitie? ¨  Algoritmica werkt met FlxOne aan RTB oplossing

Conclusies

¨  Competitie een nuttige lens voor het bekijken van predictive analytics ¤ Vinden van oplossingen ¤ Vinden van mensen

¨  Marketing en predictive analytics steeds competitiever

Vragen?  

Blog:  TimSalimans.com  Consul&ng:  Algoritmica.nl  E-­‐mail:  &m@algoritmica.nl