Klanten helpen klanten met webdata

Agenda

• Introductie

• Data bij bol.com

• Zoek Suggesties

• A/B testen van de inhoud

• Vragen?

Welkom bij bol.com

3.4 miljoen klanten

> 5.000.000 producten te koop

> 17.5 M producten

verkocht in 2011

Data bronnen

• Meerdere touchpoints

• Desktop

• Mobiel

• Ereader

• Apps via openAPI

• Plekken in het landschap

• Frontend:

• Technische performance

• click stream

• Backend:

• Producten, prijzen, levertijden

• Orders, shipments en betalingen

En dat is best veel data …

Toepassingen van webdata

• (Web)Statistiek

• Standaard rapportages & dashboards

• A/Bmultivariaat test rapporten

• Herkennen van patronen in klant gedrag

• Kijken, kijken, niet kopen

• Vinden van klant voorkeuren

• Persoonlijke inspiratie

• Aanbevelingen

• Zoek Suggesties

• Producten aanbevelingen

Stelling:

Meer data

levert meer op

Zoek Suggesties

Zoek Suggesties

• Basis idee:

• Volledig automatisch

• Klanten helpen klanten

• Processing principe

• Elke historische zoek actie is een potentiële suggestie.

• Sorteren op relevantie.

• Bied de 10 meest relevante als suggestie.

•Wat is “relevant”?

• De zoekactie en het resultaat

• Het gedrag na de zoekactie.

Echt volledig automatisch!

• Zondag ochtend 12 februari: Whitney Houston …

• Maandag ochtend 13 februari :

Architectuur schets

Razendsnel

Grote batch

Clickstream

Zoek suggesties (eerste versie)

• Eerste versie:

• Alleen zoekacties tellen

• Kwantitatief filteren

• Beperkte feedback

• Schaal

• 1 week data

• 1 systeem om het te berekenen

Functioneel effect

“nijntje dekbedovertrek”

Bezoekers vinden dat een heel interessante suggestie!

Alleen hebben we dat niet…

Functioneel effect

Zoek suggesties versie 2:

Gebruik meer data!

Voor elke zoekactie: Gedrag tellen

Search

Find

Choose

Buy

Dieper in funnel = relevanter

(Search)

Find

Choose

Buy

Kwalitatief filteren

Recenter = relevanter

Gisteren

Eergisteren

Vorige week

Vorige maand

12 weken historie meenemen

Zoek Suggesties (nu)

• Huidige versie:

• Gevolgen van zoek acties

• 12 weken historie

• Categorie suggesties

• Kwalitatief filteren

• Spelling correcties

• Spelfouten herkennen

• Niet succesvolle termen verwijderen.

• Schaal

• 12 weken data

• 5 systemen parallel aan het werk

Business effect

• Impliciet filteren tegen de product catalogus

• “Slechte” zoek resultaten worden niet mee genomen

• Betere dekking van de long tail

De suggesties worden vaker gebruikt

A/B testen

backend systemen

Wat vinden klanten beter?

Standaard A/B test oplossingen

• Javascript gebaseerd

• Vervangt client-side HTML/CSS/JavaScript fragment

• Alleen visuele/ browser side aanpassingen.

Zo kun je dus alleen de VORM testen!

Wat levert meer op?

Betere vorm?

Wat levert meer op?

of Betere inhoud?

Ik wil “Harry Potter”

Zoeken in de catalogus

Wat is relevant?

• Vinden klanten dit product ook de meest relevante?

• Stel we bieden een ander soort relevantie…

• Wat doen de klanten dan?

• Verkopen we dan meer?

De inhoud van de pagina A/B testen

Wensenlijst: Backend A/B testen

• Variatie in

• Andere data bronnen gebruiken

• Andere algoritmen: sortering/filtering/…

• Bruikbaar voor alle channels

• Desktop

• Mobiel

• eReader

• App

• …

• Bruikbaar voor alle backend services.

• Zoeken

• Personaliseren en Inspireren

Componenten van A/B testen

Meten klantgedrag

Serveren A/B

Rapporteren verschillen

A/B

Bezoeker

Indelen A/B

Backend A/B testen

Webshop Zoek systeem

Variant ‘A’ Indeler

Meten

Rapporteren

Zoek systeem

Variant ‘B’

Sturen

Flexibel sturen

Flexibel sturen

Business effect

• Gecontroleerd nieuwe ideeen uit proberen

• Proef ballonnetjes kunnen

• Tests kunnen heel kort duren

• Andere sortering zoek resultaten

Hogere conversie vanuit zoeken

Dus

Meer data

levert meer op

Vragen?