Post on 28-Jul-2015
Zoekmachines evalueren
Wouter Weerkamp
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Werkt je interne zoekmachine eigenlijk
wel goed?
2
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Hoe wapen je jezelf tegen verkopers, consultants en
“experts”?
3
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
zoekmachine
koalabeer
panter
olifant
luiaard
koe
clickdownloadsharelikeleestijdaankoop
4
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Black box?
• Prima! We kunnen niet overal verstand van hebben
• Maar: meten is weten
5
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Waarom evalueren we?
• Hoe gebruiken mensen je zoekmachine?
• Wat is de kwaliteit van je huidige zoekmachine?
• Waar kunnen we verbeteringen aanbrengen?
• Is een nieuwe versie wel echt beter dan de oude?
6
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Log het gebruik• Monitor hoe bezoekers je zoekmachine gebruiken
• Zoekvragen (populariteit, suggesties, …)
• Getoonde resultaten
• Clicks (resultaten, filters, …)
• Pagination
• Sessies, herformuleringen, heat maps, …
7
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Evaluatiemethoden• Anekdotisch bewijs
• Offline evaluatie
• Online evaluatie
• A/B tests
• Interleaving
8
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Anekdotisch bewijs
• “Ik zocht op ‘koe’ en toen vond ik een schaap”
• “Ik vind nooit waar ik naar op zoek ben!”
• “Met de nieuwe zoekmachine kan ik die ene pagina niet meer terugvinden”
es
9
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Offline evaluatie
10
zoekmachinekoalabeer
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Offline evaluatie
• Kwaliteit kan berekend worden (precisie, recall)
• Data is herbruikbaar
• Ideaal voor contentexperts, jullie kunnen relevantie van resultaten bepalen
11
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Online evaluatie
• “Online” want op een live systeem met echte bezoekers
• Realistischer dan offline evaluatie
• Ook lastiger om te meten, vereist aparte systemen
12
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
A/B test
13
zoekmachine A
zoekmachine B
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
A/B test
• Varianten worden op hetzelfde moment getest, met echte bezoekers
• Deel bezoekers ziet alleen resultaten van de nieuwe zoekmachine
• wat als deze toch minder goed blijkt te zijn?
14
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Interleaving
15
koalabeer
zoekmachine A
zoekmachine B
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Interleaving
• Geniet de voorkeur boven A/B test bij algoritmische wijzigingen
• Sneller
• Minder risico
16
ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Kortom• De zoekmachine is wellicht een black box, maar
• zorg dat je weet wat er speelt, hoe de zoekmachine gebruikt wordt.
• meet de kwaliteit van je zoekmachine door offline evaluatie en herhaal dit regelmatig.
• begrijp hoe je verbeteringen kan meten en gebruik dit in onderhandelingen.
17