Zoekmachines evalueren

Wouter Weerkamp

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Werkt je interne zoekmachine eigenlijk

wel goed?

2

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Hoe wapen je jezelf tegen verkopers, consultants en

“experts”?

3

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

zoekmachine

koalabeer

panter

olifant

luiaard

koe

clickdownloadsharelikeleestijdaankoop

4

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Black box?

• Prima! We kunnen niet overal verstand van hebben

• Maar: meten is weten

5

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Waarom evalueren we?

• Hoe gebruiken mensen je zoekmachine?

• Wat is de kwaliteit van je huidige zoekmachine?

• Waar kunnen we verbeteringen aanbrengen?

• Is een nieuwe versie wel echt beter dan de oude?

6

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Log het gebruik• Monitor hoe bezoekers je zoekmachine gebruiken

• Zoekvragen (populariteit, suggesties, …)

• Getoonde resultaten

• Clicks (resultaten, filters, …)

• Pagination

• Sessies, herformuleringen, heat maps, …

7

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Evaluatiemethoden• Anekdotisch bewijs

• Offline evaluatie

• Online evaluatie

• A/B tests

• Interleaving

8

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Anekdotisch bewijs

• “Ik zocht op ‘koe’ en toen vond ik een schaap”

• “Ik vind nooit waar ik naar op zoek ben!”

• “Met de nieuwe zoekmachine kan ik die ene pagina niet meer terugvinden”

es

9

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Offline evaluatie

10

zoekmachinekoalabeer

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Offline evaluatie

• Kwaliteit kan berekend worden (precisie, recall)

• Data is herbruikbaar

• Ideaal voor contentexperts, jullie kunnen relevantie van resultaten bepalen

11

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Online evaluatie

• “Online” want op een live systeem met echte bezoekers

• Realistischer dan offline evaluatie

• Ook lastiger om te meten, vereist aparte systemen

12

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

A/B test

13

zoekmachine A

zoekmachine B

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

A/B test

• Varianten worden op hetzelfde moment getest, met echte bezoekers

• Deel bezoekers ziet alleen resultaten van de nieuwe zoekmachine

• wat als deze toch minder goed blijkt te zijn?

14

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Interleaving

15

koalabeer

zoekmachine A

zoekmachine B

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Interleaving

• Geniet de voorkeur boven A/B test bij algoritmische wijzigingen

• Sneller

• Minder risico

16

ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )

Kortom• De zoekmachine is wellicht een black box, maar

• zorg dat je weet wat er speelt, hoe de zoekmachine gebruikt wordt.

• meet de kwaliteit van je zoekmachine door offline evaluatie en herhaal dit regelmatig.

• begrijp hoe je verbeteringen kan meten en gebruik dit in onderhandelingen.

17