Enterprise search: meten is weten!

VOGIN-IP lezingDonderdag 3 maart 2016Joyce van Aalten

Voorstellen

• Joyce van Aalten, Invenier– Niet zoeken, maar vinden– Consultant en trainer– Productonafhankelijk (GX, Drupal, SOLR),

en veel SharePoint

Meten is weten

• Want anekdotes zijn geen bewijs– ”De zoekmachine doet het niet”– “Ik vind niet wat ik zoek”– “De oude zoekmachine was veel beter”

Wat vinden jullie van

• Wat valt je op aan de zoekresultaten van– www.lobbes.nl– www.bol.com

Voordat we gaan meten…

• Zijn de randvoorwaarden op orde?– Is alles geïndexeerd?– Zijn er “exotische” bestandsformaten die niet

herkend worden?– Hoe vaak wordt content geïndexeerd? Duurt dat

een tijdje? – Hoe zit het met rechten (is niet lezen ook niet

zien?)– Is er content in andere talen?

Recall en precisie

Afbeelding uit: Search Patterns van Peter Morville en Jeffery Callender

Het één of het ander

Afbeelding uit: Search Patterns van Peter Morville en Jeffery Callender

Kwaliteit van zoekresultaten

• Recall– Het aantal relevante items dat een zoekactie

oplevert in verhouding tot het totaal aantal relevante items dat in het systeem aanwezig is

– 100% recall: ik vind alle items die relevant zijn

• Precisie– Het aantal relevante treffers in verhouding tot de

opbrengst– 100% precisie: alle items die ik vind zijn relevant

Definities afkomstig uit: Organiseer je informatie: aan de slag met thesauri, taxonomieën, tags en topics

Kwaliteit van zoekresultaten

Het SharePoint lab

• Zoekvraag ‘pannenkoek’• Bereken de recall en precisie• Tip: er zijn in totaal 12 documenten

Een SharePoint lab

Het SharePoint lab

• Stel: ik laat de zoekmachine de zoekvraag automatisch uitbreiden met ‘pannekoek’

• Wat gebeurt er met de recall en precisie?

Een SharePoint lab

Wat is goed of slecht?

• Is relatief, want waar vergelijk je mee– Oude vs. nieuwe zoekmachine, 0-meting

• Interpretatie hangt af van je gebruikers– Gebruikersstatistieken• Meest gestelde zoekvragen• Zoekvragen met 0 resultaten

– Zoekpatronen• Liever hogere recall of hogere precisie• Gewenste zoekbeleving

Zoekbeleving

• Kleurtjes, knoppen, pagina-indeling, Google Doodle

• Snelheid• Onherkenbare titel of omschrijving

(zoekresultaat slecht herkenbaar)• Eigenaardige verfijningsmogelijkheden • Verkeerde, te veel of geen facetten • Geavanceerd zoeken ontbreekt (of is te

prominent aanwezig)

Testen zoekbeleving

Afkomstig van: vwo.com/ab-testing/

Verbeteren recall

• Zoekvraag uitbreiden met synoniemen of andere termen

• Stemming, op delen van woorden zoeken• Meer bronnen en bestandsformaten

indexeren• Meer van dit/gerelateerde items tonen• …• Sleutelen aan zoekalgoritme

Verbeteren precisie

• Opschonen van content• Metadata gebruiken, alleen op trefwoorden

zoeken• Best bets• Personaliseren• (Meer) facetten aanbieden• …• Sleutelen aan zoekalgoritme

Vragen of meer weten?

• Mail: joyce@invenier.nl• Website: www.invenier.nl• Twitter: @joycevanaalten• LinkedIn: /joycevanaalten