Leer je digitale klanten kennen:

hoe zoeken ze en wat vinden ze?

Suzan Verberne, Radboud Universiteit

Inspiratiedag digitale klantenkunde, Archief 2.0, 23 maart 2015

Inhoud

• Gebruikers van zoeksystemen en hun doelen

• Functionaliteit van zoeksystemen

• Verschillen tussen gebruikers

• Welke informatie kun je uit logdata halen?

• Hoe evalueer je een archiefsysteem met een gebruikersstudie?

Suzan Verberne, maart 2015

Gebruikers van zoeksystemen en hun

doelen

Wat wil de gebruiker precies weten?

• Queries zijn bijna altijd ondergespecificeerd

- Is Java een programmeertaal of een eiland?

- Wil de gebruiker tekst, afbeeldingen, een plattegrond of video zien?

- Welk niveau van detail wil de gebruiker zien?

• Welke resultaten relevant zijn, hangt af van de individuele gebruiker

Suzan Verberne, maart 2015

Queries zijn veel vaker ambigu dan we denken

Suzan Verberne, maart 2015

De bedoeling achter een query

• Wat bedoelt de gebruiker precies? Wat wil hij weten?

• We hebben onderzocht hoe moeilijk het is om aan een query te zien welke

bedoeling erachter zit.

- We vroegen proefpersonen

om de queries die ze

invoerden in Google te

labellen met de

achterliggende bedoeling

- Daarna vroegen we anderen

om de queries ook te

labellen

- De taak bleek heel moeilijk:

er was maar weinig

overeenkomst tussen de

labels

Suzan Verberne, Maarten van der Heijden, Max Hinne, Maya Sappelli, Saskia Koldijk, Eduard Hoenkamp and Wessel Kraaij (2013). Reliability and Validity of

Query Intent Assessments. Journal of the American Society for Information Science and Technology (JASIST), Volume 64, Issue 11, pages 2224–2237

Suzan Verberne, maart 2015

Oplossing bij onbekende gebruiker: diversiteit in de resultaten

Suzan Verberne, maart 2015

Functionaliteit van zoeksystemen

Google: 1 zoekveld, geavanceerde opties verborgen

Suzan Verberne, maart 2015

Maar er zit geavanceerde zoektechnologie achter

Querysuggesties

Extractie van

structurele informatie

Herkenning van de

structuur van websites

Verschillende typen

resultaten

Suzan Verberne, maart 2015

Zoektechnologie

• Federated search

• Faceted search

• Personalized search

Suzan Verberne, maart 2015

Voorbeeld van ‘federated search’.

Elk archief heeft zijn eigen ‘vertical’

Suzan Verberne, maart 2015

Voorbeeld van ‘faceted search’: facetten voor filteren op

metadatawaarden

Suzan Verberne, maart 2015

Voorbeeld van personalized search: resultaat toegespitst op

locatie van de gebruiker

Suzan Verberne, maart 2015

Willen we dat?

• Typen personalisatie:- Op basis van locatie

- Op basis van interesse

- Op basis van niveau van expertise

• Vormen van personalisatie:- Andere ranking van resultaten

- Querysuggesties

- Andere interface

Suzan Verberne, maart 2015

Profiel maken voor personalisatie

• Uitdaging: ontdekken wat de interesse en het expertiseniveau van de

gebruiker is.

• Een profiel maken van je gebruiker op basis van- Zijn queries

- De resultaten waarop hij geklikt heeft

- De voorkeuren van vergelijkbare gebruikers

• Profileren is moeilijk als je maar weinig gegevens van een gebruiker hebt

Verschillen tussen gebruikers

“We are all the Google generation, the young and old, the professor and the

student and the teacher and the child.” Rowlands et al. (2008)

Verschillen tussen experts en leken

• Kenmerken van professioneel zoeken door experts:

- Gebruikers zijn bereid om tijd te investeren: ze formuleren meer queries en bekijken meer

resultaten om een antwoord te vinden

- Complexe zoekvragen: het antwoord op één zoekvraag moet soms verzameld worden uit

meer dan één document

- Specialistische zoekvragen: doelen zijn uniek voor een specialistische gebruiker

Suzan Verberne, maart 2015

Verschillen tussen zoeken op internet en in archiefsystemen

• Google-sessies bestaan vaker uit maar één query

• Sessies in archiefsystemen waarin filteren mogelijk is hebben soms geen enkele query

Suzan Verberne, maart 2015

Verschillen tussen individuele gebruikers

• Sommige gebruikers geven de voorkeur aan tekstueel zoeken, andere aan filteren

Suzan Verberne, maart 2015

Welke informatie kun je uit logdata

halen?

Voorbeeld: logdata van The European Library (TEL)

Suzan Verberne, maart 2015

Waar zoeken mensen naar?

• De meest ingetypte queries

Suzan Verberne, Max Hinne, Maarten van der Heijden, Eduard Hoenkamp, Wessel Kraaij, Theo van der Weide(2010). How does the Library Searcher Behave? A

Contrastive Study of Library Search against Ad-hoc Search. Proceedings of the Conference on Multilingual and Multimodal Information Access Evaluation – LABs

and Workshops Notebook Papers (CLEF 2010), logCLEF workshop.

Suzan Verberne, maart 2015

Hoe wordt het zoeksysteem gebruikt?

Suzan Verberne, maart 2015

Wat kun je niet uit logdata halen?

• Wat was het doel van de gebruiker?- Queries zijn vrijwel altijd ondergespecificeerd

• Was de gebruiker tevreden met het resultaat?- Een klik op een resultaat is niet per se een teken dat het relevant was

- Wat heeft de gebruiker níet gevonden?

• Hoe goed is je zoeksysteem?- Hoe meer terugkerende bezoekers, hoe beter

- Maar welke aspecten zijn voor verbetering vatbaar?

Suzan Verberne, maart 2015

Hoe evalueer je een zoeksysteem?

Gebruikersstudie voor de evaluatie van RemBench

http://rembench.huygens.knaw.nl/

RemBench: A Digital Workbench for Rembrandt Researcheen geïntegreerde online werkomgeving die onderzoek naar het leven en de

werken van Rembrandt van Rijn faciliteert

Suzan Verberne, maart 2015

Over RemBench

RemBench verbindt vier bestaande databases:

• RKDartists en RKDimages: http://explore.rkd.nl/

(RKD: Rijksbureau voor Kunsthistorische Documentatie)

• RemDoc, een collectie van brondocumenten (1475-1750)

gerelateerd aan Rembrandt: http://www.remdoc.org/

(primaire bronnen)

• RUQuest, een bibliotheeksysteem dat toegang geeft tot de collectie

van de Radboud Universiteitsbibliotheek, en alle tijdschriften waarop

de Radboud Universiteit een abonnement heeft:

http://www.ru.nl/library/vm/ruquest/

(secundaire bronnen)

Suzan Verberne, maart 2015

Free text search

Faceted search

Federated search;

resultaten gegroepeerd

per vertical

Suzan Verberne, maart 2015

Detailpagina met

verwijzing naar bron

Suzan Verberne, maart 2015

Evaluatie via een gebruikersstudie

Onderzoeksvragen:

1. Hoe tevreden zijn gebruikers met RemBench?

2. Welke features worden gebruikt en welke niet?

3. Hoe efficiënt zijn de gebruikers in het vinden van antwoorden met gebruik

van RemBench?

Suzan Verberne, maart 2015

Gebruikersstudie

Ontwerp en procedure:

• Deelnemers: 9 studenten (kunstgeschiedenis en geschiedenis, bachelor en

master)

• Taak: probeer het best mogelijke antwoord te vinden op maximaal 10

vragen over Rembrandt

• Observatie:- (Guided) thinking-aloud

- Desktop activity recording

• Een enquête na afloop

Suzan Verberne, maart 2015

User study

• 61 vragen geformuleerd door een Rembrandt-expert- Hoe vaak schilderde Rembrandt Christus?

- Heeft Gary Schwartz iets over Rembrandt geschreven?

- Hoeveel broers heeft Saskia en wanneer zijn geboren?

- Is Rembrandts Lezende Vrouw in het Rijksmuseum geschilderd op doek of paneel?

• Enquête per vraag:- Hoe tevreden ben je met het antwoord? (1=helemaal niet tevreden, 5 = zeer tevreden)

- Hoe tevreden ben je met de bruikbaarheid van RemBench om deze vraag te

beantwoorden? (1=helemaal niet tevreden, 5 = zeer tevreden)

• Enquête aan het einde:- Wat vind je positieve aspecten van RemBench?

- Wat vind je negatieve aspecten van RemBench?

Suzan Verberne, maart 2015

Voorbeeld van interactie met RemBench

https://www.youtube.com/watch?v=y5FXoCuVACo

Suzan Verberne, maart 2015

Resultaten

Suzan Verberne, maart 2015

• De gebruikers waren tevreden- Met name over de uitgebreide mogelijkheden, en de intuïtieve interface

- Maar de tevredenheidsscores hingen wel sterk af van de moeilijkheid van de taak

- Verschillende gebruikers hebben verschillende zoekstijlen, ondanks vergelijkbaar niveau

van expertise.

• Evaluatie via een gebruikersstudie is al mogelijk met minder dan 10 gebruikers.- Dit blijkt ook uit onderzoek naar usability testing (“the proportion of additional usability

problems found when adding test users, quickly decreases after five users” – Nielsen en

Landauer, 1993)

Aanbevelingen voor de definitieve RemBench-toepassing

• Zoektechnologie:- De zoekterm ‘Rembrandt’ moet minder zwaar wegen dan de andere zoektermen

• Facetten:- Maak het mogelijk om werken van 1 specifieke kunstenaar te zoeken

- Maak het mogelijk om een specifiek jaartal in te geven

• Interface:- Maak het gebruik van de ‘refresh-knop’ duidelijk

- Voeg uitleg toe van ‘boolean AND’, ‘phrasal queries’, en ‘fuzzy search’

Suzan Verberne, maart 2015

Dus...

• Wat is de doelgroep van de website? Zowel experts als leken?

• Uitdaging: de interface moet intuïtief zijn maar met mogelijkheid voor

gedetailleerd zoeken. - De pagina ‘geavanceerd zoeken’ wordt zelden bezocht (idem voor de hulppagina).

- Professionele vormgeving maakt groot verschil voor de gebruikerservaring.

• Gebruik logdata: - Welke functionaliteiten van de site worden gebruikt; welke niet?

- Waar zoeken de gebruikers naar (queries)?

- Hoe lang en hoe vaak bezoeken ze de website?

• Evaluatie met echte gebruikers:- Hun eigen zoekproblemen zijn het beste. Heb je die niet, formuleer taken (maar niet te

ingewikkeld)

- Guided thinking-aloud met uitgebreide aantekeningen en screen capture

Suzan Verberne, maart 2015

Vervolgactie

• Duik in de logdata van uw website:- Wat is de meest gebruikte query in uw zoekfunctie?

- Hoe lang is een bezoeker gemiddeld op uw site?

- Welk percentage van de bezoekers gaat naar de pagina voor geavanceerd zoeken?

• Bekijk de zoekfunctionaliteit kritisch:- Welke technologieën zitten erin? Faceted search, federated search, querysuggesties,

personalized search?

- Is de functionaliteit meer gericht op leken of op experts?

- Is de interface intuïtief? En aantrekkelijk?

• Lukt het om antwoorden te vinden?- Vraag een collega om 3 vragen te formuleren waarop het antwoord in uw database te

vinden zou moeten zijn.

- Ga met behulp van uw website op zoek naar de antwoorden

Suzan Verberne, maart 2015

Bedankt voor uw aandacht!

• http://rembench.huygens.knaw.nl/

• http://sverberne.ruhosting.nl/

• http://twitter.com/suzan

Suzan Verberne, maart 2015