Leer je digitale klanten kennen: hoe zoeken ze en wat vinden ze?
-
Upload
radboud-university-nijmegen -
Category
Internet
-
view
169 -
download
0
Transcript of Leer je digitale klanten kennen: hoe zoeken ze en wat vinden ze?
Leer je digitale klanten kennen:
hoe zoeken ze en wat vinden ze?
Suzan Verberne, Radboud Universiteit
Inspiratiedag digitale klantenkunde, Archief 2.0, 23 maart 2015
Inhoud
• Gebruikers van zoeksystemen en hun doelen
• Functionaliteit van zoeksystemen
• Verschillen tussen gebruikers
• Welke informatie kun je uit logdata halen?
• Hoe evalueer je een archiefsysteem met een gebruikersstudie?
Suzan Verberne, maart 2015
Gebruikers van zoeksystemen en hun
doelen
Wat wil de gebruiker precies weten?
• Queries zijn bijna altijd ondergespecificeerd
- Is Java een programmeertaal of een eiland?
- Wil de gebruiker tekst, afbeeldingen, een plattegrond of video zien?
- Welk niveau van detail wil de gebruiker zien?
• Welke resultaten relevant zijn, hangt af van de individuele gebruiker
Suzan Verberne, maart 2015
Queries zijn veel vaker ambigu dan we denken
Suzan Verberne, maart 2015
De bedoeling achter een query
• Wat bedoelt de gebruiker precies? Wat wil hij weten?
• We hebben onderzocht hoe moeilijk het is om aan een query te zien welke
bedoeling erachter zit.
- We vroegen proefpersonen
om de queries die ze
invoerden in Google te
labellen met de
achterliggende bedoeling
- Daarna vroegen we anderen
om de queries ook te
labellen
- De taak bleek heel moeilijk:
er was maar weinig
overeenkomst tussen de
labels
Suzan Verberne, Maarten van der Heijden, Max Hinne, Maya Sappelli, Saskia Koldijk, Eduard Hoenkamp and Wessel Kraaij (2013). Reliability and Validity of
Query Intent Assessments. Journal of the American Society for Information Science and Technology (JASIST), Volume 64, Issue 11, pages 2224–2237
Suzan Verberne, maart 2015
Oplossing bij onbekende gebruiker: diversiteit in de resultaten
Suzan Verberne, maart 2015
Functionaliteit van zoeksystemen
Google: 1 zoekveld, geavanceerde opties verborgen
Suzan Verberne, maart 2015
Maar er zit geavanceerde zoektechnologie achter
Querysuggesties
Extractie van
structurele informatie
Herkenning van de
structuur van websites
Verschillende typen
resultaten
Suzan Verberne, maart 2015
Zoektechnologie
• Federated search
• Faceted search
• Personalized search
Suzan Verberne, maart 2015
Voorbeeld van ‘federated search’.
Elk archief heeft zijn eigen ‘vertical’
Suzan Verberne, maart 2015
Voorbeeld van ‘faceted search’: facetten voor filteren op
metadatawaarden
Suzan Verberne, maart 2015
Voorbeeld van personalized search: resultaat toegespitst op
locatie van de gebruiker
Suzan Verberne, maart 2015
Willen we dat?
• Typen personalisatie:- Op basis van locatie
- Op basis van interesse
- Op basis van niveau van expertise
• Vormen van personalisatie:- Andere ranking van resultaten
- Querysuggesties
- Andere interface
Suzan Verberne, maart 2015
Profiel maken voor personalisatie
• Uitdaging: ontdekken wat de interesse en het expertiseniveau van de
gebruiker is.
• Een profiel maken van je gebruiker op basis van- Zijn queries
- De resultaten waarop hij geklikt heeft
- De voorkeuren van vergelijkbare gebruikers
• Profileren is moeilijk als je maar weinig gegevens van een gebruiker hebt
Verschillen tussen gebruikers
“We are all the Google generation, the young and old, the professor and the
student and the teacher and the child.” Rowlands et al. (2008)
Verschillen tussen experts en leken
• Kenmerken van professioneel zoeken door experts:
- Gebruikers zijn bereid om tijd te investeren: ze formuleren meer queries en bekijken meer
resultaten om een antwoord te vinden
- Complexe zoekvragen: het antwoord op één zoekvraag moet soms verzameld worden uit
meer dan één document
- Specialistische zoekvragen: doelen zijn uniek voor een specialistische gebruiker
Suzan Verberne, maart 2015
Verschillen tussen zoeken op internet en in archiefsystemen
• Google-sessies bestaan vaker uit maar één query
• Sessies in archiefsystemen waarin filteren mogelijk is hebben soms geen enkele query
Suzan Verberne, maart 2015
Verschillen tussen individuele gebruikers
• Sommige gebruikers geven de voorkeur aan tekstueel zoeken, andere aan filteren
Suzan Verberne, maart 2015
Welke informatie kun je uit logdata
halen?
Voorbeeld: logdata van The European Library (TEL)
Suzan Verberne, maart 2015
Waar zoeken mensen naar?
• De meest ingetypte queries
Suzan Verberne, Max Hinne, Maarten van der Heijden, Eduard Hoenkamp, Wessel Kraaij, Theo van der Weide(2010). How does the Library Searcher Behave? A
Contrastive Study of Library Search against Ad-hoc Search. Proceedings of the Conference on Multilingual and Multimodal Information Access Evaluation – LABs
and Workshops Notebook Papers (CLEF 2010), logCLEF workshop.
Suzan Verberne, maart 2015
Hoe wordt het zoeksysteem gebruikt?
Suzan Verberne, maart 2015
Wat kun je niet uit logdata halen?
• Wat was het doel van de gebruiker?- Queries zijn vrijwel altijd ondergespecificeerd
• Was de gebruiker tevreden met het resultaat?- Een klik op een resultaat is niet per se een teken dat het relevant was
- Wat heeft de gebruiker níet gevonden?
• Hoe goed is je zoeksysteem?- Hoe meer terugkerende bezoekers, hoe beter
- Maar welke aspecten zijn voor verbetering vatbaar?
Suzan Verberne, maart 2015
Hoe evalueer je een zoeksysteem?
Gebruikersstudie voor de evaluatie van RemBench
http://rembench.huygens.knaw.nl/
RemBench: A Digital Workbench for Rembrandt Researcheen geïntegreerde online werkomgeving die onderzoek naar het leven en de
werken van Rembrandt van Rijn faciliteert
Suzan Verberne, maart 2015
Over RemBench
RemBench verbindt vier bestaande databases:
• RKDartists en RKDimages: http://explore.rkd.nl/
(RKD: Rijksbureau voor Kunsthistorische Documentatie)
• RemDoc, een collectie van brondocumenten (1475-1750)
gerelateerd aan Rembrandt: http://www.remdoc.org/
(primaire bronnen)
• RUQuest, een bibliotheeksysteem dat toegang geeft tot de collectie
van de Radboud Universiteitsbibliotheek, en alle tijdschriften waarop
de Radboud Universiteit een abonnement heeft:
http://www.ru.nl/library/vm/ruquest/
(secundaire bronnen)
Suzan Verberne, maart 2015
Free text search
Faceted search
Federated search;
resultaten gegroepeerd
per vertical
Suzan Verberne, maart 2015
Detailpagina met
verwijzing naar bron
Suzan Verberne, maart 2015
Evaluatie via een gebruikersstudie
Onderzoeksvragen:
1. Hoe tevreden zijn gebruikers met RemBench?
2. Welke features worden gebruikt en welke niet?
3. Hoe efficiënt zijn de gebruikers in het vinden van antwoorden met gebruik
van RemBench?
Suzan Verberne, maart 2015
Gebruikersstudie
Ontwerp en procedure:
• Deelnemers: 9 studenten (kunstgeschiedenis en geschiedenis, bachelor en
master)
• Taak: probeer het best mogelijke antwoord te vinden op maximaal 10
vragen over Rembrandt
• Observatie:- (Guided) thinking-aloud
- Desktop activity recording
• Een enquête na afloop
Suzan Verberne, maart 2015
User study
• 61 vragen geformuleerd door een Rembrandt-expert- Hoe vaak schilderde Rembrandt Christus?
- Heeft Gary Schwartz iets over Rembrandt geschreven?
- Hoeveel broers heeft Saskia en wanneer zijn geboren?
- Is Rembrandts Lezende Vrouw in het Rijksmuseum geschilderd op doek of paneel?
• Enquête per vraag:- Hoe tevreden ben je met het antwoord? (1=helemaal niet tevreden, 5 = zeer tevreden)
- Hoe tevreden ben je met de bruikbaarheid van RemBench om deze vraag te
beantwoorden? (1=helemaal niet tevreden, 5 = zeer tevreden)
• Enquête aan het einde:- Wat vind je positieve aspecten van RemBench?
- Wat vind je negatieve aspecten van RemBench?
Suzan Verberne, maart 2015
Voorbeeld van interactie met RemBench
https://www.youtube.com/watch?v=y5FXoCuVACo
Suzan Verberne, maart 2015
Resultaten
Suzan Verberne, maart 2015
• De gebruikers waren tevreden- Met name over de uitgebreide mogelijkheden, en de intuïtieve interface
- Maar de tevredenheidsscores hingen wel sterk af van de moeilijkheid van de taak
- Verschillende gebruikers hebben verschillende zoekstijlen, ondanks vergelijkbaar niveau
van expertise.
• Evaluatie via een gebruikersstudie is al mogelijk met minder dan 10 gebruikers.- Dit blijkt ook uit onderzoek naar usability testing (“the proportion of additional usability
problems found when adding test users, quickly decreases after five users” – Nielsen en
Landauer, 1993)
Aanbevelingen voor de definitieve RemBench-toepassing
• Zoektechnologie:- De zoekterm ‘Rembrandt’ moet minder zwaar wegen dan de andere zoektermen
• Facetten:- Maak het mogelijk om werken van 1 specifieke kunstenaar te zoeken
- Maak het mogelijk om een specifiek jaartal in te geven
• Interface:- Maak het gebruik van de ‘refresh-knop’ duidelijk
- Voeg uitleg toe van ‘boolean AND’, ‘phrasal queries’, en ‘fuzzy search’
Suzan Verberne, maart 2015
Dus...
• Wat is de doelgroep van de website? Zowel experts als leken?
• Uitdaging: de interface moet intuïtief zijn maar met mogelijkheid voor
gedetailleerd zoeken. - De pagina ‘geavanceerd zoeken’ wordt zelden bezocht (idem voor de hulppagina).
- Professionele vormgeving maakt groot verschil voor de gebruikerservaring.
• Gebruik logdata: - Welke functionaliteiten van de site worden gebruikt; welke niet?
- Waar zoeken de gebruikers naar (queries)?
- Hoe lang en hoe vaak bezoeken ze de website?
• Evaluatie met echte gebruikers:- Hun eigen zoekproblemen zijn het beste. Heb je die niet, formuleer taken (maar niet te
ingewikkeld)
- Guided thinking-aloud met uitgebreide aantekeningen en screen capture
Suzan Verberne, maart 2015
Vervolgactie
• Duik in de logdata van uw website:- Wat is de meest gebruikte query in uw zoekfunctie?
- Hoe lang is een bezoeker gemiddeld op uw site?
- Welk percentage van de bezoekers gaat naar de pagina voor geavanceerd zoeken?
• Bekijk de zoekfunctionaliteit kritisch:- Welke technologieën zitten erin? Faceted search, federated search, querysuggesties,
personalized search?
- Is de functionaliteit meer gericht op leken of op experts?
- Is de interface intuïtief? En aantrekkelijk?
• Lukt het om antwoorden te vinden?- Vraag een collega om 3 vragen te formuleren waarop het antwoord in uw database te
vinden zou moeten zijn.
- Ga met behulp van uw website op zoek naar de antwoorden
Suzan Verberne, maart 2015
Bedankt voor uw aandacht!
• http://rembench.huygens.knaw.nl/
• http://sverberne.ruhosting.nl/
• http://twitter.com/suzan
Suzan Verberne, maart 2015