15-9-2011 1Limo, exponent van een nieuwe generatie discovery tools

Limo, exponent van een nieuwe generatie discovery tools

Inhoud• Web scale discovery: wat en waarom ?

• Implementatie van Limo in K.U.Leuven

• Gebruikerstesten en gebruiksgegevens

• Eerste observaties

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 2

Web scale discovery: waarom ?Diversiteit aan materialen en collecties- Catalogus- Repository- (bibliografische) databanken- Collecties gedigitaliseerd en “born” digital materiaal

-> nood aan één performante zoekomgeving voor al deze collecties

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 3

Web scale discovery: waarom ?Gebruiksvriendelijkheid van Google en webshops zijn de norm

-> roep om een “Next Generation OPAC” met• Verbeterde zoekfunctionaliteit• Web 2.0 technologie• Verrijkte inhoud

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 4

Federated search kan deze verwachtingen niet inlossen:

– Beperkt aantal databanken simultaan te doorzoeken

– Relevance ranking verschillend per databank

– Traag

– Complex voor gebruikers

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 5

Web scale discovery :

– Centrale index met massale hoeveelheid artikels en e-books gehost door leverancier

– Uniforme relevance ranking

– Snel

– Eenvoudige zoekbox op elke pagina

“Features” van discovery tools• Faceted Search

• Relevance ranking

• “Did you mean”

• Simple keyword search on every page

• Single point of entry for all library materials

• State of the art web interface

• Enriched content

• Recommendations

• User contribution

• RSS

• Integration with social network sites

• Persistent links

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 6

Bron: Yang S.Q. en Wagner K. : (2010), “Evaluating discovery tools” In: Library Hi Tech Vol. 28 No. 4, 2010 pp. 690-709

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 7

Inhoud• Web scale discovery: wat en waarom ?

• Implementatie van Limo in K.U.Leuven

• Gebruikerstesten en gebruiksgegevens

• Eerste observaties

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 8

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 9

Catalogus

Onderzoeksrepository

Data e-tijdschriften

Beschrijvingen databanken

Inhoud van DigiTool (later)

Data :- Genormaliseerd- Ontdubbeld (lokale data)- Gelijkaardige records gegroepeerd (FRBR)- Verrijkt

Data :- Genormaliseerd- Ontdubbeld (lokale data)- Gelijkaardige records gegroepeerd (FRBR)- Verrijkt

Implementatie van Limo in K.U.Leuven

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 10

Bèta release in september 2010

“Soft launch” maart 2011

Gebruikerstesten begin mei 2011

Evaluatie, finetuning en nieuwe lay-out

Lancering met vervanging van OPAC en LibriSource Plus

september 2011

Inhoud• Web scale discovery: wat en waarom ?

• Implementatie van Limo in K.U.Leuven

• Gebruikerstesten en gebruiksgegevens

• Eerste observaties en aanpassingen voor de nieuwe versie

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 11

Bronnen voor evaluatie• Gebruikerstesten

• (Gebruiksgegevens)

• Feedback

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 12

Gebruikerstesten: vragen• Is het duidelijk wat men in Limo kan vinden ?

• Kunnen gebruikers gemakkelijk

– informatie over een onderwerp vinden ?

– een gekende publicatie terugvinden ?

– de ligplaats van een document in de bibliotheek vinden ?

– de full text van een document online raadplegen ,

– informatie bewaren en exporteren ?

• Kennen gebruikers alternatieven om documenten op te zoeken die ze niet vonden in Limo ?

• Zijn de aanmeldprocedures verstaanbaar ?

• Wordt Limo gezien als een verbetering t.o.v. de huidige zoeksystemen van de bibliotheek ?

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 13

Gebruikerstesten: methode• Uitgevoerd door U-Sentric, een bedrijf gespecialiseerd in

usability-onderzoek• Testers worden gevraagd een reeks taken in Limo uit te

voeren en daarbij luidop na te denken (1u / testpersoon)• Onderzoeker observeert:

– Hoe wordt de taak uitgevoerd ?– Wat ziet de testpersoon (niet) ?– Lichaamstaal, bedenkingen, ..

• Korte vragenlijst vooraf en achteraf

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 14

Gebruikerstesten: testscenario1. Je bent niet op de campus en wilt toch enkele opzoekingen verrichten voor je

onderzoek, meld je aan op de website http://limo.libis.be/KULeuven

2. Je wilt graag recente internationale artikels opzoeken over quota voor vrouwen bij de verkiezingen. Hoe ga je te werk?

3. Je zoekt publicaties voor je onderzoek over de relatie tussen videospelletjes en agressief gedrag bij kinderen. Kan je de 5 publicaties kiezen die jou het meest relevant lijken maar ook wetenschappelijk waardevol zijn?

4. Kan je de gevonden publicaties bewaren zodat je later de referenties ervan snel kan terugvinden?

5. …..

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 15

Testers5 studenten

5 onderzoekers

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 16

Ervaring met Limo:

• 5 testers: nog nooit mee gewerkt

• 3 testers: 1 keer gebruikt

• 2 testers: al vaker gebruikt

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 17

Zijn 10 testers genoeg om conclusies te kunnen trekken ?

Bron: Jakob Nielsen, http://www.useit.com/alertbox/20000319.html

Output• Impressies van reëel zoekgedrag

• Lijst van verbeterpunten

• Feedback over hoe Limo werd ervaren.

• Geen statistische informatie !

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 18

Gebruiksgegevens• Periode: Maart – juni• Nog relatief veel testgebruik -> enkel indicatief en

ter aanvulling/bevestiging van gebruikerstesten• Bronnen

– Gebruiksgegevens Limo– Google Analytics

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 19

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 20

Eerste observaties i.v.m.

• Eén toegang voor “alle” collecties

• Facets

• Relevance ranking

• FRBR groepering

• Tags & Reviews

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 21

Eén toegang tot alle collecties

Geen afzonderlijke

tabs voor verschillende

collecties

Gebruikerstesten voor andere Primo sites• University of Minnesota

“Several evaluators did not use or see the... tabs above the search box. When the tabs were not used, it lead to searching that was less likely to find the desired results.”

• University of Coventry

“Only half of the testers found the Articles tab without prompting. “

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 22

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 23

Gebruikerstesten:“Ik wist niet wat er doorzoekbaar is”

Bezorgdheid bibliotheken: “gaan gebruikers beseffen dat niet alle collecties waarvoor K.U.Leuven een licentie heeft toegankelijk zijn via Limo ? “

“Hoe gemakkelijk een boek terug vinden in de massa’s publicaties ?”

Info over inhoud van

Limo

… wordt niet gelezen

Nieuwe versie van Limo

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 24

O.m. nieuws over nieuwe collecties

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 25

Relevance ranking belangrijk !

> ½ van de zoekacties resulteerde in > 100 zoekresultaten

Relevance rankingBepalende factoren in Primo Central:

- Matching met zoekvraag

- “waarde” van de publicatie, gebaseerd op bX

- Interessegebied vd gebruiker (toekomst)

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 26

Relevance ranking“Force blending” om de fysieke collectie beter vindbaar te maken in de massa publicaties

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 27

Indien lokale records in zoekresultaat: 1 record komt bovenaan de 1e pagina, 2 komen hoger in de rangschikking.

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 28

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 29

Eerste observaties i.v.m.

• Eén toegang voor “alle” collecties

• Relevance ranking

• Facets

• FRBR groepering

• Tags & Reviews

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 30

Om snel bibliotheekitems terug te vinden

Gebruik van facets: voordelen• Faciliteert meer flexibele zoekstrategieën

• Helpt in formuleren van de zoekvraag en beoordelen van zoekresultaten

• Gebruikers voelen zich meer georganiseerd over hun zoekacties

• Geeft gebruikers meer controle over zoekresultaat

• Minder zoekacties met 0 resultaten

Bronnen:Fagan J.C. : (2010), “Usability Studies of Faceted Browsing: A Literature Review” In: Information technology and libraries.

June 2010 pp. 58-66.

Kules, B., Capra, R., Banta, M., Sierra, T. (2009). “What do exploratory searchers look at in a faceted search interface ?” In: JCDL’09, June 15–19, 2009, Austin, Texas, USA

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 31

Gebruik van facets: issues

• Bij omvangrijke resultaatset worden niet alle facetwaarden getoond.

-> facets gerangschikt volgens aantal zoekresultaten

• Geen uniformiteit in toekenning topics, schrijfwijze van auteursnamen

-> aantal facets geeft info over de inhoud van het zoekresultaat maar minder efficiënt als filter

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 32

Gebruik facets in Limo

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 33

• Gebruikerstesten: meerderheid van de proefpersonen gebruikten facets

• Google Analytics: sessies met gebruik van facets

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 34

Gebruik van facets in Limo (maart – juni 2011)

Gebruik facet Resource type(maart – juni 2011)

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 35

Gebruik top facets (maart – juni 2011)

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 36

Gebruikerstesten: top facets worden niet goed opgemerkt, gebruikers verwachten ze bij de andere facets, links op het scherm

Facet “In LIBISnet Catalogue”: minder gebruikt dan Resource type: books

Nieuwe versie

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 37

Alle facets links op het scherm“Print Copies” ipv “In LIBISnet Catalogue” om snel bibliotheekmaterialen terug te vinden

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 38

Eerste observaties i.v.m.

• Eén toegang voor “alle” collecties

• Relevance ranking

• Facets

• FRBR groepering

• Tags & Reviews

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 39

Versies werden dikwijls niet opgemerkt

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 40

Feedback van bibliotheken: de lijst van versies te rangschikken op datum.

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 41

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 42

Tags en reviews• Gebruiksgegevens: praktisch niet gebruikt

• Gebruikerstesten: 2 testers noemden tags als de minst nuttige functies

-> Wordt verder bekeken maar voorlopig gedeactiveerd.

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 43

15-9-2011Limo, exponent van een nieuwe generatie discovery tools 44

Gebruikerstesten : beoordeling