Het functioneren van Primo binnen de dienstverlening van de...

49
Het functioneren van Primo binnen de dienstverlening van de bibliotheken van de UvA en HvA Evaluatie d.m.v. gebruiksstatistieken én gebruikersonderzoek naar de effecten op zoekgedrag en naar de tevredenheid van gebruikers een jaar na introductie Maurits van der Graaf 2013-10-17 Pleiade Management and Consultancy BV Keizersgracht 62 1015 CS Amsterdam The Netherlands T: +31 20 488 9397 [email protected] www.pleiade.nl

Transcript of Het functioneren van Primo binnen de dienstverlening van de...

Page 1: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Het functioneren van Primo binnen de dienstverlening van de bibliotheken van de UvA en HvA

Evaluatie d.m.v. gebruiksstatistieken én gebruikersonderzoek naar

de effecten op zoekgedrag en naar de tevredenheid van

gebruikers een jaar na introductie

Maurits van der Graaf

2013-10-17

Pleiade Management and Consultancy BV

Keizersgracht 62

1015 CS Amsterdam

The Netherlands

T: +31 20 488 9397

[email protected]

www.pleiade.nl

Page 2: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

2

Inhoudsopgave

1. Inleiding ............................................................................................................................... 3 2. Onderzoeksopzet ................................................................................................................ 4 3. Resultaten analyse gebruiksstatistieken ............................................................................. 5

3.1 Primo in het landschap van discovery en delivery ........................................................... 5 3.2 Kengetallen Primo ............................................................................................................ 6 3.3 Aandelen diverse zoeksystemen in aantal keren opvragen full text via SFX ................... 7 3.4 Aandelen diverse zoeksystemen 1e kwartaal 2013 vergeleken met 1e kwartaal 2011 .. 7 3.5 SFX verzorgt ongeveer 40% van de opvragingen full text ................................................ 9 3.6 Primo verzorgt ongeveer 25% van de boekaanvragen (UvA) .......................................... 9 3.7 Aantal full text aanvragen is constant gebleven over de afgelopen 4 jaar ...................... 9 3.8 Gebruik van Primo en OPC in de tijd (UvA) .................................................................... 10 3.9 Gebruik van Primo en OPC in de tijd (HvA) .................................................................... 11

4. Resultaten enquête UvA gebruikers ................................................................................. 12 4.1 Resultaten kwalitatief vooronderzoek ........................................................................... 12 4.2 Response enquete .......................................................................................................... 13 4.3 Kenmerken zoekgedrag .................................................................................................. 15 4.4 Zoekmachines in gebruik ................................................................................................ 17 4.5 Gebruik bibliografisch apparaat UvA ............................................................................. 19 4.6 Doelstellingen CatalogusPlus getoetst ........................................................................... 20 4.7 Gebruikers CatalogusPlus ............................................................................................... 22 4.8 Oude catalogus, A tot Z tijdschriftenlijst en overzicht databanken ............................... 24

5. Resultaten enquête HvA gebruikers .................................................................................... 26 5.1 Inleiding .......................................................................................................................... 26 5.2 Kenmerken zoekgedrag .................................................................................................. 26 5.3 Gebruik bibliografische apparaat HvA ........................................................................... 28 5.4 Doelstellingen ZOEKEN IN DE HvA BIBLIOTHEEK getoetst ............................................. 29 5.5 Gebruikers ZOEKEN IN DE HvA BIBLIOTHEEK ................................................................. 31 5.6 Oude catalogus, A tot Z tijdschriftenlijst en overzicht databanken ............................... 33

6.1 Conclusies ........................................................................................................................... 35 6.1 Achtergrond.................................................................................................................... 35 6.2 Aanpak ............................................................................................................................ 35 6.3 Primo aan de UvA: de statistieken ................................................................................. 36 6.4 Primo aan de UvA: de gebruikers ................................................................................... 36 6.5 Conclusies t.a.v. de UvA implementatie van Primo ....................................................... 39 6.6 Primo aan de HvA: de gebruiksstatistieken ................................................................... 40 6.7 Primo aan de HvA: de gebruikers ................................................................................... 40 6.8 Conclusies ten aanzien van de HvA implementatie van Primo ...................................... 42

Bijlage A De vragenlijst ............................................................................................................. 43

Page 3: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

3

1. Inleiding

In de tweede helft van 2011 is een bètaversie van de Discovery Tool Primo van ExLibris in de dienstverlening van de bibliotheek van de UvA en HvA geïntroduceerd. In april 2012 is de bèta versie omgezet in een definitieve versie,

terwijl het alternatief - de federatieve zoekmachine MetaLib - in oktober 2012 is uitgefaseerd.

Primo neemt een centrale plaats in de dienstverlening van zowel de Bibliotheek van de UvA als de HvA Bibliotheek. Bij de Bibliotheek van de UvA wordt Primo

gepresenteerd onder de naam CatalogusPlus als eerste zoekingang (met als tweede zoekingang de UvA-catalogus). Op de website van de HvA Bibliotheek

wordt Primo gepresenteerd met een zoekbalk onder de kop Zoeken in de HvA Bibliotheek. De HvA-catalogus wordt separaat gepresenteerd op een minder prominente plaats.

Na een jaar is er behoefte aan een evaluatie over het functioneren van deze nieuwe dienst door middel van een onderzoek onder eindgebruikers. Dit is mede

ingegeven omdat onder de informatiespecialisten van de Bibliotheek van de UvA en de HvA Bibliotheek ontevredenheid heerst over het functioneren van deze

Discovery en Delivery tool.

Doel van het onderzoek is om de tevredenheid van de eindgebruikers over de

huidige opzet van Primo vast te stellen en daarbij de knelpunten die zij ervaren in kaart te brengen met het oog op het aanbrengen van eventuele verbeteringen

in de huidige opzet van Primo. Een analyse van de gebruikersstatistieken en een toets op de oorspronkelijke gestelde eisen en wensen bij het selectieproces van Primo zijn onderdeel van het onderzoek.

Als achtergrond voor de implementatie van een discovery tool en de keuze voor

Primo het volgende: de behoefte onder de eindgebruikers van de UvA aan één zoekingang op de digitale bibliotheek met een Google-achtige interface werd vastgesteld in het gebruikersonderzoek in 2008, zie de rapporten: ‘De digitale

dienstverlening van de UBA en de verdere ontwikkeling daarvan: het gebruikersperspectief’ (2008-05-14) en ‘Groepsdiscussies rond de inrichting van

de digitale bibliotheek van de UBA’ (2008-06-04). In de notitie ‘Een Discovery Tool voor Bibliotheek van de UvA en UBL’ van 7 januari 2011 wordt het selectieproces beschreven dat uiteindelijk geleid heeft tot de aanschaf van Primo

als Discovery en Delivery tool: Primo voldeed toen aan de meeste gestelde criteria en werd daarom geselecteerd.

Dit evaluatieonderzoek is uitgevoerd in de periode mei t/m juli 2013 door Maurits van der Graaf van Pleiade Management en Consultancy onder supervisie van

Alice Doek, Web Manager UB en Renze Brandsma, Leiding Elektronische Diensten en met hulp van Bas Ettema, Project- en informatiemanagement HvA

Bibliotheek.

Page 4: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

4

2. Onderzoeksopzet

Het onderzoek werd uitgevoerd in de volgende fasen:

Fase 1: Analyse gebruiksstatistieken

De belangrijkste gebruiksstatistieken worden opgevraagd en geanalyseerd, o.a. om de positie van Primo in de doorgeleiding naar de full text te bepalen.

Fase 2: Kwalitatief vooronderzoek met het oog op een enquête

Een groepsdiscussie met informatiespecialisten van de Bibliotheek van de UvA en

HvA Bibliotheek wordt gehouden met het doel om hun ervaringen met Primo in hun contacten met eindgebruikers in kaart te brengen en een lijst met

(potentiële) knelpunten op te stellen. Vervolgens werden gebruikers geïnterviewd over hun ervaringen met Primo. Uiteindelijk werd met 12 gebruikers gesproken:

een groepsdiscussie gehouden met zes medewerkers en studenten van de UvA en zes interviews met HvA gebruikers (5 studenten en 1 medewerker).

Fase 3: Online enquête

Op basis van de resultaten van fase 1 en fase 2 is een vragenlijst opgesteld voor een online enquête m.b.v. Pleiadesurvey. De vragenlijst werd in vier varianten

worden verspreid onder studenten en medewerkers van de UvA en de HvA in zowel het Nederlands als het Engels. De verspreiding van de uitnodiging tot

deelname aan deze enquête is verzorgd door de afdeling Strategie & Informatie van de Bestuursstaf van de UvA.

Fase 4: Opstellen van aanbevelingen

De resultaten van de groepsdiscussies onder Primo gebruikers en de resultaten

van de enquête zijn teruggekoppeld met dezelfde groep informatiespecialisten binnen de Bibliotheek van de UvA en HvA Bibliotheek in een bijeenkomst op 22 augustus met het oog op het opstellen van de aanbevelingen. Ook is er begin

augustus een besprekingen gehouden met de supervisors van het onderzoek aangevuld met Lukas Koster en Erik Bastiaansen. Na de presentatie in het MT op

17 september is op een tweede bijeenkomst met dit gezelschap eind september een start gemaakt met het opstellen van een actieplan.

Page 5: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

5

3. Resultaten analyse gebruiksstatistieken

3.1 Primo in het landschap van discovery en delivery

In de figuur hierboven staat het landschap geschetst van Discovery en Delivery

waar Primo deel van uitmaakt. Een korte toelichting:

Eindgebruikers hebben vele mogelijkheden om bij full text te komen: internet

zoekmachines zoals Google, specifiek op wetenschappelijke informatie gerichte zoekmachines zoals Google Scholar, de bibliografische databanken

aangeboden door de bibliotheek van de UvA en HvA, de OPAC en de A tot Z tijdschriftenlijst, diverse social media platforms zoals Mendeley en natuurlijk allerlei links op contentplatformen en in gedownloade artikelen.

Er zijn drie linking mechanismes om bij de full text te komen: een (‘normale’) URL, de DOI en de link verzorgd door de link resolver SFX. DOI’s die worden

aangeklikt in platformen die gekoppeld zijn aan SFX worden overigens via SFX ‘geresolved’ - vandaar de pijl in dit schema. Tevens moet opgemerkt worden dat niet alle discovery opties aangesloten zijn op alle drie linking

mechanismen. Ook hebben niet alle full text platformen alle linking mechanismen.

De full text kan zich bevinden op een platform van de uitgever of een aggregator, maar ook (mogelijk een niet officiële vorm) in een repository of een website (van de auteur zelf bijvoorbeeld).

Om de positie van Primo in dit landschap te bepalen zijn de volgende

gebruikersstatistieken verzameld:

Free scholarly search tools (f.e. Google Scholar; PubMed)

Endusers Linking systemsDiscovery options

Studenten

Medewerkers

Collection platforms

Collection platfoms of publishers and/or

aggregators

(f.e. ScienceDirect, SpringerLink, Wiley, Sage

EBSCO host, Ingenta)

A&I databases provided by library

(f.e. Web of Science, Picarta)

OPAC; A-Z list

Free internet search tools (f.e. Google; Yahoo; Bing)

Primo

Browsing using links in content platforms

Social media platforms (f.e. Mendeley; ResearchGate)

DOI

SFX

URL

Repositories

Websites of authors or institutes

Document delivery service

Linking-in statistics

Full text aanvragen

Nr. of searches

Figuur 1 Landschap discovery en delivery

Page 6: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

6

Gebruik van Primo: het aantal zoekacties in Primo; deze gegevens zijn

verzameld voor zowel de UvA als de HvA. Primo en boekaanvragen: Het aantal boekaanvragen dat via Primo tot

stand is gekomen ten opzichte van het aantal boekaanvragen dat via de OPAC tot stand is gekomen. Deze gegevens zijn uitsluitend beschikbaar voor de UvA omdat de HvA haar gehele gedrukte collectie in een open opstelling aanbiedt.

Aandeel van Primo t.o.v. andere discovery mechanismen in SFX clicks naar full text: Deze gegevens zijn verzameld voor het eerste kwartaal 2013

(een snapshot) en vergeleken met het eerste kwartaal 2011. Deze gegevens waren uitsluitend beschikbaar voor de UvA.

Totaal aantal full text aanvragen van de meest belangrijke

platformen van de UvA: Hiervoor werd gebruikgemaakt van Scholarly Stats, een tool voor gebruiksstatistieken die uitsluitend beschikbaar was voor

de UvA.

3.2 Kengetallen Primo

Kengetallen Primo (eerste kwartaal 2013) UvA Aantal search counts in Primo 986.361

SFX gebruik – opvragen full text totaal 474.871

SFX opvragen full text vanuit Primo 194.135

Gemiddeld aantal keer opvragen full text via SFX per search count 0,20

marktaandeel Primo in opvragen full text via SFX 41%

HvA Aantal search counts in Primo 162.086

SFX gebruik – opvragen full text totaal 13.015

SFX opvragen full text vanuit Primo 10.317

Gemiddeld aantal keer opvragen full text via SFX per search count 0,06

marktaandeel Primo in opvragen full text via SFX 79% Tabel 1 Kengetallen Primo

In tabel 1 staan de kengetallen weergegeven voor het ‘snapshot’ voor Primo voor

het eerste kwartaal 2013.

Hieruit kunnen de volgende conclusies getrokken worden:

Het aantal search counts in Primo is groot, zowel bij de UvA als bij de HvA, hoewel voor de HvA het niveau een orde van grootte lager ligt.

Het aandeel van Primo in het aantal opgevraagde full text via SFX is aanzienlijk: 41% bij de UvA, 79% bij de HvA.

Het aantal opgevraagde full text per search count lijkt zeer laag: 0,2 bij de UvA, en zelfs 0,06 bij de HvA. Dit blijkt veroorzaakt door de definitie van search count (d.i. alle ‘clicks’ door de gebruiker).

Page 7: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

7

3.3 Aandelen diverse zoeksystemen in aantal keren opvragen full text via SFX

Hieronder is het aandeel van Primo bij de UvA in het totaal aantal opgevraagde full text via SFX vergeleken met de meest belangrijke andere bronnen. Primo

heeft dan het grootste ‘marktaandeel’ van 41%, gevolgd door Google Scholar met 28%, PubMed met 12% en 6% voor Web of Knowledge. Opvallend is het hoge aandeel van de tijdschriftenlijsten (6% voor de Medische Bibliotheek, 3%

voor de UvA tijdschriftenlijst.

Totaal aantal keren opvragen van full text vanuit zoeksystemen UvA via SFX

Eerste kwartaal 2013

Primo 194.135

Google Scholar 133.436

PubMed 57.663

Web of Knowledge 26.480

MB Tijdschriftenlijst 23.596

UBA Tijdschriftenlijst 13.398

overig 26.163

Totaal 474.871 Tabel 2 Aandelen discovery systemen in opvragingen via SFX

3.4. Aandelen diverse zoeksystemen 1e kwartaal 2013 vergeleken met 1e kwartaal 2011

Figuur 2 Snapshot 1e kwartaal 2013

41%

28%

12%

6%

5%

3% 6%

UvA-Linker: Opvragen full text vanuit bron 1e kwartaal 2013

Primo

Google Scholar

PubMed

Web of Knowledge

MB Tijdschriftenlijst

UBA Tijdschriftenlijst

Overig

Page 8: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

8

Figuur 3 Snapshot 1e kwartaal 2011

2011 Q1 2013 Q1 verschil

MetaLib (2011); Primo (2013) 31% 41% 10%

Google Scholar 25% 28% 3%

PubMed 11% 12% 1%

Tijdschriftenlijst MB 9% 5% -4%

Tijdschriftenlijst UB 8% 3% -5%

Web of Knowledge 4% 6% 2%

overig 11% 6% -5% Tabel 3 Snapshots 2011 en 2013 vergeleken

In het eerste kwartaal 2011 was MetaLib nog de integrale zoekmachine aangeboden door de UB Amsterdam. Uit bovenstaande taartdiagrammen en de

samenvattende tabel daaronder blijkt het volgende:

Ten opzichte van MetaLib is het aandeel Primo in de clicks-through naar full

text 10% groter (41% versus 31%)1. Het aandeel van Google Scholar is 28% in het eerste kwartaal 2013; dit is 3%

groter dan in het eerste kwartaal 2011. Het aandeel van PubMed is vrijwel

gelijk gebleven (12% versus 11%).

1 De groei van het aandeel van Primo ten opzichte van MetaLib kan veroorzaakt zijn door

de positionering van primo (CatalogusPlus is de default optie).

31%

25%

11%

9%

8%

5%

11%

UvA-Linker: Opvragen full text vanuit bron 1e kwartaal 2011

MetaLib

Google Scholar

PubMed

Tijdschriftenlijst MB

Tijdschriftenlijst UB

Web of Knowledge

overig

Page 9: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

9

Het aandeel van Web of Knowledge is toegenomen van 4% naar 6%.

Het aandeel van de A tot Z tijdschriftenlijsten is afgenomen: de medische tijdschriftenlijst heeft in 2013 een aandeel van 5% (was 9%) en de

tijdschriftenlijst van de UB Amsterdam heeft een aandeel van 3% (was 8%). Het aandeel van andere discovery opties (overige) is eveneens afgenomen: in

het eerste kwartaal 2013 bedraagt dit 6%, in 2011 was dit 11%.

3.5 SFX verzorgt ongeveer 40% van de opvragingen full text

Volgens het rapport uit Scholarly Stats ‘The total number of full Text Article Requests in the Journal Usage Reports provided by vendors’ voor het eerste kwartaal 20132 zijn er in totaal 1.160.262 full text aanvragen vanuit de UvA

geregistreerd. Deze getallen geven het gebruik weer van ca. 35 platforms voor tijdschriften, die samen het overgrote deel van de tijdschriftencollectie van de

UvA omvatten.

Dit gegeven betekent dat ca. 40% van de full text requests via de SFX UvA linker

worden gerealiseerd. Ca. 60% van de full text requests komt dus op een andere manier tot stand. Enkele waarschijnlijke routes daarvoor zijn: via URL’s (Google),

via referenties in artikelen, links op het full text platform zelf (bijv. ScienceDirect) etc. (zie ook figuur 1).

3.6 Primo verzorgt ongeveer 25% van de boekaanvragen (UvA)

Deze statistieken worden wel bijgehouden maar niet langdurig bewaard. Voor dit onderzoek is de maand juni 2013 gemonitord (zie tabel hieronder). Hier blijkt dat

ca. 25% van de boekaanvragen vanuit Primo tot stand komt en dus 75% vanuit de ‘oude’ catalogus.

3.7 Aantal full text aanvragen is constant gebleven over de afgelopen 4 jaar

Heeft Primo mogelijk effect gehad op het aantal full text aanvragen? Hieronder

zijn de gegevens over de periode januari 2009 – maart 2013 weergegeven van de full article requests zoals door Scholarly Stats van Swets wordt verzameld. Dit

is een verzameling gegevens van circa 35 platformen (zoals Wiley, ScienceDirect, JSTOR etc.3). Zoals te zien is, is de trendlijn over deze periode vrijwel stabiel. De

conclusie hieruit: Primo heeft voor de UvA community niet tot een intensivering van het gebruik van full text (artikelen) geleid.

2 Download op 24 mei: gegevens van SpringerLink voor feb en mrt en Oxford Journals Online voor mrt

ontbreken nog (schatting ca. 60.000 komt er nog bij).

3 De samenstelling van deze 35 platformen varieert over de periode 2009-2013 enigszins (maar zeer beperkt).

Hiervoor is dan ook niet gecorrigeerd.

aantal aanvragen uit Primo totaal aantal aanvragen OPC

percentage aanvragen vanuit Primo

8795 34657 25%

Page 10: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

10

Figuur 4 full article requests over the years with lineaire trendlijn

3.8 Gebruik van Primo en OPC in de tijd (UvA)

Figuur 5 Tijdlijn gebruik Primo en OPC UvA

In de staafdiagram hierboven staat de tijdlijn weergegeven van het gebruik van

de OPC en Primo vanaf december 2011 tot maart 2013. In deze periode hebben de volgende veranderingen plaatsgehad in de website:

In december 2011 werd Primo in een bètaversie aangeboden.

0

100000

200000

300000

400000

500000

600000

700000Ja

n-2

00

9

May

-20

09

Sep

-20

09

Jan

-20

10

May

-20

10

Sep

-20

10

Jan

-20

11

May

-20

11

Sep

-20

11

Jan

-20

12

May

-20

12

Sep

-20

12

Jan

-20

13

Timeline full article requests UvA

timeline

Lineair (timeline)

0

50000

100000

150000

200000

250000

300000

350000

400000

450000

500000

Timeline: search counts OPC en Primo (UvA)

Primo

OPC

Page 11: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

11

Vanaf april 2012 werd MetaLib - de voorganger van Primo - niet meer

aangeboden via de website. De website bevatte meerdere tabbladen (met o.a. het interface van de ‘oude’ catalogus en het interface van CatalogusPlus),

waartussen de gebruiker zelf een keuze diende te maken. Vanaf september 2012 werd CatalogusPlus als default aangeboden: de

eindgebruiker dient vanaf dat moment actief aan te geven dat hij/zij toch

gebruik wil maken van de ‘oude’ catalogus.

Uit de grafiek zijn deze bovengenoemde gebeurtenissen duidelijk terug te lezen. E.e.a. heeft er toe geleid dat er een forse verschuiving heeft plaatsgevonden van het gebruik van de OPC (de ‘oude ’catalogus) naar Primo (CatalogusPlus).

3.9 Gebruik van Primo en OPC in de tijd (HvA)

Figuur 7 Tijdlijn gebruik OPC en Primo (HvA)

In de figuur hierboven staat de tijdlijn weergegeven van het gebruik van de OPC en Primo in de HvA. Hoewel het gebruik van de oude catalogus enigszins is

verlaagd onder invloed van de implementatie van Primo, lijkt Primo toch vooral additioneel gebruik te hebben opgeleverd. Overigens moet worden opgemerkt

dat de gegevens niet met elkaar vergelijkbaar zijn: de search count in Primo is zeer ruim gedefinieerd (alle ‘clicks’ door de gebruiker).

0

10.000

20.000

30.000

40.000

50.000

60.000

70.000

80.000

90.000

dec

-11

jan

-12

feb

-12

mrt

-12

apr-

12

mei

-12

jun

-12

jul-

12

aug-

12

sep

-12

okt

-12

no

v-1

2

dec

-12

jan

-13

feb

-13

mrt

-13

Timeline: search counts OPC en Primo (HvA)

OPC

Primo

Page 12: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

12

4. Resultaten enquête UvA gebruikers

4.1 Resultaten kwalitatief vooronderzoek

Het kwalitatieve vooronderzoek bestond uit (1) een groepsdiscussie met 9 informatiespecialisten van zowel de HvA als de UvA (2) gesprekken met in het

totaal 12 gebruikers (een groepsdiscussie met zes medewerkers en studenten van de UVA en interviews met zes HvA gebruikers). De belangrijkste resultaten zijn hieronder puntsgewijs samengevat:

Knelpunten in de dekkingsgraad van Primo:

o Voor de faculteit Geesteswetenschappen van de UvA is het cruciaal dat PiCarta niet is opgenomen in CatalogusPlus.

o Voor de HvA gebruikers zijn een reeks belangrijke bestanden niet

opgenomen: genoemd zijn onder andere de HvA kennisbank, LexisNexis, de BSL vakbibliotheek, Boom/Lemma, Kluwer Juridische

databank. Knelpunten in de werking van Primo:

o De relevance ranking werd als problematisch gekenmerkt. Men werd

soms overweldigd door het aantal resultaten en had moeite om de relevante resultaten uit het eigen vakgebied eruit te filteren. De

momenteel aangeboden zoekfilters geven daarbij te weinig hulp en zoekfilters op basis van vakgebied werden daarin als wenselijk gezien

o Men vindt dat er veel geklikt moet worden om bij de full text te

komen4. o Zoeken naar boeken met behulp van CatalogusPlus werd als een

knelpunt gezien. Ook e-books worden als moeilijk vindbaar gekarakteriseerd.

o Men geeft problemen aan met het gebruik van diakritische tekens in zoektermen.

o De toegankelijkheid en de presentatie van de digitale full text wordt

eveneens als een knelpunt gezien. Soms krijgt men bijv. wel een abstract, maar geen toegang tot full text5.

Wensen ten aanzien van Primo: o Enkele deelnemers dringen aan op een Nederlandstalig interface.

Wensen ten aanzien van de website:

o Een deelnemer vond dat er te weinig uitleg op de website aanwezig is over welke zoekmachines voor welke zoekacties gebruikt zouden

moeten worden en hoe deze zoekacties uit te voeren. Observaties ten aanzien van gebruikersgedrag:

o Uit beschrijvingen van de deelnemers aan de groepsdiscussie werden

globaal twee zoekstrategieën onderscheiden: op basis daarvan werd vraag ontwikkeld over zoekstrategie (X) en zoekstrategie (Y).

4 Dit knelpunt hoeft overigens niet aan Primo te liggen, het kan ook veroorzaakt worden door de wijze waarop

de uitgevers de full text aanbiedenen of hoe de link resolver werkt.

5 Ook dit knelpunt ligt niet noodzakelijkerwijs aan Primo.

Page 13: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

13

o Sommige deelnemers aan het kwalitatieve vooronderzoek geven aan

voorkeur voor digitale informatie te hebben en geen belangstelling voor gedrukte boeken of tijdschriften te hebben.

o Eén deelnemer (HvA-student) gaf aan via Google video’s gevonden te hebben die zeer informatief waren en vond het jammer dat de zoekmachine van de bibliotheek geen toegang biedt tot videomateriaal.

4.2 Response enquete

De respondenten werden uitgenodigd door middel van een e-mail met een link

naar de online vragenlijst op 21 juni 2013. Een herinnering werd verstuurd op 27 juni. De enquête werd 5 juli afgesloten.

Bij de studenten is er oververtegenwoordiging van de faculteit Geesteswetenschappen en FNWI en een lichte ondervertegenwoordiging van de

Rechtsgeleerdheid en Economie en Bedrijfskunde.

Uitgenodigd Ingevulde

vragenlijsten

Respons %

Medewerkers UvA 4799 642 13,4%

Studenten UvA 10000 585 5,9%

Medewerkers HvA 2197 212 9,6%

Studenten HvA 10.000 149 1,5%

Respons percentage

per faculteit (UvA-

studenten)

Uitgenodigde

studenten UvA

Ingevulde

vragenlijsten

Respons

percentage per

faculteit

FGW 2.560 210 8,2%

FdR 1.278 49 3,8%

FNWI 1.523 111 7,3%

FEB 1.456 56 3,8%

FMG 3.059 142 4,6%

Overig 124 16 12,9%

Totaal 10.000 584 5,8%

Page 14: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

14

Bij de UvA-medewerkers is sprake van oververtegenwoordiging van de faculteit Geesteswetenschappen. Andere faculteiten zijn licht ondervertegenwoordigd.

Dergelijke uitgesplitste gegevens van de steekproef zijn niet beschikbaar voor de

HvA.

De afdeling Strategie & Ontwikkeling van de Bestuursstaf van de UvA leverde de

gegevens aan over de percentages geopende emails.

Uitgenodigd % geopende emails % ingevulde

vragenlijsten

Medewerkers UvA 4.799 22% 13,4%

Studenten UvA 10.000 43% 5,9%

Medewerkers HvA 2.197 16% 9,6%

Studenten HvA 10.000 22% 1,5%

Hieruit blijkt dat veel uitnodigingen ongeopend zijn gebleven. Met name de

medewerkers openden niet vaak de e-mail met uitnodiging (22% van de UvA en 16% van de HvA). Studenten openden weliswaar veel vaker de e-mail, maar

vulden vervolgens veel minder vaak de vragenlijst in.

Respons percentage per

faculteit (UvA-medewerkers)

Uitgenodigde

medewerkers

UvA

Ingevulde

vragenlijsten

Responspercentage

per faculteit

FGW 1.158 215 18,6%

FdR 481 50 10,4%

FNWI 1.272 144 11,3%

FEB 469 48 10,2%

FMG 1.357 174 12,8%

anders 88 11 10,4%

totaal 4.799 642 13,4%

Page 15: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

15

4.3 Kenmerken zoekgedrag

Overzichtstabel kenmerken zoekgedrag UvA-studenten UvA-medewerkers Gebaseerd op vraagnummer (UvA-medewerkers-enquete)

Frequentie zoeken naar wetenschappelijke informatie

>1x per maand 17% 3,6% A1

Maandelijks 26,7% 9,7% A1

Wekelijks/vrijwel dagelijks 56,2% 86,8% A1

Invulling informatiebehoefte door:

Overgrote deel/grootste deel door boeken

18% 8,3% A2

Fifty-fifty 29,5% 32,4% A2

Overgrote deel/grootste deel door tijdschriftartikelen

49,7% 58,7% A2

Voorkeur voor digitale of gedrukte:

Voorkeur voor gedrukt 32% 19,5% A3

Voorkeur voor digitaal 47,1% 57,2% A3

Zoekstrategie voor meeste zoekacties

Altijd/merendeel strategie (X)6 68,1% 58,6% A4

Altijd/merendeel strategie (Y) 18,5% 26,7% A4

Aantal zoekmachines in gebruik

Altijd/meestal dezelfde zoekmachine 66,6% 71,4% A5

Meerdere zoekmachines/geen vaste zoekmachine

32,6% 28,3% A5

In de vragenlijst werd naar een aantal kenmerken van het zoekgedrag gevraagd. Deze gegevens kunnen worden gezien als de achtergrond van het zoekgedrag

van de UVA-medewerkers en studenten voor de evaluatie van CatalogusPlus7. Overigens blijken uitsluitend UvA-medewerkers die CatalogusPlus gebruiken wat

deze kenmerken betreft nauwelijks af te wijken van hun collega’s niet-gebruikers: niet-gebruikers vullen hun behoefte vaker met tijdschriftartikelen, hebben vaker een voorkeur voor digitale informatie en zijn honkvaster wat

6 (X) zoekactie starten in veelomvattende zoekmachine, zonder voorkeur voor type

publicatie of inperking tot vakgebied, om vervolgens op basis van de zoekresultaten de

zoekactie zo nodig te verfijnen/in te perken.

(Y) voorafgaande aan zoekactie bepalen welk publicatietype of vakgebied relevant is en

vervolgens de zoekactie in een daarop gerichte zoekmachine uitvoeren.

7 Overigens blijkt uit een niet-weergegeven cross-analyse dat UvA-medewerkers die

CatalogusPlus gebruiken wat deze kenmerken betreft nauwelijks af te wijken van hun

collega’s niet-gebruikers: niet-gebruikers vullen hun behoefte iets vaker met

tijdschriftartikelen, hebben iets vaker een voorkeur voor digitale informatie en zijn

enigszins honkvaster wat betreft het gebruik van zoekmachines. Gebruikers en niet-

gebruikers van CatalogusPlus onder UvA-studenten blijken nauwelijks van elkaar te

verschillen.

Page 16: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

16

betreft het gebruik van zoekmachines. Gebruikers en niet-gebruikers van

CatalogusPlus onder UvA-studenten blijken nauwelijks van elkaar te verschillen.

Page 17: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

17

4.4 Zoekmachines in gebruik

In de tabel hierboven is aangegeven om welke zoekmachines het gaat. De tabel is gerangschikt naar het meest gebruikt door de UvA-medewerkers. Opvallend is

dat de rangschikking voor de UvA-studenten daarmee vrijwel overeenkomt. In de laatste kolom is de percentuele afwijking tussen studenten en medewerkers weergegeven.

Google Scholar scoort verreweg het hoogst met 72,6% van de studenten en 62,9% van de UvA-medewerkers dat aangeeft Google Scholar (meestal) te

gebruiken bij het zoeken naar wetenschappelijke informatie. Google of een andere algemene internet zoekmachine scoort 46% bij de

studenten en bijna 40% bij de medewerkers. CatalogusPlus wordt gebruikt door vrijwel de helft van de studenten en door

bijna 35% van de medewerkers. De oude catalogus scoort ongeveer 32% bij beide groepen. Vergelijkbare

percentages gelden voor PiCarta (26% en 33%).

Web of Science scoort 14% bij de studenten en ruim 25% bij de medewerkers. Vakspecifieke databanken scoren 13,4% bij de studenten en

ruim 20% bij de medewerkers. Andere zoekopties scoren ruim 10% bij beide groepen; vergelijkbare percentages gelden voor PubMed.

Hieronder is in twee tabellen een en ander uitgesplitst naar faculteit voor beide gebruikersgroepen. De belangrijkste gebruikersgroep voor CatalogusPlus voor zowel medewerkers als studenten zit bij de faculteit Geesteswetenschappen. Dit

lijkt ook logisch gezien de kenmerken van CatalogusPlus: zowel gedrukt als digitaal, zowel boeken als tijdschriftliteratuur.

Zoekmachines in gebruik (gebaseerd op vraag A6)

UvA-studenten %

UvA-medewerkers %

Verschil studenten en medewerkers

Google Scholar 72,6 62,9 +9,7%

Google of een andere algemene internetzoekmachine

46,2 39,4 7%

CatalogusPlus van de UvA 49,7 34,7 15%

PiCarta 26,5 32,6 - 6,1%

Catalogus van de UvA (de 'oude' catalogus) 32 32,2 - 0,2%

Web of Science 13,9 25,4 -11,5%

Een vakspecifieke databank 13,4 21,5 -8%

Een andere hierboven niet genoemde zoekoptie 10,3 10,6 -0,3%

PubMed 10,8 9,7 -1,1%

Aantal respondenten N=584 N=642

Page 18: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

18

8 11 respondenten hebben anders aangegeven, deze zijn in deze analyse buiten

beschouwing gelaten

9 16 respondenten hebben anders aangegeven, deze zijn in deze analyse buiten

beschouwing gelaten

Zoekmachines in gebruik (UvA-medewerkers)

Faculteit Economie en Bedrijfs-kunde

Faculteit Geestes-weten-schappen

Faculteit Maat-schappiij- en Gedrags-weten-schappen

Faculteit Natuur-weten-schappen en Wiskunde en Informatica

Faculteit der Rechts-geleerd-heid

Google Scholar 83,3 52,6 76,4 59,0 52,0

Google of een andere algemene internetzoekmachine

27,1 45,6 28,7 47,2 36,0

CatalogusPlus van de UvA 16,7 51,2 35,6 13,2 46,0

PiCarta 10,4 61,9 21,8 5,6 48,0

Catalogus van de UvA (de 'oude' catalogus)

8,3 53,0 25,3 15,3 42,0

Web of Science 16,7 10,7 35,6 43,8 8,0

Een vakspecifieke databank 10,4 26,0 12,1 21,5 44,0

Een andere hierboven niet genoemde zoekoptie

8,3 15,3 6,3 11,1 4,0

PubMed 0,0 1,4 15,5 21,5 2,0

Aantal respondenten8 48 215 174 144 50

Zoekmachines in gebruik (UvA-studenten)

Faculteit Economie en Bedrijfs-kunde

Faculteit Geestes-weten-schappen

Faculteit Maat-schappiij- en Gedrags-weten-schappen

Faculteit Natuur-weten-schappen en Wiskunde en Informatica

Faculteit der Rechts-geleerd-heid

Google Scholar 85,7 60,5 91,5 81,1 34,7

Google of een andere algemene internetzoekmachine

32,1 58,1 32,4 39,6 57,1

CatalogusPlus van de UvA 37,5 69,0 42,3 29,7 38,8

PiCarta 10,7 45,7 21,8 5,4 26,5

Catalogus van de UvA (de 'oude' catalogus)

21,4 45,2 23,9 16,2 49,0

Web of Science 8,9 5,2 22,5 26,1 4,1

Een vakspecifieke databank 8,9 18,1 9,2 5,4 26,5

Een andere hierboven niet genoemde zoekoptie

5,4 15,7 7,0 7,2 12,2

PubMed 1,8 0,5 11,3 36,9 2,0

Aantal respondenten9 56 210 142 111 49

Page 19: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

19

4.5 Gebruik bibliografisch apparaat UvA

In de tabel hierboven staan de resultaten van enkele analyses met het doel om

inzicht te krijgen in het gebruik van het bibliografische apparaat van de UvA:

Gebruik catalogi: o 35% van de UvA-medewerkers gebruikt CatalogusPlus. 32% gebruikt

de oude catalogus. Er is relatief weinig overlap tussen deze twee

groepen. Van de UvA-medewerkers die CatalogusPlus niet gebruiken (65% van alle respondenten) gebruikt 20% wél de oude catalogus

(20% van alle respondenten). Dit betekent dat 45% van de UvA-medewerkers géén van de twee catalogi van de UvA gebruikt: noch CatalogusPlus, noch de oude catalogus.

o Voor studenten ligt het gebruik van CatalogusPlus beduidend hoger: 50%. 32% van de studenten gebruikt geen van beide catalogi.

Niet-gebruikers zoekmachines bibliotheek: o 20% van de UvA-medewerkers lijkt het aanbod van de zoekmachines

en databanken van de UvA geheel links te laten liggen: zij gebruiken

noch bij de catalogi, noch PiCarta, noch Web of Science, noch een vakspecifieke databank11. Deze UvA-medewerkers gebruiken blijkbaar

voornamelijk Google, Google Scholar en/of PubMed om wetenschappelijke informatie te vinden.

o Voor de UvA-studenten is dit percentage 21%.

Wél gebruikers overige zoekmachines bibliotheek maar geen gebruik van de catalogi:

o Een kwart van de UvA-medewerkers (25%) gebruikt niet de catalogi maar wel (tenminste een van) de databanken (zoals Web of Science, PiCarta of vakspecifieke databanken) aangeboden door de UvA.

o Bij studenten ligt dit percentage lager (11%).

10 Dit getal is berekend op basis van de twee bovenstaande getallen en niet afzonderlijk vastgesteld.

11 hierbij is ervan uitgegaan dat de meeste vakspecifieke databanken door de UvA worden aangeboden (er zijn enkele gratis vakspecifieke databanken). PubMed is dat natuurlijk ook, wordt in deze analyse buiten beschouwing gelaten.

Gebruik bibliografisch apparaat UvA UvA-studenten

UvA-medewerkers

Gebruik catalogi

CatalogusPlus 50% 35%

oude catalogus 32% 32%

beide catalogi 14% 12%

niet CatalogusPlus, wel oude catalogus 18% 20%

geen van beide 32% 45%

Gebruik door UvA aangeboden zoeksystemen

Gebruik tenminste één van beide catalogi 68% 55%

Geen gebruik van UvA aangeboden zoeksystemen 21% 20%

Geen gebruik catalogi, wel overige databases10 11% 25%

Aantal respondenten N=584 N=642

Page 20: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

20

4.6 Doelstellingen CatalogusPlus getoetst

In de tabel hierboven zijn de resultaten weergegeven van de antwoorden van de

medewerkers UvA op de vraag in hoeverre de doelstellingen van een Webscale Discovery tool voor hun relevant zijn. De resultaten zijn gerangschikt naar meest

relevante doelstellingen.

Het blijkt dat vier doelstellingen van een Webscale Discovery tool voor een ruime

meerderheid (meer dan 60%) van de UvA-medewerkers relevant zijn: digitaal en gedrukt tegelijk zoeken (72,5%), boeken en tijdschriftartikelen tegelijk zoeken

(69,2%), één zoekingang voor alle informatie van de bibliotheek (68,8%) en zoeken in twee stappen (60,9%).

Twee doelstellingen zijn minder relevant voor de UvA-medewerkers: niet alleen blijken deze doelstellingen voor minder dan de helft van de UvA-medewerkers

relevant, ook geeft een aanzienlijk percentage aan dat deze doelstellingen niet relevant zijn voor hen. Het betreft de doelstellingen: alléén informatie vinden die de bibliotheek ook kan leveren; actuele en historische informatie van de UvA

erfgoedcollecties tegelijk zoeken.

Dat de doelstellingen van Primo aanspreken blijkt ook uit het antwoord op de vraag aan diegenen die CatalogusPlus niet gebruiken: denkt u op basis van de bovenstaande kenmerken van CatalogusPlus gebruik te gaan maken? De UvA-

medewerkers antwoordden met 43,6% positief hierop (ja, misschien en ja waarschijnlijk wel) en de studenten met 58,8% positief.

Doelstellingen Primo

medewerkers UvA

(gebaseerd op vraag B1)

Niet

relevant

Nauwelijk

s relevant

niet/nau

welijks

relevant

neutraal (enigszi

ns)

relevant

Enigszins

relevant

Relevant

digitaal en gedrukt tegelijk zoeken 5 5,8 10,8 16,8 72,5 26,2 46,3

boeken en tijdschriftartikelen tegelijk

zoeken 6,7 7,3 14 16,8 69,2 25,7 43,5

één zoekingang voor alle informatie

van de bibliotheek 7 5,8 12,8 18,4 68,8 26 42,8

zoeken in twee stappen: eerst alles

doorzoeken, dan opties om

(eventueel) de resultaten in te

perken

7 6,2 13,2 25,9 60,9 32,7 28,2

alleen informatie vinden die de

bibliotheek ook kan leveren (online

toegang, uitlenen)

12,6 15,1 27,7 25,5 46,7 26,3 20,4

actuele informatie en historische

informatie (van de UvA

erfgoedcollecties) tegelijk zoeken

15,9 16 31,9 32,4 35,7 19 16,7

Page 21: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

21

Doelstellingen Primo studenten UvA

Niet relevant

Nauwelijks relevant

Niet of nauwelijks relevant

neutraal (Enigszins) relevant

Enigszins relevant

Relevant

één zoekingang voor alle informatie van de bibliotheek

1,2 3,3 4,5 17,8 77,7 32,2 45,5

boeken en tijdschriftartikelen tegelijk zoeken

2,1 4,1 6,2 16,6 77,2 29,6 47,6

zoeken in twee stappen: eerst alles doorzoeken, dan opties om (eventueel) de resultaten in te perken

0,7 5,8 6,5 19,9 73,6 39 34,6

digitaal en gedrukt tegelijk zoeken 3,4 9,4 12,8 17 70,2 29,3 40,9

alleen informatie vinden die de bibliotheek ook kan leveren (online toegang, uitlenen)

4,3 10,4 14,7 21,6 63,7 28,9 34,8

actuele informatie en historische informatie (van de UvA erfgoedcollecties) tegelijk zoeken

6,5 16,4 22,9 31,2 45,9 26,2 19,7

De doelstellingen van Primo scoren nog beter bij de studenten van de UvA: vier doelstellingen worden door 70% of meer van de studenten (enigszins) relevant gevonden: het gaat om één zoekingang voor alle informatie van de bibliotheek;

boeken en tijdschriftartikelen tegelijk zoeken, zoeken in twee stappen en digitaal en gedrukt tegelijk zoeken.

Alléén informatie vinden die de bibliotheek ook kan leveren wordt door ruim 60% van de studenten (enigszins) relevant gevonden. Hierin wijken de studenten af van de medewerkers.

Actuele en historische informatie tegelijk zoeken scoort daarentegen ook bij de studenten minder.

In de tabel hieronder staan de gegevens uit het gebruikersonderzoek 2008 gepresenteerd over deze aspecten, toen nog als onderdeel van een behoefte aan

een nieuw te ontwikkelen UvA-breed bibliotheek zoekportaal. De percentages komen vrijwel geheel met elkaar overeen: de behoefte is dus blijkbaar in deze

periode nauwelijks veranderd.

Gebruikersonderzoek 2008

behoefte aan een UvA-breed bibliotheek zoekportaal

Dit onderzoek

Welke aspecten UvA-breed zoekportaal zijn belangrijk?

% behoefte (medewerkers)

% behoefte (studenten)

% Enigszins relevant (medewerkers)

% Enigszins relevant (studenten)

één zoekingang voor alle informatie van de bibliotheek 64,6% 79,1% 68,8% 77,7%

boeken en tijdschriftartikelen tegelijk afzoeken 67,7% 76,2% 69,2% 77,2%

elektronisch en gedrukt tegelijk afzoeken 73,5% 75,1% 72,5% 70,2%

mogelijkheid om alleen informatie te vinden die de bibliotheek ook kan leveren (online toegang, uitleen)

50,5% 70,3% 46,7% 63,7%

Zoeken in twee stappen: eerst alles afzoeken, dan opties om (eventueel) de zoekactie in te perken

60,3% 69,5% 60,9% 73,6%

Page 22: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

22

4.7 Gebruikers CatalogusPlus

Kengetallen CatalogusPlus Studenten UvA Medewerkers UvA Gebaseerd op vraagnummer

(UvA medewerker enquête) Bekendheid, soort gebruik

Bekendheid 61% 56% A6

Gebruik 50% 35% A7

Kenmerken gebruikers

Als de eerste zoekmachine 48,7% 36,7% C1

Na andere zoekmachine 34,4% 38,6% C1

Een v/d vele zoekmachines 16,9% 24,6% C1

Waardering d.m.v. rapportcijfer

% onvoldoende rapportcijfer 7,5% 15,1% A7

% met 6 of 7 60,3% 50% A7

% met 8 of hoger 32,2% 34,9% A7

Gemiddeld rapportcijfer 7,00 6,81 A7

Waardering d.m.v. Net Promotor Score 12

% detractors 23% 30,7% A7

% passive promotors 57,3% 53,2% A7

% active promotors 19,7% 16,1% A7

Net Promotor Score -3,3% -14,6% A7

Ontevredenheid aspecten CatalogusPlus

Relevance ranking 30,6% 29,1% C2

Gebruikersvriendelijkheid 19,6% 23,8% C2

Zoeken van boeken 12,4% 21,3% C2

Geboden zoekfilters 13,4% 17,6% C2

Dekkingsgraad 9,1% 14,2% C2

Toegang tot digitale full text 20,1% 14% C2

Stellingen m.b.t. CatalogusPlus

Relevante zoekresultaten vaak ondergesneeuwd

60,4% 55,7% C3

Te vaak klikken om bij full text/aanvraagoptie te komen

56,6% 49% C3

Nederlandstalig interface wenselijk

20,3% 14,8% C3

Meer uitleg op bibliotheeksite

57,1% 45,4% C3

12 Berekening Net Promotor Score: men werd gevraagd om op een schaal van 1 tot 10 aan te geven wat de

waarschijnlijkheid is dat men CatalogusPlus zou aanraden aan een collega. Dit betreft de Net Promotor Score:

In deze theorie worden alle gebruikers die op deze schaal een product met een 6 of lager waarderen gekarakteriseerd als detractors.

Alle respondenten die op deze schaal een product met een 6, 7 of 8 waarderen worden gekarakteriseerd

als passive promotors. Alle respondenten die op deze schaal een product met een 9 of 10 waarderen worden gekarakteriseerd als

active promotors.

De Net Promotor Score wordt berekend door het percentage active promotors te verminderen met het percentage detractors en kan variëren van -100% tot +100%.

Page 23: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

23

In de tabel hierboven staan de gegevens samengevat wat betreft de gebruikers van CatalogusPlus voor zowel studenten als medewerkers van de UVA. De meest

belangrijke conclusies zijn: Studenten zijn meer bekend met CatalogusPlus en gebruiken CatalogusPlus

vaker dan medewerkers (respectievelijk 61% versus 56% en 50% versus

35%). Studenten die CatalogusPlus gebruiken doen dit ook vaker als hun primaire zoekmachine (49% versus 37%).

CatalogusPlus wordt beperkt gewaardeerd: het gemiddelde rapportcijfer van zowel studenten als medewerkers is redelijk (7 en 6,81), maar het percentage dat een onvoldoende geeft is met name bij de medewerkers

relatief hoog (studenten 7,5%; medewerkers 15,1%). Dit wordt bevestigd door de Net Promotor Score: voor studenten is deze -3,3%, voor

medewerkers -14,6%. De ontevredenheid richt zich met name op de relevance ranking van

CatalogusPlus. Ook zijn er hoge percentages ontevredenen over de

gebruikersvriendelijkheid, het zoeken van boeken en de geboden zoekfilters. Studenten zijn ook relatief ontevreden over de toegang tot de digitale full

text. Over de dekkingsgraad is men minder ontevreden. In de praktijk blijkt dat relevante zoekresultaten vaak ondergesneeuwd

raken: een stelling hierover wordt door een meerderheid van de respondenten onderschreven. Ook vindt een meerderheid dat er te vaak geklikt moet worden om bij de full text of de aanvraagoptie voor een boek te

komen. Er is overigens weinig belangstelling voor een Nederlandstalige interface voor CatalogusPlus.

Belangrijke percentages van de respondenten vindt dat er meer en betere uitleg op de bibliotheekwebsite moet komen over welke databanken men voor welke vragen het beste kan doorzoeken en hoe dergelijke zoekacties uit te

voeren. Deze stelling wordt met name door studenten onderschreven (57%) maar ook veel medewerkers zijn het er mee eens (45%).

Een analyse per faculteit laat zien dat de belangrijkste gebruikersgroep van CatalogusPlus bij de faculteit Geesteswetenschappen zit met 51,2% van de medewerkers en 69% van de studenten die CatalogusPlus gebruiken.

Een crossanalyse tussen de studenten in de bachelorfase van hun studie en de studenten in de masterfase van hun studie liet zien dat er géén statistische

verschillen waren tussen beide groepen in gebruik en waardering van CatalogusPlus.

Page 24: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

24

4.8 Oude catalogus, A tot Z tijdschriftenlijst en overzicht databanken

UvA-Catalogus (oud)

Studenten UvA

Medewerkers UvA

Gebaseerd op vraag

(UVA medewerkers-enquête)

Bekendheid 71,4% 80,7% A8

Gebruik 32% 32% A8

Frequentie gebruik13

:

zelden of nooit 29,8 28,0 A8

incidenteel (minder dan één keer per maand)

38,0 28,3 A8

Maandelijks 20,8 15,0 A8

Wekelijks 9,8 19,4 A8

(vrijwel) dagelijks 1,6 9,3 A8

Gemiddeld rapportcijfer (alleen frequentere gebruikers, maandelijks of meer)

7,20 7,36 A8

% met onvoldoende rapportcijfer 5,6% 7,3% A8

Databaseoverzichtpagina

Bekendheid 58,7% 67,9% A9

Gebruik 37% 44% A9

Gemiddeld rapportcijfer (alleen regelmatige gebruikers)

6,87 7,52 A9

% met onvoldoende rapportcijfer 8,6% 6,2% A9

A tot Z tijdschriftenlijst

Bekendheid 49,3% 72,7% A10

Gebruik 27,6% 53,6% A10

Gemiddeld rapportcijfer (alleen regelmatige gebruikers)

7,11 7,98 A10

% met onvoldoende rapportcijfer 8,1% 3,4% A10

Drie andere digitale diensten zijn eveneens bevraagd. De resultaten staan in de

tabel hierboven weergegeven over de UvA-catalogus (de oude catalogus), de databases overzicht pagina en de A tot Z tijdschriftenlijst. Belangrijkste

conclusies:

De UvA-catalogus scoort goed qua bekendheid onder de respondenten. De

oude catalogus wordt relatief nog veel gebruikt (32% door studenten en 40%

13 Dit zijn de antwoorden op vraag A8. Hier ligt het percentage gebruikers (43%) hoger

dan bij vraag A6 (32%): dit komt ook omdat niet alle respondenten A8 hebben

beantwoord. Voor de analyses m.b.t. gebruikers van CatalogusPlus en hun waardering is

altijd vraag A8 gebruikt op basis van de respondenten die aangaven dat zij CatalogusPlus

maandelijks, wekelijks of dagelijks gebruikten.

Page 25: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

25

door medewerkers) en krijgt een goede waardering met een gemiddeld

rapportcijfer van respectievelijk 7,2 en 7,36 en met relatief lage percentages gebruikers die een onvoldoende rapportcijfer geven (5,6% respectievelijk

7,3%). De databaseoverzichtpagina is bekend bij een ruime meerderheid van de

respondenten (59% bij studenten, 68% bij medewerkers. Het gebruik ligt

relatief hoog (37% versus 44%). Met name de medewerkers zijn tevreden hierover met een gemiddeld rapportcijfer van 7,52 en met relatief weinig

onvoldoendes (6,2%). Studenten zijn iets minder tevreden: een gemiddeld rapportcijfer van 6,87 en een percentage onvoldoende rapportcijfer van 8,6%.

De A tot Z tijdschriftenlijst geniet ruime bekendheid onder de medewerkers met meer dan 70%. Ruim dan de helft van de UvA-medewerkers gebruiken

de A tot Z tijdschriftenlijst ook (53,6%) en waarderen deze met een hoog cijfer (7,98). Studenten zijn er minder bekend mee (49%) en gebruiken de tijdschriftenlijst aanmerkelijk minder (28%). De waardering is gematigd

positief met een gemiddeld rapportcijfer van 7,11 en een percentage onvoldoende’s van 8,1.

Page 26: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

26

5. Resultaten enquête HvA gebruikers

5.1 Inleiding De gegevens uit het kwalitatieve vooronderzoek en het responspercentage staat vermeld in paragraaf 4.1 en 4.214 . Opgemerkt moet worden dat uit de huidige gebruikscijfers blijkt dat ZOEKEN IN DE HvA BIBLIOTHEEK veel minder intensief

gebruik lijkt te worden dan de Primo implementatie bij de UVA. Dit wordt ook ondersteund door de ervaring dat bij het aanspreken van tientallen studenten in

een HvA bibliotheekvestiging er zeer weinig studenten gevonden kon worden die ZOEKEN IN DE HvA BIBLIOTHEEK gebruikten. Dit verklaart waarschijnlijk mede de zeer lage respons op de studentenenquête.

5.2 Kenmerken zoekgedrag

Overzichtstabel kenmerken zoekgedrag HvA-studenten HvA-medewerkers

Frequentie zoeken naar wetenschappelijke informatie

>1x per maand 39,6% 29,3%

Maandelijks 25,5% 25,9%

Wekelijks/vrijwel dagelijks 34,2% 44,8%

Invulling informatiebehoefte door:

Overgrote deel/grootste deel door boeken 48,3% 22,6%

Fifty-fifty 23,5% 33,5%

Overgrote deel/grootste deel door tijdschriftartikelen

20,8% 35,9%

Voorkeur voor digitale of gedrukte:

Voorkeur voor gedrukt 28,9% 26,4%

Voorkeur voor digitaal 44,3% 45,8%

Zoekstrategie voor meeste zoekacties

Altijd/merendeel strategie (X)15 66,4% 52,4%

Altijd/merendeel strategie (Y) 14,1% 26,4%

Aantal zoekmachines in gebruik

Altijd/meestal dezelfde zoekmachine 69,1% 71,2%

Meerdere zoekmachines/geen vaste zoekmachine 28,8% 25,9%

In de vragenlijst werd naar een aantal kenmerken van het zoekgedrag gevraagd.

Deze staan in de tabel hierboven samengevat. Meer details staan vermeld in bijlage A. Deze gegevens kunnen worden gezien als de achtergrond van het

zoekgedrag van de HvA-medewerkers en studenten voor de evaluatie van ZOEKEN IN DE HvA BIBLIOTHEEK.

14 Aanvullende leeswijzer: bij de overzichtstabellen in hoofdstuk vier is telkens aangegeven op welke vraag het

betreffende gegeven gebaseerd is. Omdat dit in dit hoofdstuk vergelijkbaar is, is dit hier achterwege gelaten.

15 (X) zoekactie starten in veelomvattende zoekmachine, zonder voorkeur voor type publicatie of inperking tot vakgebied, om vervolgens op basis van de zoekresultaten de zoekactie zo nodig te verfijnen/in te perken.

(Y) voorafgaande aan zoekactie bepalen welk publicatietype of vakgebied relevant is en vervolgens de zoekactie in een daarop gerichte zoekmachine uitvoeren.

Page 27: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

27

5.3 Zoekmachines in gebruik

In de tabel hierboven is aangegeven om welke zoekmachines het gaat. De tabel

is gerangschikt naar het meest gebruikt door de HvA-medewerkers. De rangschikking voor de HvA-studenten blijkt daarvan op enkele onderdelen af. In

de laatste kolom is de percentuele afwijking tussen studenten en medewerkers weergegeven.

Google of een andere algemene internet zoekmachine scoort het hoogst met 56,6% voor HvA-medewerkers en 75,8% voor HvA-studenten.

Google Scholar volgt op de tweede plaats bij beide groepen met respectievelijk 45,3% en 42,3%.

ZOEKEN IN DE HvA BIBLIOTHEEK scoort met Google Scholar vergelijkbare

percentages: 44,8% bij de HvA-medewerkers en 38,9% bij de HvA-studenten.

Een vakspecifieke databank, LexisNexis en PiCarta worden door respectievelijk 25%, 23% en 16% van de HvA-medewerkers gebruikt. De percentages bij de HvA-studenten liggen hier lager: respectievelijk 12,8%,

17,4% en 9,4%. De HvA-catalogus (de oude catalogus) is een buitenbeentje: deze scoort

behoorlijk goed bij de HvA-studenten met 29,5%. Het gebruik bij de HvA-medewerkers ligt fors lager op 17,9%.

Zoekmachines in gebruik HvA-studenten %

HvA-medewerkers %

Verschil studenten en medewerkers

Google of een andere algemene internetzoekmachine

75,8 56,6 19,2

Google Scholar 42,3 45,3 -3

ZOEKEN IN DE HvA BIBLIOTHEEK 38,9 44,8 -5.9

Een vakspecifieke databank 12,8 25,0 -12,2

LexisNexis 17,4 23,1 -5,7

HvA-catalogus (de 'oude' catalogus) 29,5 17,9 11,6

PiCarta 9,4 16,5 -7,1

Een andere hierboven niet genoemde zoekoptie 7,4 10,8% -3,4

Aantal respondenten N=149 N=212

Page 28: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

28

5.3 Gebruik bibliografische apparaat HvA

In de tabel hierboven staan de resultaten van enkele analyses met het doel om

inzicht te krijgen in het gebruik van het bibliografische apparaat van de HvA:

Gebruik catalogi:

o 45% van de HvA-medewerkers gebruikt ZOEKEN IN DE HvA BIBLIOTHEEK. 18% gebruikt de oude catalogus. 10% van de HvA-medewerkers gebruikt beide catalogi. 8% gebruikt niet ZOEKEN IN DE

HvA BIBLIOTHEEK maar wél de oude catalogus. Bijna de helft van de HvA-medewerkers laat beide catalogi links liggen (47%).

o Voor studenten ligt het gebruik van ZOEKEN IN DE HvA BIBLIOTHEEK op vergelijkbaar niveau: 39%. Het gebruik van de oude catalogus is

echter fors hoger: 30%. Een relatief kleine groep gebruikt beide catalogi (13%). Eveneens een relatief kleine groep gebruikt niet ZOEKEN IN DE HvA BIBLIOTHEEK, maar wél de oude catalogus (16%).

Minder dan de helft van de studenten laat beide catalogi links liggen (45%).

Niet-gebruikers zoekmachines bibliotheek: o 23% van de HvA-medewerkers lijkt het aanbod van de zoekmachines

en databanken van de HvA geheel links te laten liggen: zij gebruiken

noch beide catalogi, noch LexisNexis, PiCarta of een vakspecifieke databank. Deze HvA-medewerkers gebruiken blijkbaar voornamelijk

Google, Google Scholar of andere zoekmachines op het internet om wetenschappelijke informatie te vinden.

o Voor de HvA-studenten is dit percentage 32%.

Wél gebruikers overige zoekmachines bibliotheek maar geen gebruik

van de catalogi:

o Bijna een kwart van de HvA-medewerkers (24%) gebruikt niet de catalogi maar wel (tenminste een van) de databanken (zoals

LexisNexis, PiCarta of vakspecifieke databanken) aangeboden door de HvA. Bij studenten ligt dit percentage lager (13%).

16 Dit getal is berekend op basis van de twee bovenstaande getallen en niet afzonderlijk vastgesteld.

Gebruik bibliografisch apparaat HvA HvA-studenten

HvA-medewerkers

Gebruik catalogi

ZOEKEN IN DE HvA BIBLIOTHEEK 39% 45%

oude catalogus 30% 18%

beide catalogi 13% 10%

niet ZOEKEN IN DE HvA BIBLIOTHEEK, wel oude catalogus 16% 8%

geen van beide 45% 47%

Gebruik door HvA aangeboden zoeksystemen

Gebruik tenminste één van beide catalogi 55% 53%

Geen gebruik van HvA aangeboden zoeksystemen 32% 23%

Geen gebruik catalogi, wel overige databases16 13% 24%

Aantal respondenten N=149 N=212

Page 29: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

29

5.4 Doelstellingen ZOEKEN IN DE HvA BIBLIOTHEEK getoetst

In de tabel hierboven zijn de resultaten weergegeven van de antwoorden van de HvA-studenten in hoeverre de doelstellingen van Primo voor hun relevant zijn.

De resultaten zijn gerangschikt naar meest relevante doelstellingen.

Het blijkt dat alle doelstellingen van Primo voor een ruime meerderheid (meer dan twee-derde) van de HvA-studenten relevant zijn.

Primo doelstellingen HvA-medewerkers

Niet relevant Nauwelijks relevant

Niet of nauwelijks relevant

neutraal (enigszins) relevant

Enigszins relevant

Relevant

boeken en tijdschriftartikelen tegelijk zoeken

1,9 4,2 6,1 23,6 70,3 31,6 38,7

digitaal en gedrukt tegelijk zoeken 2,8 7,1 9,9 23,1 67 28,8 38,2

één zoekingang voor alle informatie van de bibliotheek

2,4 5,7 8,1 26,4 65,6 26,9 38,7

zoeken in twee stappen: eerst alles doorzoeken, dan opties om (eventueel) de resultaten in te perken

1,4 4,7 6,1 33 60,9 30,2 30,7

alleen informatie vinden die de bibliotheek ook kan leveren (online toegang, uitlenen)

8 12,7 20,7 30,7 48,6 22,2 26,4

De meeste doelstellingen van Primo zijn ook relevant voor de HvA-medewerkers:

61% vindt vier doelstellingen van Primo relevant. Er is slechts één uitzondering: de doelstelling om alleen informatie te vinden die de bibliotheek ook kan leveren wordt door iets minder dan de helft van de HvA-medewerkers relevant

gevonden. Een fors percentage (ruim 20%) vindt deze doelstelling niet relevant.

Primo doelstellingen HvA-studenten

Niet

relevant

Nauwelijks

relevant

Niet of

nauwelijks

relevant

neutraal (Enigszins)

relevant

Enigszins

relevant

Relevant

digitaal en gedrukt tegelijk zoeken 4 5,4 9,4 16,8 73,8 34,9 38,9

zoeken in twee stappen: eerst alles

doorzoeken, dan opties om (eventueel)

de resultaten in te perken

0,7 6 6,7 19,5 73,8 44,3 29,5

één zoekingang voor alle informatie van

de bibliotheek

2 4 6 20,8 73,2 32,9 40,3

boeken en tijdschriftartikelen tegelijk

zoeken

4 6,7 10,7 18,8 70,4 34,2 36,2

alleen informatie vinden die de

bibliotheek ook kan leveren (online

toegang, uitlenen)

4,7 12,8 17,5 16,1 66,4 29,5 36,9

Page 30: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

30

Dat de doelstellingen van Primo aanspreken blijkt ook uit het antwoord op de

vraag aan diegenen die ZOEKEN IN DE HVA BIBLIOTHEEK niet gebruiken: denkt u op basis van de bovenstaande kenmerken van ZOEKEN IN DE HVA

BIBLIOTHEEK gebruik te gaan maken? De HvA-studenten (die ZOEKEN IN DE HVA BIBLIOTHEEK niet gebruikt een) antwoorden hier positief op met 55,6%. De niet-gebruikende HvA-medewerkers met 64,4%

Page 31: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

31

5.5 Gebruikers ZOEKEN IN DE HvA BIBLIOTHEEK

Kengetallen ZOEKEN IN DE HvA BIBLIOTHEEK

Studenten HvA Medewerkers HvA

Bekendheid, soort gebruik

Bekendheid 71% 69%

Gebruik 39% 45%

Kenmerken gebruikers

Als de eerste zoekmachine 30,3% 35%

Na andere zoekmachine 33,3% 37,5%

Een van de vele zoekmachines 36,4% 27,5%

Waardering d.m.v. rapportcijfer

% onvoldoende rapportcijfer 10% 9,8%

% met 6 of 7 60% 70,5%

% met 8 of hoger 30% 19,6%

Gemiddeld rapportcijfer 6,93 6,76

Waardering d.m.v. Net Promotor Score17

% detractors 17,2% 22%

% passive promotors 68,9% 74%

% active promotors 13,8% 4%

Net Promotor Score -3,4% -18%

Ontevredenheid aspecten ZOEKEN IN DE HvA BIBLIOTHEEK

Relevance ranking 12% 8,9%

Gebruikersvriendelijkheid 12% 8,9%

Zoeken van boeken 3% 4,5%

Geboden zoekfilters 12% 7,1%

Dekkingsgraad 0% 6,8%

Toegang tot digitale full text 18% 15,9%

Stellingen m.b.t. ZOEKEN IN DE HvA BIBLIOTHEEK

Relevante zoekresultaten vaak ondergesneeuwd

35,5% 20,5%

Te vaak klikken om bij full text/aanvraagoptie te komen

41,9% 40,9%

Nederlandstalig interface wenselijk

27,3% 34,9%

Meer uitleg op bibliotheeksite 50% 59,1%

In de tabel hierboven staande gegevens samengevat wat betreft de gebruikers van ZOEKEN IN DE HvA BIBLIOTHEEK voor zowel studenten als medewerkers

van de HvA. De meest belangrijke conclusies zijn: De bekendheid van ZOEKEN IN DE HvA BIBLIOTHEEK is bij beide groepen

hoog (omstreeks 70%), terwijl het gebruik ervan zich op een voor beide

17 Zie voor de betekenis en bereking van de Net Promotor Score de voetnoot bij

paragraaf 4.6

Page 32: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

32

groepen vergelijkbaar niveau bevindt (39% bij studenten; 45% bij

medewerkers). De meeste gebruikers van ZOEKEN IN DE HvA BIBLIOTHEEK gebruiken dit

niet als primaire zoekmachine: 35% van de medewerkers en ruim 30% van de studenten gebruikt ZOEKEN IN DE HvA BIBLIOTHEEK wél als primaire zoekmachine.

De HvA-medewerkers en studenten zijn in dezelfde mate als hun collega’s bij de UvA negatief over ZOEKEN IN DE HvA BIBLIOTHEEK zoals blijkt uit het

rapportcijfer (respectievelijk 6,76 en 6,93), de percentages met een onvoldoende rapportcijfer (beide ca. 10%) en de Net Promotor Score, die negatief is bij de HvA-medewerkers (-18%) en enigszins negatief bij de

studenten (-3,4%). Bij het laatste dient overigens opgemerkt te worden dat het om een laag aantal respondenten gaat die de vraag hierover heeft

ingevuld (n=35). De ontevredenheid over ZOEKEN IN DE HvA BIBLIOTHEEK richt zich - anders

dan bij de UvA-medewerkers en studenten - voornamelijk op de toegang tot

de digitale full text met 16% en 18%. De aspecten relevance ranking en gebruikersvriendelijkheid volgen met percentages ontevredenheid van

respectievelijk 9% en 12%. Gevolgd door de geboden zoekfilters met 7% en 12%. Er zijn nauwelijks ontevredenen over het zoeken naar boeken en de

dekkingsgraad. Dat laatste bevreemdt overigens gezien de lacunes in de dekkingsgraad van Primo op de voor de HvA gebruikersgemeenschap relevante databanken.

Het kritiekpunt van de HvA-medewerkers en studenten wat betreft de toegang tot de digitale full text wordt eveneens weerspiegeld in hun

antwoorden op de stellingen. De stelling dat men te vaak moet klikken om bij de full text of bij de aanvraagoptie voor het gedrukte boek te komen wordt onderschreven door ruim 40% van beide groepen. Een stelling dat relevante

zoekresultaten vaak worden ondergesneeuwd vindt minder steun dan bij de UvA-studenten en medewerkers: 35% van de HvA-studenten en 20% van de

HvA-medewerkers onderschrijft dit. Er is redelijke belangstelling voor een Nederlandstalig interface voor ZOEKEN

IN DE HvA BIBLIOTHEEK met 34% van de HvA-medewerkers en 27% van de

HvA-studenten die dit wenselijk vinden. Een hoge prioriteit lijkt om op de website van de bibliotheek meer uitleg te

geven over zoeken en zoekmachines: een stelling hierover wordt onderschreven door 50% van de studenten en bijna 60% van de HvA-medewerkers.

Page 33: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

33

5.6 Oude catalogus, A tot Z tijdschriftenlijst en overzicht databanken

HvA-Catalogus (oud)

Studenten HvA

Medewerkers HvA

Bekendheid 60% 59%

Gebruik 39% 18%

Frequentie gebruik:18

zelden of nooit 38,6% 38,2%

incidenteel (minder dan één keer per maand) 38,6% 35,4%

Maandelijks 19,8% 21,5%

Wekelijks 3,0% 4,2%

(vrijwel) dagelijks 0% 0,7%

Plaats gebruik:

Meestal in bibliotheekvestiging HvA 56,5% 33%

Meestal elders 43,5% 52%

Gemiddeld rapportcijfer (alleen frequentere gebruikers, maandelijks of meer)

6,74 6,92

% met onvoldoende rapportcijfer 8,7% 10,8%

Databaseoverzichtpagina

Bekendheid 63,1% 73,6%

Gebruik 41,6% 55,7%

Gemiddeld rapportcijfer (alleen regelmatige gebruikers)

7,55 7,18

% met onvoldoende rapportcijfer 0% 10%

A tot Z tijdschriftenlijst

Bekendheid 40,9% 58,5%

Gebruik 18,8% 35,3%

Gemiddeld rapportcijfer (alleen regelmatige gebruikers)

6,83 7,42

% met onvoldoende rapportcijfer 16,7% 10,5%

Drie andere digitale diensten zijn eveneens bevraagd. De resultaten staan in de tabel hierboven weergegeven over de HvA-catalogus (de oude catalogus), de

databaseoverzichtpagina en de A tot Z tijdschriftenlijst. Belangrijkste conclusies:

De HvA-catalogus scoort redelijk qua bekendheid onder de respondenten

(rond de 60%). De oude catalogus wordt relatief nog veel gebruikt door studenten (39%), maar minder door medewerkers (18%) en krijgt een

18 Deze gegevens zijn de antwoorden op vraag A8. Deze vraag geeft een hoger

percentage gebruik van de oude catalogus (26%) dan de antwoorden op vraag A6. Dit

wordt mede veroorzaakt doordat vraag A8 niet door alle respondenten is ingevuld.

Page 34: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

34

redelijke waardering met een gemiddeld rapportcijfer van respectievelijk 6,74

en 6,92 en met gematigde percentages gebruikers die een onvoldoende rapportcijfer geven (8,7% respectievelijk 10,8%). Het relatief hoge gebruik

van de oude catalogus door studenten wordt waarschijnlijk mede veroorzaakt doordat zij de oude catalogus veel raadplegen op de bibliotheekvestigingen middels de daartoe bestemde terminals (meer dan de helft zegt de oude

catalogus meestal in een bibliotheekvestiging te raadplegen). De databaseoverzichtpagina is bekend bij een ruime meerderheid van de

respondenten (63% bij studenten, 74% bij medewerkers. Het gebruik ligt relatief hoog (42% versus 56%). De regelmatige gebruikers zijn ook redelijk positief hierover met een rapportcijfer van respectievelijk 7,55 en 7,18 en

met 0% onvoldoende rapportcijfers bij studenten en 10% onvoldoendes bij de medewerkers.

De A tot Z tijdschriftenlijst is bekend bij 41% van de HvA-studenten en 59% van de HvA-medewerkers. 19% van de HvA-studenten en 35% van de HvA-medewerkers gebruikt de A tot Z lijst. Regelmatige gebruikers onder de HvA-

medewerkers waarderen de A tot Z lijst redelijk positief met 7,42 gemiddeld rapportcijfer en 11% met een onvoldoende. De studenten zijn wat minder

tevreden over de A tot Z lijst met een gemiddeld rapportcijfer 6,8 en 17% met een onvoldoende.

Page 35: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

35

6.1 Conclusies

6.1 Achtergrond

Na een bèta versie eind 2011 is Primo - de Webscale Discovery tool van ExLibris - definitief geïmplementeerd in het voorjaar van 2012: bij de bibliotheek van de

UvA onder de noemer CatalogusPlus, bij de bibliotheek van de HvA onder de noemer ZOEKEN IN DE HvA BIBLIOTHEEK. Primo verving MetaLib, de federatieve zoekmachine van ExLibris. In het voorjaar van 2013 - een jaar na de

implementatie van Primo - is besloten tot een evaluatieonderzoek. Een belangrijke aanleiding voor dit onderzoek is dat er veel kritiek is op de Discovery

tool van de informatiespecialisten van zowel de HvA als de UvA bibliotheek. De Webscale Discovery tools zijn sterk in opkomst en veel academische bibliotheken

implementeren één van de vier op de markt zijnde systemen (naast Primo: Summon, OCLC WorldCat local en EBSCO Discovery). Echter, er is ook een tegenbeweging aan de gang: de Universiteitsbibliotheek Utrecht heeft besloten

om haar zelf gemaakte Discovery tool (Omega) uit te faseren en niet te vervangen. Utrecht wil inzetten op de delivery mechanismes van de bibliotheek

en daarmee de gebruikers ondersteunen die gebruik maken van internet zoekmachines zoals Google Scholar of van wetenschappelijke databases zoals Web of Science.

6.2 Aanpak

Dit evaluatie onderzoek bestaat uit twee onderdelen:

Analyse van de gebruiksstatistieken: om de impact en de positionering van de

implementatie van Primo in kaart te brengen, werden de beschikbare gebruikersstatistieken geanalyseerd.

Gebruikersonderzoek: na een kwalitatief vooronderzoek met 12 gebruikers en

input van 9 informatiespecialisten werd een vragenlijst opgesteld voor een online enquête onder vier groepen gebruikers: UvA-medewerkers, UvA-

studenten, HvA-medewerkers en HvA-studenten. De vragenlijsten waren bijna identiek (enkele vragen golden alleen voor de UvA of voor de HvA; het taalgebruik voor de vragenlijst onder de studenten van de HvA werd

aangepast) en waren zowel in het Nederlands als in het Engels beschikbaar. De enquête werd gehouden in de periode juni tot begin juli.

Het evaluatieonderzoek voor het UvA gedeelte kon beschikken over uitgebreidere gegevens: er zijn meer gebruiksstatistieken beschikbaar, er werden meer

gegevens over de uitgenodigde respondenten aangeleverd en voor bepaalde gegevens kunnen vergelijkingen getrokken worden met een onderzoek dat

gericht was op de invoering van een webscale discovery tool onder gebruikers van 2008. Mede daarom wordt de evaluatie van Primo aan de UvA apart besproken van Primo aan de HvA.

Page 36: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

36

6.3 Primo aan de UvA: de statistieken

Uit de gegevens van de gebruikersstatistieken (zie hoofdstuk drie) kunnen de volgende conclusies getrokken worden:

Primo heeft het grootste aandeel in de click-throughs van SFX naar full text: 41% (tegen een aandeel van Google Scholar van 28%). Primo heeft daarmee

een 10% groter aandeel dan dat MetaLib had verworven. Circa 25% van de boekaanvragen die bij de OPC binnenkomen, komen via

Primo. Er heeft een duidelijke verschuiving plaatsgevonden van gebruik van de oude

catalogus naar Primo.

De implementatie van Primo heeft géén effect gehad op het gebruik van full text: dit blijkt vrijwel constant te zijn gebleven over de laatste vier jaar.

Twee andere observaties dienen eveneens genoemd te worden: o in de afgelopen twee jaar heeft een verschuiving plaatsgevonden in het

gebruik van zoeksystemen, waarbij Google Scholar, Web of Knowledge

en PubMed (naast Primo/MetaLib) meer gebruikt worden ten koste van de tijdschriftenlijsten (van de MB en de UB) en overige zoeksystemen.

o Er wordt véél full text opgevraagd buiten SFX om: ca. 40% van de full text aanvragen geschiedt via SFX, de overige aanvragen komen via andere mechanismen tot stand.

6.4 Primo aan de UvA: de gebruikers

UvA gebruikersgemeenschap zoekt frequent

UvA gebruikersgemeenschap zoekt frequent: 96% van de UVA-medewerkers en 83% van de UvA-studenten zoekt wekelijks of frequenter.

Voorkeur voor digitale informatie: 57% van de medewerkers en 47% van de studenten heeft een voorkeur voor digitale informatie.

Honkvast qua zoekmachine: 71% van de medewerkers en 67% van de studenten gebruikt altijd of meestal dezelfde zoekmachine.

Google Scholar meest gebruikt: Google Scholar is de meest gebruikte

zoekmachine met 73% gebruik onder studenten en 63% gebruik onder de medewerkers.

CatalogusPlus en de UvA-catalogus (de oude catalogus)

CatalogusPlus wordt redelijk goed gebruikt: de helft van de studenten en 35% van de medewerkers gebruikt CatalogusPlus

De oude catalogus heeft eigen gebruikersgroep: de oude catalogus

wordt door 32% van beide groepen gebruikt. Een belangrijk deel gebruikt wel de oude catalogus maar CatalogusPlus niet. Het gaat om 18% van de

studenten en 20% van de medewerkers.

Page 37: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

37

Gebruik van het bibliografische apparaat UvA

Bereik bibliografische apparaat groter geworden t.o.v. 2008: ongeveer

20% van de gebruikers maakt géén gebruik van de door de UvA aangeboden zoeksystemen. Dit is een lager percentage dan in het gebruikersonderzoek van 2008 werd gevonden: toen was dit 30% van de medewerkers en 26%

van de studenten.

Doelstellingen Primo

Meeste doelstellingen Primo worden onderschreven: de meeste

doelstellingen van Primo worden onderschreven door zowel de medewerkers als de studenten. Er zijn twee uitzonderingen: alléén informatie vinden die de

bibliotheek ook kan leveren wordt minder ondersteund door de medewerkers, actuele informatie en historische informatie tegelijk zoeken wordt door beide groepen minder onderschreven. Een vergelijking met het

gebruikersonderzoek van 2008, waar deze doelstellingen in vergelijkbare bewoordingen werden voorgelegd voor het mogelijk te ontwikkelen systeem

laat zien dat de deze zeer goed overeenkomen. Wat dat betreft is de behoefte dus niet veranderd.

Tevredenheid van gebruikers van CatalogusPlus

Ontevredenheid over CatalogusPlus vooral onder UvA-medewerkers, waaronder veel medewerkers uit de faculteit Geesteswetenschappen: de door de informatiespecialisten gesignaleerde onvrede over CatalogusPlus

lijkt met name gebaseerd te zijn op de ontevredenheid van UvA-medewerkers over het functioneren van CatalogusPlus. Gebruikers van CatalogusPlus geven

een gemiddeld rapportcijfer van 6,81 dat redelijk lijkt. Echter, 15% geeft een onvoldoende rapportcijfer en de Net Promotor Score is -14,6%. Een belangrijke oorzaak van de ontevredenheid ligt in de relevance ranking van

Primo: 29% is daar ontevreden over. Ook andere aspecten van CatalogusPlus hebben hoge percentages ontevreden gebruikers: gebruikersvriendelijkheid,

zoeken van boeken, geboden zoekfilters en (in wat mindere mate) de dekkingsgraad en de toegang tot de full text. De ontevredenheid van de gebruikers van CatalogusPlus onder de UvA-medewerkers is wijdverbreid: dit

blijkt uit het feit dat een stelling dat relevante zoekresultaten vaak worden ondergesneeuwd door meer dan de helft wordt onderschreven (56%). Een

ander knelpunt is dat men te vaak moet klikken om bij de full text/aanvraag optie te komen (49%). Een analyse per faculteit laat zien dat de voornaamste gebruikersgroep van CatalogusPlus zich bij de Faculteit

Geesteswetenschappen bevindt. Dit geldt zowel voor de medewerkers van deze faculteit, waarvan meer dan de helft CatalogusPlus gebruikt en voor de

studenten, waarvan bijna 70% CatalogusPlus gebruikt. Studenten zijn iets tevredener maar onderschrijven de meeste

knelpunten: de UvA-studenten die CatalogusPlus gebruiken zijn positiever

met een gemiddeld rapportcijfer van 7,0 en met 7,5% met een onvoldoende. Hun Net Promotor Score is -3,3%. Echter, de ontevredenheid over een aantal

aspecten van CatalogusPlus wordt gedeeld, waarbij studenten zich meer ontevreden toonden over de toegang tot digitale full text (20%). Ook de

genoemde stellingen met betrekking tot ondersneeuwen zoekresultaten en te

Page 38: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

38

vaak klikken worden door meerderheden van de respondenten

onderschreven. Meer uitleg op de bibliotheekwebsite gewenst: een stelling, op basis van

een opmerking van een geïnterviewde respondent in het vooronderzoek, waarin om meer uitleg op de bibliotheekwebsite wordt gevraagd voor welk een zoekactie welke zoekmachine/databanken geschikt is en hoe deze

zoekactie uit te voeren, wordt door grote delen van de gebruikerspopulatie onderschreven: 57% van de studenten en 45% van de medewerkers.

Tevredenheid oude catalogus; databases overzicht pagina; A tot Z tijdschriftenlijst

Redelijk tevreden over de UVA-catalogus: de meer frequente gebruikers van de UvA-catalogus geven deze een rapportcijfer van 7,36 (UvA-

medewerkers) en 7,2 (UvA-studenten)19. Het percentage gebruikers dat een onvoldoende rapportcijfer geeft is beperkt: respectievelijk 7,3% en 5,6%.

Databaseoverzichtpagina en A tot Z tijdschriftenlijst scoren redelijk

goed onder UvA-medewerkers: beide zijn redelijk bekend onder de UvA-medewerkers (respectievelijk 68% en 73%), kan worden gebruikt door een

belangrijk deel (respectievelijk 44% en 54%) en goed gewaardeerd (rapportcijfer respectievelijk 7,52 en 7,98). Onder UvA-studenten is het gebruik veel lager: respectievelijk 37% en 28%. Ook is de waardering van de

studenten wat lager: respectievelijk een rapportcijfer van 6,87 en 7,11.

19 Dit rapportcijfer voor de ‘oude’ catalogus is hoger dan het rapportcijfer voor CatalogusPlus (UvA-

medewerkers: 6,81 versus 7,36; UvA-studenten: 7,0 versus 7,2. Echter, opgemerkt moet worden dat deze gebruikersgroepen die niet direct met elkaar vergelijkbaar zijn: de gebruikers van CatalogusPlus hebben hier in veel gevallen niet actief voor gekozen (is immers de default), terwijl de gebruikers van de ‘oude’ catalogus dit wel hebben gedaan.

Page 39: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

39

6.5 Conclusies t.a.v. de UvA implementatie van Primo

1. Primo heeft het grootste aandeel in de click-throughs naar de full text via SFX. Dit aandeel is groter dan Google Scholar en is 10% groter dan MetaLib

had verworven. 2. Primo wordt gebruikt door 50% van de studenten en 35% van de

medewerkers.

3. De meeste doelstellingen van Primo worden onderschreven door studenten en medewerkers. Opvallend is dat er ten opzichte van 2008 vrijwel geen

verandering hierin heeft plaatsgevonden. Twee doelstellingen worden overigens minder onderschreven: actuele én historische informatie tegelijk zoeken (studenten én medewerkers) en alléén informatie zoeken die de

bibliotheek beschikbaar heeft (alléén medewerkers). 4. Het is echter forse ontevredenheid over het functioneren van Primo onder de

gebruikers, met name onder de medewerkers van de UvA en specifiek onder die van de faculteit Geesteswetenschappen.

5. Er zijn vier knelpunten, die deze ontevredenheid voornamelijk veroorzaken:

de belangrijkste is de relevance ranking. Vrijwel alle opmerkingen die in de open velden van de enquête zijn gemaakt gaan hierover. Op de tweede plaats

komen gebruikersvriendelijkheid, het zoeken van boeken en de geboden zoekfilters.

Page 40: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

40

6.6 Primo aan de HvA: de gebruiksstatistieken

Vooral additioneel gebruik Primo: Primo lijkt vooral additioneel gebruik te hebben opgeleverd binnen de gebruikersgemeenschap van de HvA terwijl er

slechts in beperkte mate een verschuiving van het gebruik van de oude catalogus naar Primo heeft plaatsgevonden.

Overgrote deel SFX full text aanvragen via Primo: Primo is

verantwoordelijk voor bijna 80% van de click-throughs van SFX richting full text vanuit de gebruikersgemeenschap van de HvA.

6.7 Primo aan de HvA: de gebruikers

HvA gebruikersgemeenschap zoekt frequent

HvA gebruikersgemeenschap zoekt regelmatig: 60% van de studenten en zien 71% van de medewerkers zoekt maandelijks of vaker.

Voorkeur voor digitale informatie: 46 % van de medewerkers en 44% van de studenten heeft een voorkeur voor digitale informatie.

Honkvast qua zoekmachine: 71% van de medewerkers en 69% van de studenten gebruikt altijd of meestal dezelfde zoekmachine.

Google meest gebruikt: Google staat bovenaan de zoekmachines qua gebruik: 57% van de medewerkers en 76% van de studenten gebruik Google (of een andere internetzoekmachine). Daarmee is het verreweg de meest

gebruikte zoekmachine: Google Scholar komt op de tweede plaats met 45% onder de HvA-medewerkers en 42% onder de HvA-studenten.

ZOEKEN IN DE HvA BIBLIOTHEEK en de oude catalogus

ZOEKEN IN DE HvA BIBLIOTHEEK wordt redelijk goed gebruikt: 39% van de studenten en 45% van de HvA-medewerkers maakt hiervan gebruik.

De oude catalogus wordt met name door studenten ook veel gebruikt:

30% van de studenten gebruikt de oude catalogus, tegen 18% van de medewerkers.

Gebruik van het bibliografisch apparaat van de HvA

20-30% maakt geen gebruik van het bibliografisch apparaat: 23% van

de medewerkers en 32% van de studenten maakt geen gebruik van het bibliografisch apparaat van de HvA.

Doelstellingen Primo

Alle doelstellingen relevant voor HvA-studenten: de doelstellingen van Primo worden alle in ruime mate onderschreven door de HvA-studenten. De medewerkers zijn eveneens positief over deze doelstellingen, met

uitzondering van de doelstelling ‘alleen informatie vinden die de bibliotheek ook kan leveren’.

Tevredenheid van gebruikers van ZOEKEN IN DE HvA BIBLIOTHEEK

Slechte waardering voor Primo: de gebruikers van ZOEKEN IN DE HvA

BIBLIOTHEEK betonen zich in vergelijkbare mate als hun collega’s bij de UvA

Page 41: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

41

negatief erover, zoals onder meer blijkt de Net Promotor Score, die negatief is

bij de HvA-medewerkers (-18%) en enigszins negatief bij de studenten (-3,4%).

Ander knelpunt dan bij UvA: de HvA gebruikers melden een ander knelpunt in het gebruik van Primo dan de UvA gebruikers. Hier is er vooral ontevredenheid over de toegang tot de digitale full text (18% van de

studenten en 16% van de medewerkers is hierover ontevreden). Dit blijkt ook uit het feit dat ruim 40% van beide groepen de stelling ‘te vaak klikken om bij

de full text/aanvragen optie te komen’ onderschrijft. Nederlandstalig interface gewenst: 27% van de studenten en 35% van

de medewerkers vindt een Nederlandstalig interface wenselijk.

Meer uitleg op de bibliotheekwebsite gewenst: 50% van de studenten en 60% van de medewerkers onderschrijft de stelling dat de

bibliotheekwebsite meer uitleg moet bevatten over voor welke zoekactie welke zoekmachine/databanken geschikt zijn en hoe deze zoekacties uit te voeren.

Tevredenheid oude catalogus; databases overzicht pagina; A tot Z tijdschriftenlijst

Gebruik oude catalogus vooral door studenten op bibliotheekvestiging: meer dan de helft van het gebruik van de oude

catalogus door studenten vindt meestal plaats op een bibliotheekvestiging van de HvA.

Redelijk tevreden over de oude catalogus: meer frequente gebruikers waarderen de oude catalogus met een rapportcijfer van 6,74 (studenten) en 6,92 (medewerkers). 9% van de studenten en 11% van de medewerkers gaf

een onvoldoende. Databaseoverzichtpagina redelijk gebruikt en goed gewaardeerd: 56%

van de medewerkers en 42% van de studenten gebruikt de databaseoverzichtpagina en geeft daarvoor een gemiddeld rapportcijfer van respectievelijk 7,18 en 7,55.

A tot Z tijdschriftenlijst minder gebruikt: 35% van de medewerkers en 19% van de studenten gebruikt de A tot Z tijdschriftenlijst. Medewerkers zijn

hierover matig tevreden met een rapportcijfer van 7,42 en 11% met een onvoldoende. Studenten die de A tot Z tijdschriftenlijstgebruiken zijn er meer

ontevreden over: gemiddeld rapportcijfer 6,83; 17% geeft een onvoldoende.

Page 42: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

42

6.8 Conclusies ten aanzien van de HvA implementatie van Primo

1. Primo verzorgt bijna 80% van de click-throughs naar de full text via SFX. De betekenis daarvan is niet duidelijk omdat er geen overzicht is van het totale

gebruik van full text door HvA gebruikers. 2. Primo lijkt vooral additioneel gebruik te hebben opgeleverd binnen de

gebruikersgemeenschap van de HvA en slechts een beperkte verschuiving van

gebruik van de oude catalogus naar Primo. 3. Primo wordt gebruikt door 39% van de studenten en 45% van de

medewerkers. 4. Vrijwel alle doelstellingen van Primo worden onderschreven door de studenten

en medewerkers.

5. Wat betreft de waardering van zoeken in de HvA bibliotheek betonen de gebruikers zich negatief.

6. De ontevredenheid richt zich met name op het doorklikken naar de digitale full text. Dit aspect van Primo speelt nauwelijks een rol in de ontevredenheid van de UvA gebruikers. Vice versa speelt de ontevredenheid over de

relevance ranking et cetera van de UvA gebruikers veel minder onder de HvA gebruikers.

7. De gebruikersgemeenschap van de HvA lijkt wetenschappelijke informatiebronnen minder intensief te gebruiken dan de gebruikersgemeenschap van de UVA en lijkt daardoor ook minder bedreven in

het gebruiken ervan: dit blijkt uit de positie van Google (bij de HvA op de eerste plaats), in het veel minder frequent zoeken naar wetenschappelijke

informatie en in het veel lagere aantal SFX click-throughs naar digitale full text.

8. De belangrijkste functie van Primo – namelijk met één zoekmachine zoeken

op een Google-achtige manier in wetenschappelijke informatie - zou extra relevant zijn voor de onder punt 7 genoemde karakteristieken van de

gebruikersgemeenschap van de HvA. Echter, deze functie wordt deels onderuitgehaald door de grote lacunes in de dekkingsgraad van Primo wat

betreft voor de HvA belangrijke databanken.

Page 43: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

43

Bijlage A De vragenlijst20

Click here for English / Engels

Introductie

De vragenlijst bestaat uit de volgende onderdelen: A - Hoe zoekt u naar literatuur en welke zoekopties gebruikt u daarvoor? (ca. 4 minuten invultijd) B - Enkele stellingen over het zoeken naar literatuur (ca. 2 minuten invultijd) C - CatalogusPlus (alléén als u het gebruikt; ca. 3 minuten invultijd) D - Afrondende vragen (ca. 30 seconden invultijd)

Deel A: Hoe zoekt u naar literatuur?

Deze sectie bevat een aantal vragen over uw zoekgedrag naar literatuur (boeken, tijdschriftartikelen) en het gebruik van de digitale diensten van de Bibliotheek van de Universiteit van Amsterdam daarbij.

A1. Hoe vaak zoekt u naar wetenschappelijke informatie (gedrukt of digitaal; boeken of tijdschriftartikelen) t.b.v. uw onderzoek, onderwijs of studie?

zelden of nooit incidenteel (minder dan één

keer per maand) maandelijks wekelijks (vrijwel) dagelijks weet niet / geen mening / niet

van toepassing

A2. Welk deel van uw informatiebehoefte wordt ingevuld door (gedrukte of digitale) boeken ten opzichte van (gedrukte of digitale) tijdschriftartikelen?

overgrote deel wordt ingevuld door boeken

grootste deel wordt ingevuld door boeken

ongeveer fifty-fifty grootste deel wordt ingevuld

door tijdschriftartikelen overgrote deel wordt ingevuld

door tijdschriftartikelen weet niet / geen mening / niet

van toepassing

A3. Heeft u een voorkeur voor digitale of gedrukte informatie?

voorkeur voor gedrukte informatie

voorkeur voor digitale informatie

geen voorkeur weet niet / geen mening / niet

van toepassing

20 Dit betreft een weergave in Word van de vragenlijst voor de medewerkers van de UvA.

Er waren hier vragenlijsten met kleine verschillen: de achtergrondvragen (sectie D)

waarde voor de studenten anders, de vragenlijst voor de HvA gebruikten de daar gepaste

terminologie en week op enkele onderdelen af (andere databases bij A6), geen vragen

over historische informatie. Tenslotte werd het taalgebruik in de vragenlijst voor de HvA-

studenten aangepast.

Page 44: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

44

A4. Op basis van beschrijvingen van collega's van u zijn er globaal twee strategieën voor het zoeken op onderwerp te onderscheiden: (X) zoekactie starten in veelomvattende zoekmachine, zonder voorkeur voor type publicatie of inperking tot vakgebied, om vervolgens op basis van de zoekresultaten de zoekactie zo nodig te verfijnen/in te perken. (Y) voorafgaande aan zoekactie bepalen welk publicatietype of vakgebied relevant is en vervolgens de zoekactie in een daarop gerichte zoekmachine uitvoeren.

Welke omschrijving past het beste voor de strategie van (de meeste van) uw zoekacties?

(vrijwel) altijd strategie (X) merendeel strategie (X), soms

strategie (Y) fifty-fifty merendeel strategie (Y), soms

strategie (X) (vrijwel) altijd strategie (Y) weet niet / geen mening / niet

van toepassing

A5. Wanneer u zoekt naar wetenschappelijke informatie op onderwerp, welke stelling beschrijft het beste uw zoekstrategie? [de term zoekmachine wordt hier gebruikt voor alle zoekmogelijkheden zoals catalogi, wetenschappelijke databases en internet zoekmachines]

Ik gebruik (vrijwel) altijd dezelfde zoekmachine

Ik gebruik meestal dezelfde zoekmachine, soms ook andere

Ik gebruik meestal meerdere zoekmachines voor een zoekactie

Ik heb geen vaste zoekmachine

weet niet / geen mening / niet van toepassing

A6. Welke zoekmachine(s) gebruikt u meestal bij het zoeken naar wetenschappelijke informatie? [MEER ANTWOORDEN MOGELIJK]

CatalogusPlus van de UvA (zie bij twijfel vraag A7)

Catalogus van de UvA (de 'oude' catalogus; zie bij twijfel vraag A8)

Google of een andere algemene internetzoekmachine

Google Scholar

PubMed

Web of Science

PiCarta

Een vakspecifieke databank, namelijk:

Een andere hierboven niet genoemde zoekoptie, namelijk:

A7. CatalogusPlus van de UvA biedt de mogelijkheid om naar zowel de gedrukte boeken en tijdschriften als digitale boeken en tijdschriftartikelen te zoeken (zie link hieronder als u twijfelt wat er bedoeld wordt met CatalogusPlus).

Page 45: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

45

Klik hier om CatalogusPlus van de UvA te bekijken http://lib.uva.nl/primo_library/libweb/action/search.do?vid=UVA

Kent u CatalogusPlus? ja nee [GA NAAR A8] weet niet / geen mening / niet

van toepassing

Gebruikt u CatalogusPlus? zelden of nooit incidenteel (minder dan één

keer per maand) maandelijks wekelijks (vrijwel) dagelijks

[ALLEEN WANNEER U HIERVAN GEBRUIK MAAKT] Wat is uw tevredenheid over CatalogusPlus, uitgedrukt in een rapportcijfer (1 tot/met 10; 1 - zeer slecht, 10 - uitmuntend)?

1 2 3 4 5 6 7 8 9 10

[ALLEEN WANNEER U HIERVAN GEBRUIK MAAKT] Zou u CatalogusPlus aanraden aan een collega? (1 tot/met 10; 1 - zeer onwaarschijnlijk, 10 - zeer waarschijnlijk)

1 2 3 4 5 6 7 8 9 10

Uw eventuele toelichting:

A8. De Catalogus van de UvA (de 'oude' catalogus) geeft de mogelijkheid voor het zoeken van (gedrukte of digitale) boeken. Klik hier om de UvA-Catalogus te bekijken http://opc.uva.nl/F?local_base=uva&func=find-b-0&con_lng=ned

Kent u de UvA-Catalogus? ja nee [GA NAAR A9] weet niet / geen mening / niet

van toepassing

Gebruikt u de UvA-Catalogus? zelden of nooit incidenteel (minder dan één

keer per maand) maandelijks wekelijks (vrijwel) dagelijks

[ALLEEN WANNEER U HIERVAN GEBRUIK MAAKT] Wat is uw tevredenheid over de UvA-Catalogus, uitgedrukt in een rapportcijfer (1 tot/met 10; 1 - zeer

1 2 3

Page 46: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

46

slecht, 10 - uitmuntend)? 4 5 6 7 8 9 10

Uw eventuele toelichting:

A9. De Bibliotheek van de UvA biedt ook een overzicht van geselecteerde databases, te bevragen op alfabet, per vakgebied of per soort database (zie de link hieronder als u twijfelt wat er bedoeld wordt). Klik hier om het overzicht van de databases van de UvA te bekijken http://lib.uva.nl/primo_library/libweb/action/search.do?vid=UVA&dbsearch=1

Kent u en gebruikt u deze mogelijkheid? Ik kende deze mogelijkheid niet

Ik kende deze mogelijkheid wel, maar gebruik het niet

Ik ken deze mogelijkheid en gebruik het een enkele keer

Ik ken deze mogelijkheid wel en gebruik het regelmatig/vaak

weet niet / geen mening / niet van toepassing

[ALLEEN WANNEER U HIERVAN GEBRUIK MAAKT] Wat is uw tevredenheid over de Databases overzichtspagina, uitgedrukt in een rapportcijfer (1 tot/met 10; 1 - zeer slecht, 10 - uitmuntend)?

1 2 3 4 5 6 7 8 9 10

Uw eventuele toelichting:

A10. De Bibliotheek van de UvA biedt ook een overzicht van digitale tijdschriften, te bevragen op alfabet of per vakgebied (zie de link hieronder als u twijfelt wat er bedoeld wordt). Klik hier om het overzicht van de tijdschriften van de UvA te bekijken http://uba-sfx.hosted.exlibrisgroup.com:9003/uva-linker/az?lang=nld&browse_type=not_mobile

Kent u en gebruikt u deze mogelijkheid? Ik kende deze mogelijkheid niet

Ik kende deze mogelijkheid wel, maar gebruik het niet

Ik ken deze mogelijkheid en gebruik het een enkele keer

Ik ken deze mogelijkheid wel en gebruik het regelmatig/vaak

weet niet / geen mening / niet van toepassing

[ALLEEN WANNEER U HIERVAN GEBRUIK MAAKT] 1

Page 47: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

47

Wat is uw tevredenheid over de tijdschriftenpagina, uitgedrukt in een rapportcijfer (1 tot/met 10; 1 - zeer slecht, 10 - uitmuntend)?

2 3 4 5 6 7 8 9 10

Uw eventuele toelichting:

Deel B: Stellingen over de doelstellingen van CatalogusPlus

CatalogusPlus is bedoeld om één zoekportaal te creëren voor alle informatie, die door de bibliotheek van de UvA is geselecteerd. De interface is geënt op Google-achtige eenvoud.

B1. Zijn de onderstaande doelstellingen van CatalogusPlus voor uw wijze van informatie zoeken relevant?

Geef uw oordeel aan door op de schaal te klikken (zie plaatje voor voorbeeld). -2: sterke voorkeur item links -1: enige voorkeur item links 0: neutraal / weet niet / niet van toepassing 1: enige voorkeur item rechts 2: voorkeur item rechts

één zoekingang voor alle informatie van de bibliotheek niet relevant -2 -1 0 1 2 .

relevant

boeken en tijdschriftartikelen tegelijk zoeken niet relevant -2 -1 0 1 2 .

relevant

digitaal en gedrukt tegelijk zoeken niet relevant -2 -1 0 1 2 .

relevant

actuele informatie en historische informatie (van de UvA erfgoedcollecties) tegelijk zoeken

niet relevant -2 -1 0 1 2 .

relevant

alleen informatie vinden die de bibliotheek ook kan leveren (online toegang, uitlenen)

niet relevant -2 -1 0 1 2 .

relevant

zoeken in twee stappen: eerst alles doorzoeken, dan opties om (eventueel) de resultaten in te perken

niet relevant -2 -1 0 1 2 .

relevant

B2. [ALS U CatalogusPlus NIET KENDE] Denkt u op basis van de bovenstaande kenmerken van CatalogusPlus gebruik te gaan maken?

nee, zeker niet -2 -1 0 1 2 .

ja, waarschijnlijk wel

Uw eventuele toelichting:

Page 48: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

48

Deel C: Vragen aan gebruikers van CatalogusPlus [NIET-GEBRUIKERS NAAR SECTIE D]

C1. Wat beschrijft het beste uw gebruik van CatalogusPlus?

Ik gebruik CatalogusPlus meestal als de eerste zoekmachine

Ik gebruik CatalogusPlus meestal nadat ik eerst een andere zoekmachine heb gebruikt

CatalogusPlus is een van de vele zoekmachines die ik zo nu en dan gebruik

C2. In hoeverre bent u als gebruiker van CatalogusPlus tevreden over de volgende aspecten van CatalogusPlus?

de dekkingsgraad van CatalogusPlus niet tevreden -2 -1 0 1 2 .

tevreden

de relevantie van de zoekresultaten (relevance ranking)

niet tevreden -2 -1 0 1 2 .

tevreden

de gebruikersvriendelijkheid van CatalogusPlus niet tevreden -2 -1 0 1 2 .

tevreden

de geboden zoekfilters ('Refine my results') niet tevreden -2 -1 0 1 2 .

tevreden

het zoeken van boeken met CatalogusPlus niet tevreden -2 -1 0 1 2 .

tevreden

toegang tot digitale full text van gevonden literatuur niet tevreden -2 -1 0 1 2 .

tevreden

Uw eventuele toelichting:

C3. Hieronder enkele stellingen op basis van uitspraken van uw collega's over het gebruik van CatalogusPlus: bent u het ermee eens?

Ik wil graag een Nederlandstalige interface voor CatalogusPlus.

oneens -2 -1 0 1 2 .

mee eens

De voor mij relevante zoekresultaten worden vaak ondergesneeuwd door zoekresultaten uit andere voor mij niet relevante vakgebieden.

oneens -2 -1 0 1 2 .

mee eens

Ik vind dat ik te vaak moet klikken om bij de full text of bij de aanvraagoptie voor het gedrukte boek te komen.

oneens -2 -1 0 1 2 .

mee eens

Ik vind dat er meer uitleg op de bibliotheekwebsite moet komen voor welke zoekactie welke zoekmachine/database geschikt is en hoe die zoekactie uit te voeren.

oneens -2 -1 0 1 2 .

mee eens

Uw eventuele toelichting:

Page 49: Het functioneren van Primo binnen de dienstverlening van de …cf.uba.uva.nl/nl/handl/Primo-onderzoeksrapport.pdf · 2013. 10. 18. · Pleiade Management en Consultancy 3 1. Inleiding

Pleiade Management en Consultancy

49

D. Afronding

Aan welke faculteit werkt u? Faculteit Economie en Bedrijfskunde

Faculteit der Geesteswetenschappen

Faculteit der Geneeskunde (AMC-UvA)

Faculteit der Maatschappij- en Gedragswetenschappen

Faculteit der Natuurwetenschappen, Wiskunde en Informatica

Faculteit der Rechtsgeleerdheid

Faculteit der Tandheelkunde anders

Functie: hoogleraar universitair hoofddocent universitair docent postdoc medewerker promovendus/AIO/OIO anders

Indien anders, graag uw toelichting:

Voor elke ingevulde vragenlijst wordt 1 euro gedoneerd aan het Internationale Rode Kruis (met een maximum van 500 euro). Bent u geïnteresseerd in de totale donatie aan het Rode Kruis en de uitslag van deze enquête? Vul dan uw e-mailadres in (De gegevens van de enquête worden anoniem verwerkt):

Hartelijk dank voor uw medewerking aan dit onderzoek. Als u op de INDIENEN knop hiernaast drukt, worden uw antwoorden geregistreerd. Het systeem antwoordt na enkele seconden met een bevestiging en een overzicht van de door u gegeven antwoorden.

INDIENEN