Effectief meten van informatievaardigheden

Bert Boxem

Informatiespecialist Werktuigbouwkunde/Industrieel Ontwerpen

Universiteitsbibliotheek Twente

Onderwerpen:

1. DU-Project ‘Virtueel Discursief Kennisnetwerk’ (VDK)

2. Instrumenten om VDK praktisch vorm te geven

3.Toetsen van informatievaardigheden– Wat zegt een deskundige ervan– ACRL-normen– Praktijk aan de UT – Enkele vb. van toetsvragen

Virtueel Discursief Kennisnetwerk

• Project van Digitale Universiteit, 2003/2004• “Onze studenten worden later kenniswerkers:

problemen oplossen voortbouwend op eigen kennis en die van anderen”

• VDK is didactische werkvorm om kenniscompetenties te verwerven:– Informatievaardigheid– Interactievaardigheid– Cognitieve vaardigheid

Virtueel Discursief Kennisnetwerk

• Werkomgeving bestaat uit toegang digitale bibliotheek, forum en kennisbank

• Gevonden informatie en ook eigen producten in kennisbank

• Opdracht uitvoeren in samenwerking: studenten, docenten, externe experts uit werkveld en bibliotheek

VDK pilots, conclusies o.a.:• Studenten vinden zelf bij de start dat ze prima

kunnen zoeken en dus dat ze voldoende informatievaardig zijn: ‘onbewust onbekwaam’

• Docent en praktijk neemt vaak genoegen met slechts knip- en plakwerk

• Praktische instrumenten gemaakt ter ondersteuning bij werken in VDK: – Toets informatievaardigheden– Workshop informatievaardigheid voor docenten

Toets informatievaardigheden uit VDK

• 32 items, vertaald uit engels, aangepast. Gebruikt in verschillende pilots

• Geschikt om diagnostisch te meten: na de toets (veel feed back) zagen de studenten in dat ze minder inf.vaardig waren dan gedacht

• Te beperkt voor oordeel of gewenst niveau gehaald wordt.

• Kritische opmerkingen van studenten en bibliotheekmedewerkers

Toets informatievaardigheden uit VDK

Studentresultaten:• Studenten scoorden goed op selectie van

goede kwaliteit informatie• Slecht in opsporen informatie en ethische

aspecten bij gebruik van informatie• Dachten tevoren: voldoende, scoorden

uiteindelijk gemiddeld een 5 en zijn het daar dan wel mee eens

Toetsen informatievaardigheden

Wat zegt een deskundige ervan:

Summercourse Ticer 2005

Sheila Webber (Department of Information Studies, U. of Sheffield):

Informatievaardigheden te breed voor 1 soort beoordeling

Doel van toetsen vlgs Webber:

• Diagnose, b.v. startniveau en progressiemeting

• Feedback, advies ter verbetering• Oordeel: gewenst niveau gehaald?• Cursuskwaliteit meten

Webber:

• Beoordeling is essentieel deel van onderwijs• Beoordeling is ‘key focus’ voor de motivatie

van de student.

Onderzoek wees uit dat “probably the biggest influence on a student’s approach to their studies is the assessment regime of the course”

Vervolg toetsontwikkeling aan de UT

• De 32 items zijn verbeterd en aangevuld, zeer uitgebreide feedback, vaak meer antw. goed, in QMP

• 3 vakgebieden: algemeen, beta, gamma. Vaak varianten van dezelfde vragen

• ACRL heeft informatievaardigheden ingedeeld in 5 standaarden; bij standaard 1, 2, 3 en 5 zijn nu 10 tot 25 toetsitems beschikbaar (totaal 80, wens: meer, ook engelstalig)

ACRL normen: Informatievaardige student…

1. bepaalt aard en omvang informatiebehoefte

2. spoort informatie effectief en efficiënt op

3. evalueert kritisch de gevonden informatie en bronnen, voegt relevante info toe aan zijn kennis en past zijn inzichten aan

4. gebruikt informatie effectief bij bereiken van een bepaald doel

5. … en houdt zich aan ethische en wettelijke normen bij de toegang en het gebruik van informatie

Gebruik van toetsen aan de UT

Verschillende soorten toetsen zijn afgenomen: – diagnostisch na instructie mbv toetsitems

(niveau viel ons tegen, vergelijkbaar met VDK-toets)

– oordeel of gewenst niveau gehaald wordt

(toetsitems+open vragen: 85% voldoende)

Oordeel: gewenst niveau gehaald?• Bij 2e jaars projectonderwijs Werktuigbouwkunde• (In 1e jaar: korte instructie en opdrachten in

Centrale Bibliotheek)• In 2e jaar: instructie van patent-deskundige, 2

modules MEEWIZ met syllabus• Individuele toets: 35 meerkeuzevragen en 4

uitgebreide open vragen• Per groep van 8 studenten:

verslag zoeken + gebruik patenten, beoordeeld door informatiespecialist

Voorbeeld meerkeuzevraag β

Je zoekt naar accusystemen voor mobiele telefoons in Compendex mbv subject headings (trefwoorden). Je typt in

telephone batteries en vindt geen treffers.

Wat concludeer je?

antwoorden

1. Je zocht met verkeerde zoektermen

2. Compendex bevat geen artikelen over dit onderwerp

3. Je kunt beter met titelwoorden telephone batteries zoeken

4. De UB heeft geen artikelen over dit onderwerp

Vorm van feed back bij fout antw:

Dit is niet het goede antwoord, want…..

Het goede antwoord is ……., want ……

Voorbeeld open vraag

(Stel je zoekt in engelstalige patentdatabank en nesting, proximity e.d. is mogelijk)

Je zoekt naar zoveel mogelijk manieren om een koffer of tas te gebruiken als stoel om het wachten tijdens reizen te veraangenamen.

Geef de zoekzin (zoektermen met Booleaanse operatoren).

Onze conclusies• Toetsitems effectief en efficiënt inzetbaar, ook

bij oordeel-toets• Meerkeuze-items en open vragen correleren

behoorlijk• Als studenten tevoren weten dat ze

voldoende moeten halen, doen ze er wat aan

“probably the biggest influence on a student’s approach to their studies is the assessment regime of the course”