Formatief en digitaal informatievaardigheden meten - Caroline Timmers, Amber Walraven - OWD14
Effectief meten van informatievaardigheden
-
Upload
guest0b37cd -
Category
Economy & Finance
-
view
1.023 -
download
1
description
Transcript of Effectief meten van informatievaardigheden
Effectief meten van informatievaardigheden
Bert Boxem
Informatiespecialist Werktuigbouwkunde/Industrieel Ontwerpen
Universiteitsbibliotheek Twente
Onderwerpen:
1. DU-Project ‘Virtueel Discursief Kennisnetwerk’ (VDK)
2. Instrumenten om VDK praktisch vorm te geven
3.Toetsen van informatievaardigheden– Wat zegt een deskundige ervan– ACRL-normen– Praktijk aan de UT – Enkele vb. van toetsvragen
Virtueel Discursief Kennisnetwerk
• Project van Digitale Universiteit, 2003/2004• “Onze studenten worden later kenniswerkers:
problemen oplossen voortbouwend op eigen kennis en die van anderen”
• VDK is didactische werkvorm om kenniscompetenties te verwerven:– Informatievaardigheid– Interactievaardigheid– Cognitieve vaardigheid
Virtueel Discursief Kennisnetwerk
• Werkomgeving bestaat uit toegang digitale bibliotheek, forum en kennisbank
• Gevonden informatie en ook eigen producten in kennisbank
• Opdracht uitvoeren in samenwerking: studenten, docenten, externe experts uit werkveld en bibliotheek
VDK pilots, conclusies o.a.:• Studenten vinden zelf bij de start dat ze prima
kunnen zoeken en dus dat ze voldoende informatievaardig zijn: ‘onbewust onbekwaam’
• Docent en praktijk neemt vaak genoegen met slechts knip- en plakwerk
• Praktische instrumenten gemaakt ter ondersteuning bij werken in VDK: – Toets informatievaardigheden– Workshop informatievaardigheid voor docenten
Toets informatievaardigheden uit VDK
• 32 items, vertaald uit engels, aangepast. Gebruikt in verschillende pilots
• Geschikt om diagnostisch te meten: na de toets (veel feed back) zagen de studenten in dat ze minder inf.vaardig waren dan gedacht
• Te beperkt voor oordeel of gewenst niveau gehaald wordt.
• Kritische opmerkingen van studenten en bibliotheekmedewerkers
Toets informatievaardigheden uit VDK
Studentresultaten:• Studenten scoorden goed op selectie van
goede kwaliteit informatie• Slecht in opsporen informatie en ethische
aspecten bij gebruik van informatie• Dachten tevoren: voldoende, scoorden
uiteindelijk gemiddeld een 5 en zijn het daar dan wel mee eens
Toetsen informatievaardigheden
Wat zegt een deskundige ervan:
Summercourse Ticer 2005
Sheila Webber (Department of Information Studies, U. of Sheffield):
Informatievaardigheden te breed voor 1 soort beoordeling
Doel van toetsen vlgs Webber:
• Diagnose, b.v. startniveau en progressiemeting
• Feedback, advies ter verbetering• Oordeel: gewenst niveau gehaald?• Cursuskwaliteit meten
Webber:
• Beoordeling is essentieel deel van onderwijs• Beoordeling is ‘key focus’ voor de motivatie
van de student.
Onderzoek wees uit dat “probably the biggest influence on a student’s approach to their studies is the assessment regime of the course”
Vervolg toetsontwikkeling aan de UT
• De 32 items zijn verbeterd en aangevuld, zeer uitgebreide feedback, vaak meer antw. goed, in QMP
• 3 vakgebieden: algemeen, beta, gamma. Vaak varianten van dezelfde vragen
• ACRL heeft informatievaardigheden ingedeeld in 5 standaarden; bij standaard 1, 2, 3 en 5 zijn nu 10 tot 25 toetsitems beschikbaar (totaal 80, wens: meer, ook engelstalig)
ACRL normen: Informatievaardige student…
1. bepaalt aard en omvang informatiebehoefte
2. spoort informatie effectief en efficiënt op
3. evalueert kritisch de gevonden informatie en bronnen, voegt relevante info toe aan zijn kennis en past zijn inzichten aan
4. gebruikt informatie effectief bij bereiken van een bepaald doel
5. … en houdt zich aan ethische en wettelijke normen bij de toegang en het gebruik van informatie
Gebruik van toetsen aan de UT
Verschillende soorten toetsen zijn afgenomen: – diagnostisch na instructie mbv toetsitems
(niveau viel ons tegen, vergelijkbaar met VDK-toets)
– oordeel of gewenst niveau gehaald wordt
(toetsitems+open vragen: 85% voldoende)
Oordeel: gewenst niveau gehaald?• Bij 2e jaars projectonderwijs Werktuigbouwkunde• (In 1e jaar: korte instructie en opdrachten in
Centrale Bibliotheek)• In 2e jaar: instructie van patent-deskundige, 2
modules MEEWIZ met syllabus• Individuele toets: 35 meerkeuzevragen en 4
uitgebreide open vragen• Per groep van 8 studenten:
verslag zoeken + gebruik patenten, beoordeeld door informatiespecialist
Voorbeeld meerkeuzevraag β
Je zoekt naar accusystemen voor mobiele telefoons in Compendex mbv subject headings (trefwoorden). Je typt in
telephone batteries en vindt geen treffers.
Wat concludeer je?
antwoorden
1. Je zocht met verkeerde zoektermen
2. Compendex bevat geen artikelen over dit onderwerp
3. Je kunt beter met titelwoorden telephone batteries zoeken
4. De UB heeft geen artikelen over dit onderwerp
Vorm van feed back bij fout antw:
Dit is niet het goede antwoord, want…..
Het goede antwoord is ……., want ……
Voorbeeld open vraag
(Stel je zoekt in engelstalige patentdatabank en nesting, proximity e.d. is mogelijk)
Je zoekt naar zoveel mogelijk manieren om een koffer of tas te gebruiken als stoel om het wachten tijdens reizen te veraangenamen.
Geef de zoekzin (zoektermen met Booleaanse operatoren).
Onze conclusies• Toetsitems effectief en efficiënt inzetbaar, ook
bij oordeel-toets• Meerkeuze-items en open vragen correleren
behoorlijk• Als studenten tevoren weten dat ze
voldoende moeten halen, doen ze er wat aan
“probably the biggest influence on a student’s approach to their studies is the assessment regime of the course”