ROBERT SCHUWER – ONDERWIJSDAGEN – 12-11-2013

Kwaliteit van OER

Enkele vragen over kwaliteit van open leermaterialen

•Hoe kan ik kwalitatief hoogwaardige open leermaterialen vinden?

•Waaraan kan ik kwaliteit van open leermaterialen herkennen?

•Met welke kwaliteitscriteria moet ik rekening houden als ik open leermaterialen wil publiceren?

2

Agenda

1.Onderzoek

2.Wat is kwaliteit?

3.Kwaliteit van leermateriaal

4.Model voor kwaliteit

5.Onderzoek: kwaliteit van OER in Nederland

3

ONDERZOEK

CC-BY Hester Jelgerhuis

4

Onderzoeksvragen

1. Wat is kwaliteit en wat zijn relevante kwaliteitscriteria?

2. Hoe kan de kwaliteit van open leermaterialen zichtbaar worden gemaakt?

3. Hoe kun je goed gewaardeerd leermateriaal zichtbaar maken?

4. Hoe kunnen communities van gebruikers hier een rol in spelen?

5. Is er behoefte aan (al dan niet bestaande) kwaliteitskeurmerken?

5

Aanpak

6

WAT IS KWALITEIT?

CC-BY Hester Jelgerhuis

7

Wat is kwaliteit?

• Geschiktheid voor gebruik (Juran)

vs• Voldoen aan de eisen (Crosby)

8

Wat is kwaliteit?

Voldoet aan eisen:feedback

Eisen voor gebruik

Voldoet aan eisen

Hoeveel leren de studenten bij gebruik van het

materiaal?

9

Kwaliteit van OER: overzicht

Leermateriaal

Digitaal leermateriaal

OER

Creatie Gebruik

E-learning

Kwaliteitszorg10

Kwaliteit van e-learning

•Strategisch management•Curriculum ontwerp•Cursusontwerp (met o.a. kwaliteitscriteria voor leermateriaal)

•Uitleveren van een cursus•Ondersteuning van de staf•Ondersteuning van de lerende

Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.

11

Kwaliteit OER

•Formaat•Lokalisatie•Vindbaarheid: metadata, tagging•Technologische barrières•Interoperabiliteit•Toegankelijkheid•Digitale duurzaamheid

Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.

12

Kwaliteit: criteria

•Expliciet•Impliciet•Karakteristiek

Sanz-Rodriguez, J. Dodero, J.M., Sanchez-Alonso, S. (2010). Ranking Learning Objects through Integration of Different Quality Indicators. IEEE Transactions on Learning Technologies, Vol. 3 (4). 358-363

13

Vraagstukken

Vinden

Bepalen kwaliteit

Metadata

Expliciet

Impliciet

Karakteristiek

Context

14

Impliciet en karakteristiek

•Gebruikerswaardering•Keurmerken•Reviews•Aantal downloads•Context van gebruik

Vertrouwen

Community

15

Herbruikbaarheid in andere contexten

•Mate van context-specificiteit (bijvoorbeeld in de gebruikte voorbeelden)

•Gebruikte didactiek•Optisch en cognitief ontwerp•Historische en politieke perspectieven en religie

Richter, T. & McPherson M. (2012). Open Educational Resources: Education for the World? Distance Education, 33(2), pp. 201-219.

16

Kwaliteitsmodel

•Middel voor vaststellen kwaliteit leermateriaal•Elementen:-Criteria-Normering

17

Criteria voor deze studie

•Genoemd in meerderheid van de bekeken literatuur •Survey Herkenbaar en zo eenvoudig mogelijk zijn. •In minimum kwaliteitsmodel van Wikiwijs

18

Intermezzo: minimum kwaliteitsmodel

•Doel: snelle beoordeling mogelijk•Twee categorieën: Must-have en Nice-to-have•Operationalisatie

•Criteria niet contextgebonden•Criteria waar meeste problemen over gemeld worden

19

Minimum kwaliteitsmodel: Must-have

20

Minimum kwaliteitsmodel: Nice-to-have

21

Kwaliteitsmodel voor deze studie

•Vakinhoudelijke kwaliteit•Didactische kwaliteit•De inhoud is niet gedateerd•Aanwezigheid van bronvermeldingen in het leermateriaal

•De voertaal van het leermateriaal•Het materiaal bevat geen taalfouten•Mate waarin het leermateriaal geschikt is voor gebruikers met een handicap

Leermateriaal

•Look & feel (inclusief navigatie)•Interactiviteit•Eenvoudige vindbaarheid van het leermateriaal•De technologische eisen, die voor gebruik van het leermateriaal nodig zijn, zijn duidelijk

•Het leermateriaal kan in meerdere omgevingen en op meerdere dragers worden gebruikt•Waarschijnlijkheid dat toegang tot het leermateriaal voor langere tijd behouden blijft•Het materiaal bevat geen dode links

Digitaal leermateriaal

•Kwaliteit van de beschrijvende gegevens•Gepubliceerd onder een open licentie die aanpasbaarheid toestaat•Materiaal is voorzien van gebruikersbeoordelingen

Open leermateriaal

22

SURVEY EN RESULTATEN

CC-BY Hester Jelgerhuis

23

Survey

•Voorjaar 2013•Doel: inzicht krijgen in stand van zaken kwaliteit OER in hoger onderwijs in Nederland

•Online afgenomen•Werving via SURFspace, SIG OER, sociale media

24

Response

•70 responses

 Docentervaring (jaar) 

 

Instelling Geen< 5 jaar

5 - < 10 jaar

10 - < 15 jaar

15 - < 20 jaar

>= 20 jaar

Nietaang.

HBO 6 4 5 1 7 4 1

Universiteit 1     2 1 7  

Anders         1    Niet aangegeven             30

25

Frequentie van zoeken

27%

33%

33%

7%

Wekelijks

Maandelijks

Eén of enkele malen per jaar

Gemiddeld minder dan 1x per jaar

Nooit

26

Wijze van zoeken

N=58

0102030405060

27

Belang van metadata

N=55

Omschrijving Sleutelwoorden Vakgebied Titel Soort leermate-riaal (video,

audio,...)

Open j/n Vereiste voorkennis

Uitgever0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50 4.22 4.20

3.85 3.76 3.64 3.56

2.962.78

28

Vertrouwen: 3 meest waardevolle

N=55

0

10

20

30

40

29

Type leermateriaal

N=54

0

10

20

30

40

30

Belang kwaliteitscriteria

N=47

Vakinhoudelijke kwaliteit

Bronvermeldingen aanwezig

Open licentie

Geen taalfouten

Didactische kwaliteit

De technologische eisen

Niet gedateerd

Multi-platform use

Geschikt voor gebruikers met een handicap0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.004.52

3.94 3.88 3.87 3.87 3.79 3.79 3.74 3.733.57 3.54 3.54 3.40 3.28 3.15 3.02

2.67

31

Tevredenheid

N=37

Gebru

ikers

beoordelin

gen

Gesc

hikt v

oor gebru

ikers

met e

en handica

p

Bronve

rmeld

ingen a

anwezig

Inte

ract

ivite

it

Toegang voor l

angere tij

d behouden

Open lic

entie

Didact

ische k

waliteit

Kwaliteit m

etadata

Eenvoudig

e vin

dbaarheid

Geen d

ode links

Multi-

use

Geen ta

alfoute

n

Niet g

edateerd

De tech

nologisc

he eise

n

Look & fe

el

Vakinhoudelijk

e kwalite

it

Bekende v

oertaal

0.000.501.001.502.002.503.003.504.00

2.27 2.422.63 2.68 2.74 2.74 2.89 2.89 2.95 2.95 2.97 3.05 3.11 3.13 3.21 3.26

3.76

32

Belang vs problemen

!

!

!!

!!

!

!

!

!

!

!

33

Conclusies

• Kwaliteitscriteria in 3 categorieën

• Zichtbaarheid kwaliteit open leermateriaal- Adequate beschrijving- Beschrijving van de context van gebruik Communities

• Waardering- Communities- Indirect: naam en faam van instelling- Instellingen van naam en faam waarderen materiaal (keurmerk)- Groot ervaren probleem: afwezigheid van gebruikersoordelen

• Belangrijkste problemen: Open licentie en aanwezigheid bronvermelding

• Inhoudelijke kwaliteit: belangrijkste en weinig problemen

34

Tenslotte

Ceterum censeo materia facta tributo oblatum esse gratuito

http://www.flickr.com/photos/68751915@N05/ CC BY-SA

Dank u voor uw aandacht

?

?

?

??

?

?

?

?

?

??

?

36

W

Robert Schuwer

robert.schuwer@ou.nl

https://twitter.com/fagottissimo

Bassoonvenlo

http://nl.linkedin.com/in/robertschuwer/

robertschuwer.nl

Robert Schuwer

06 1446 9300

beschikbaar onder de licentie Creative Commons Naamsvermelding

3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl