ROBERT SCHUWER – MASTERCLASS OER4OER – 24-9-2013

Kwaliteit van OER

Agenda

1.Onderzoek

2.Wat is kwaliteit?

3.Kwaliteit van leermateriaal

4.Model voor kwaliteit

5.Onderzoek: kwaliteit van OER in Nederland

ONDERZOEK

CC-BY Hester Jelgerhuis

Onderzoeksvragen

1. Wat is kwaliteit en wat zijn relevante kwaliteitscriteria?

2. Hoe kan de kwaliteit van open leermaterialen zichtbaar worden gemaakt?

3. Hoe kun je goed gewaardeerd leermateriaal zichtbaar maken?

4. Hoe kunnen communities van gebruikers hier een rol in spelen?

5. Is er behoefte aan (al dan niet bestaande) kwaliteitskeurmerken?

Aanpak

WAT IS KWALITEIT?

CC-BY Hester Jelgerhuis

Wat is kwaliteit?

• Geschiktheid voor gebruik (Juran)

vs• Voldoen aan de eisen (Crosby)

Wat is kwaliteit?

Voldoet aan eisen:feedback

Eisen voor gebruik

Voldoet aan eisen

Kwaliteit van OER: overzicht

Leermateriaal

Digitaal leermateriaal

OER

Creatie Gebruik

E-learning

Kwaliteitszorg

Kwaliteit van e-learning

•Strategisch management•Curriculum ontwerp•Cursusontwerp (met o.a. kwaliteitscriteria voor leermateriaal)

•Uitleveren van een cursus•Ondersteuning van de staf•Ondersteuning van de lerende

Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.

Kwaliteit OER

•Formaat•Localisatie•Vindbaarheid: metadata, tagging•Technologische barrières•Interoperabiliteit•Toegankelijkheid•Digitale duurzaamheid

Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.

Kwaliteit: criteria

•Expliciet•Impliciet•Karakteristiek

Sanz-Rodriguez, J. Dodero, J.M., Sanchez-Alonso, S. (2010). Ranking Learning Objects through Integration of Different Quality Indicators. IEEE Transactions on Learning Technologies, Vol. 3 (4). 358-363

Vraagstukken

Vinden

Bepalen kwaliteit

Metadata

Expliciet

Impliciet

Karakteristiek

Context

Impliciet en karakteristiek

•Gebruikerswaardering•Keurmerken•Reviews•Aantal downloads•Context van gebruik

Vertrouwen

Community

Herbruikbaarheid in andere contexten

•Mate van context-specificiteit (bijvoorbeeld in de gebruikte voorbeelden)

•Gebruikte didactiek•Optisch en cognitief ontwerp•Historische en politieke perspectieven en religie

Richter, T. & McPherson M. (2012). Open Educational Resources: Education for the World? Distance Education, 33(2), pp. 201-219.

Kwaliteitsmodel

•Middel voor vaststellen kwaliteit leermateriaal•Elementen:-Criteria-Normering

Criteria voor deze studie

•Genoemd in meerderheid van de bekeken literatuur •Survey Herkenbaar en zo eenvoudig mogelijk zijn. •In minimum kwaliteitsmodel van Wikiwijs

Intermezzo: minimum kwaliteitsmodel

•Doel: snelle beoordeling mogelijk•Twee categorieën: Must-have en Nice-to-have•Operationalisatie

•Criteria niet contextgebonden•Criteria waar meeste problemen over gemeld worden

Minimum kwaliteitsmodel: Must-have

Minimum kwaliteitsmodel: Nice-to-have

Kwaliteitsmodel voor deze studie

•Vakinhoudelijke kwaliteit•Didactische kwaliteit•De inhoud is niet gedateerd•Aanwezigheid van bronvermeldingen in het leermateriaal

•De voertaal van het leermateriaal•Het materiaal bevat geen taalfouten•Mate waarin het leermateriaal geschikt is voor gebruikers met een handicap

Leermateriaal

•Look & feel (inclusief navigatie)•Interactiviteit•Eenvoudige vindbaarheid van het leermateriaal•De technologische eisen, die voor gebruik van het leermateriaal nodig zijn, zijn duidelijk

•Het leermateriaal kan in meerdere omgevingen en op meerdere dragers worden gebruikt•Waarschijnlijkheid dat toegang tot het leermateriaal voor langere tijd behouden blijft•Het materiaal bevat geen dode links

Digitaal leermateriaal

•Kwaliteit van de beschrijvende gegevens•Gepubliceerd onder een open licentie die aanpasbaarheid toestaat•Materiaal is voorzien van gebruikersbeoordelingen

OER

SURVEY EN RESULTATEN

CC-BY Hester Jelgerhuis

Survey

•Voorjaar 2013•Doel: inzicht krijgen in stand van zaken kwaliteit OER in hoger onderwijs in Nederland

•Online afgenomen•Werving via SURFspace, SIG OER, sociale media

Response

•70 responses

 Docentervaring (jaar) 

 

Instelling Geen< 5 jaar

5 - < 10 jaar

10 - < 15 jaar

15 - < 20 jaar

>= 20 jaar

Nietaang.

HBO 6 4 5 1 7 4 1

Universiteit 1     2 1 7  

Anders         1    Niet aangegeven             30

Frequentie van zoeken

27%

33%

33%

7%

Wekelijks

Maandelijks

Eén of enkele malen per jaar

Gemiddeld minder dan 1x per jaar

Nooit

Wijze van zoeken

N=58

0102030405060

Belang van metadata

N=55

Omschrijving Sleutelwoorden Vakgebied Titel Soort leermate-riaal (video,

audio,...)

Open j/n Vereiste voorkennis

Uitgever0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50 4.22 4.20

3.85 3.76 3.64 3.56

2.962.78

Vertrouwen: 3 meest waardevolle

N=55

0

10

20

30

40

Type leermateriaal

N=54

0

10

20

30

40

Belang kwaliteitscriteria

N=47

Vakinhoudelijke kwaliteit

Bronvermeldingen aanwezig

Open licentie

Geen taalfouten

Didactische kwaliteit

De technologische eisen

Niet gedateerd

Multi-platform use

Geschikt voor gebruikers met een handicap0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.004.52

3.94 3.88 3.87 3.87 3.79 3.79 3.74 3.733.57 3.54 3.54 3.40 3.28 3.15 3.02

2.67

Ervaren problemen

N=37

Gebru

ikers

beoordelin

gen

Gesc

hikt v

oor gebru

ikers

met e

en handica

p

Bronve

rmeld

ingen a

anwezig

Inte

ract

ivite

it

Toegang voor l

angere tij

d behouden

Open lic

entie

Didact

ische k

waliteit

Kwaliteit m

etadata

Eenvoudig

e vin

dbaarheid

Geen d

ode links

Multi-

use

Geen ta

alfoute

n

Niet g

edateerd

De tech

nologisc

he eise

n

Look & fe

el

Vakinhoudelijk

e kwalite

it

Bekende v

oertaal

0.000.501.001.502.002.503.003.504.00

2.27 2.422.63 2.68 2.74 2.74 2.89 2.89 2.95 2.95 2.97 3.05 3.11 3.13 3.21 3.26

3.76

Belang vs problemen

!

!

!!

!!

!

!

!

!

!

!

Conclusies

• Kwaliteitscriteria in 3 categorieën

• Zichtbaarheid kwaliteit open leermateriaal- Adequate beschrijving- Beschrijving van de context van gebruik Communities

• Waardering- Communities- Indirect: naam en faam van instelling- Instellingen van naam en faam waarderen materiaal (keurmerk)- Groot ervaren probleem: afwezigheid van gebruikersoordelen

• Belangrijkste problemen: Open licentie en aanwezigheid bronvermelding

• Inhoudelijke kwaliteit: belangrijkste en weinig problemen

Dank u voor uw aandacht

?

?

?

??

?

?

?

?

?

??

?

W

Robert Schuwer

robert.schuwer@ou.nl

https://twitter.com/fagottissimo

Bassoonvenlo

http://nl.linkedin.com/in/robertschuwer/

robertschuwer.nl

Robert Schuwer

06 1446 9300

beschikbaar onder de licentie Creative Commons Naamsvermelding

3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl