Onderzoek Learning analytics:

leerstrategieën in een onderwijsleerprogramma

Esther OprinsGerard VeldhuisRianne Kaptein Egon v.d. Broek

Roelie KruisRob SudmeijerDana Bezuijen

Min OCW

Agenda

1. Focus • Aanleiding doel• Leeromgeving Schooltas• Learning analytics

2. Onderzoek• Aanpak • Resultaten

3. Conclusies en uitdagingen

Aanleiding en doel

1. Effectiviteit en efficiency van traditionele leermiddelen (folio) worden geacht te zijn aangetoond. Digitale leermiddelen worden in toenemende mate vervangend t.o.v. folio.

Nagaan hoe effectiviteit en efficiency van een digitaal leermiddel (in dit geval Schooltas) zich verhouden tot bestaande leerprocessen die m.b.v. folio worden ingericht.

2. Leerstrategieën en leerstijlen hebben invloed op effectiviteit en efficiency van het leerproces.

Nagaan of analyses van gelogde data in staat zijn om strategieën van individuele leerlingen te herkennen, te koppelen aan hun leerstijl om vervolgens aanbevelingen te (laten) doen voor vervolgstappen in het leerproces: adaptiviteit, gepersonaliseerd leren.

De leeromgeving Schooltas

Learning analytics

Learning analytics is the measurement, collection, analysis and reporting

of data about learners and their contexts, for purposes of understanding

and optimizing learning and the environments in which it occurs (LAK

2011)

Ofwel…

Het verzamelen, verwerken en presenteren van (geanalyseerde)

data over de lerende en de leercontext om het leerproces te

ondersteunen.

Voorbeeld: SNAPP

Focus

Vanuit de techniek en data: welke patronen zijn er te vinden?

• Educational data mining: meer gericht op hypotheses genereren

• Generieke uitkomsten

Vanuit de lerende en voorkeur herkennen van patronen in de data?

• Learning analytics: meer gericht op hypothese toetsen

• Individu versterken

Elementen van learning analytics

Elementen van learning analytics

Voormeting NametingAlgemene (persoons)kenmerken (controlevariabelen)Vragenlijst persoonskenmerken: Leeftijd GeslachtVragenlijst motivatie (IMI): Intrinsieke motivatie Self-efficacyExtra gegevens (indeling in groepen): Vak: aardrijkskunde of Frans Klas: 1e of 2e klas Richting: VMBO-KTG, MAVO-HAVO, of HAVO-VWO School (8 verschillende scholen)LeerkenmerkenLeerstijlentest (De Koning, vgl. Kolb) Dromer Denker Beslisser Doener

Vragenlijst leerstrategieën MSLQ Herhalen Metacognitieve zelfregulatie Tijd Samenwerkend leren Hulp zoeken

  Vragenlijst Schooltas-specifiek: Volgorde van leren Prikkers / aantekeningen Mediagebruik

  Learning analytics Op basis van vastgestelde

featuresLeeruitkomst (prestaties)Schoolcijfers: Krokusvakantie: cijfer voor vak Meivakantie: cijfer voor vak

Methodetoetsen (in 2 condities) Cijfer toets (1x of 2x)

Self-assessment: Eigen totaaloordeel (1 – 10)

Self-assessment: Eigen totaaloordeel (1 – 10)

Deelnemers (verdeeld over 6 scholen)

Vak Leerjaar Niveau Experimentele groep

Controle-groep

Aardijkskunde1

VMBO-KGT 1 klas 3 klassen

VMBO-T-HAVO 2 klassen 1 klas

HAVO-VWO 6 klassen 1 klas

2 VMBO-KGT 1 klas 1 klas

Frans 1 VMBO-T-HAVO 2 klassen (geen)

Per schooltype: dezelfde vakinhoud, dezelfde methodetoetsen

Aantal leerlingen (in dataset), 1e en 2e leerjaar

 

Conditie

Totalcontrolegroepexperimentele

groepSchooltype Vmbo-kgt 78 94 172

Vmbo-t-havo 22 46 68

Havo/vwo 25 149 174

Total 121 266 387

Resultaten

Leerstrategieën

OV1. Welke leerstrategieën kunnen worden onderscheiden en herkend bij zowel de controle als de experimentele groep?

Data:1) Logdata (alleen experimentele groep)2) Vragenlijst leerstrategieën (MSLQ)3) Vragenlijst leerstrategieën gerelateerd aan Schooltas

Analyses:4) Verschillen tussen scholen/schooltypen/vakken5) Relaties leerstrategieën vs. logdata

Logdata (learning analytics)

Stappen:

Selectie van mogelijk relevante logdata (bv activiteit, tijd, volgorde) op

basis van onderwijskundige theorie t.a.v. leerstrategieën

Berekenen van relevante (composiet) variabelen

Uitdraaien van overzichten (verschillen per school/klas, ranges etc)

Analyses met combinaties van relevante (composiet) variabelen en

de vragenlijst data: zoeken naar patronen en betekenisvolle relaties

Naar voorspellingen op basis van patronen in de dataset

Totaal logdata

Periode: 48 dagen met activiteit

Totaal aantal schooltas pagina’s bekeken: 448,970

Totaal aantal edits: 800,640

Gemiddeld aantal secondes per pagina: 130 s

Gemiddelde lengte van een content item: 28 karakters

Gemiddeld aantal switches tussen boeken op een dag: 3,1

Alleen aardrijkskunde (alles sign verschillend ANOVA)

Verschillen per schooltype in logdata (geclusterd)

Verschillen schooltype in leerstrategieën (1)

Alles sign verschillend tussen schooltype (ANOVA) behalve voor afgeleid.

Correlaties (multiple canonical):logdata Schooltas – leerstrategieën

Voorbeelden samenhang logdata (scatterplots)

Conclusies leerstrategieën

De hoeveelheid activiteit in Schooltas op basis van logdata verschilt per

(type) school: dit is relatief meer bij havo-vwo dan vmbo.

Dit zien we terug voor het gebruik van leerstrategieën in data vragenlijst:

havo-vwo hanteert meer leerstrategieën dan vmbo.

Hoeveelheid activiteit en extra informatie hangt (zoals verwacht) samen

met leerstrategieën. Dit geldt niet voor bestede tijd.

De samenhang tussen logdata en vragenlijst data en logica in gevonden

resultaten suggereert dat deze logdata over het algemeen betekenisvol zijn

voor het in kaart brengen van leerstrategieën..

Leerstijlen

OV2. Welke leerstijlen van individuele leerlingen leiden tot de leerstrategieën zoals geïdentificeerd in OV1?

Data:1) Vragenlijst leerstijlen (Kolb)

Analyses:2) Verdeling van leerstijlen over schooltype3) Relaties leerstrategieën met leerstijlen (vragenlijst + logdata)

Geen (sign) verschillen (ANOVA)

Verschillen schooltype in leerstijlen

Correlaties (Pearson) leerstijlen – leerstrategieën

Conclusies leerstijlen

In de onderzoeksgroep zitten vooral ‘doeners’, met name op het

vmbo. Dit is conform verwachting.

De leerstijlen hangen niet samen met leerstrategieën (op diverse

manieren gemeten), kennelijk is dit toch iets anders.

De doeners vertonen relatief meer activiteit in Schooltas conform

verwachting maar verder weinig relatie.

Leren door te doen ipv lezen komt niet duidelijk terug bij de doeners

bij detail analyse over volgorde van leren. Dit komt wellicht ook omdat

volgorde niet goed kon worden achterhaald op basis van logdata.

Effectiviteit

OV3. Zijn er leerstrategieën te onderscheiden die effectiever (betere leerprestaties) en/of motiverender blijken te zijn dan andere bij gebruik van Schooltas en bij de controle conditie?

Data:1) Cijfers (gemiddelde rapportcijfer + methodetoets)2) Leerstrategieën (vragenlijsten + logdata)3) Self-efficacy + motivatie (vragenlijst)

Analyses:4) Relaties leerstrategieën (vragenlijsten + logdata) met cijfers5) Verschillen experimentele en controlegroep op cijfers en leer

strategieën (vragenlijsten + logdata)6) Relaties self-efficacy + motivatie: controlevariabelen

Effectiviteit (rapportcijfer): hiërarchische (lineair) multiple regressie

Correlaties (Pearson): cijfers – logdata, cijfers – self-efficacy & motivatie

rapportcijfer toetscijfer

Pearson Correlation

,621** ,404**

Sig. (2-tailed) ,000 ,000

N 369 366

Pearson Correlation

,240** ,135**

Sig. (2-tailed) ,000 ,010

N 369 366

*. Correlation is significant at the 0.05 level (2-tailed).

Self-efficacy

Motivatie

**. Correlation is significant at the 0.01 level (2-tailed).

Overall conclusies & vervolgonderzoek

Overall conclusies

Learning analytics: de gelogde data zijn betekenisvol want hangen

samen met leerstrategieën. Echter niet alles kon (nu nog) goed

worden berekend bv. volgorde in leren.

Leerstrategieën: de manier waarop leerlingen leren, al dan niet met

een digitaal leermiddel, is sterk afhankelijk van schooltype (hoe hoger,

hoe meer leerstrategieën) en van de didactiek (docentgedrag)

Leerstijlen: er is weinig relatie gevonden met leerstijlen. Er zitten

relatief veel ‘doeners’ op het vmbo, zij vertonen meeste (leer)activiteit.

Effectiviteit: leren wordt niet per definitie effectiever bij gebruik van

het digitaal leermiddel, mede omdat het gebruik hiervan sterk afhangt

van het leerproces (leerstrategieën) en de didactiek (docenten).

Beperkingen van het onderzoek

Logdata: het onderzoek heeft gebruik gemaakt van bestaande

logdata waardoor niet alle relevante info kon worden gemeten

Effectiviteit: het is in de praktijk lastig gebleken om op een goede

manier leerlingprestaties te meten: dezelfde inhoud, cijfers. Dit

onderzoek was vooral gericht op het leerproces ipv leeruitkomst.

Efficiency: de efficiency in termen van ‘tijd’ (even veel leren in kortere

tijd mbt een digitaal leermiddel) is in dit onderzoek niet gemeten.

Didactiek / rol docent: er is beperkt (kwalitatief) onderzoek gedaan

naar de invloed van didactiek of rol van de docent.

Leermiddelen: slechts 1 specifiek leermiddel is gebruikt; conclusies

kunnen niet gegeneraliseerd worden naar digitaal leren algemeen.

Vervolgonderzoek / uitdagingen

Learning analytics: in meer detail moet worden onderzocht welke

data voldoende betekenisvol zijn om systematisch te loggen, niet

alleen in Schooltas maar ook in andere digitale leermiddelen, op basis

van onderwijskundige theorieën over leerprocessen.

Hoe omgaan met omvang? Bouw database leermiddel?

Didactiek / rol docent: meer systematisch (kwantitatief) moet

worden onderzocht welke didactiek het meest effectief is bij digitale

leermiddelen en wat dit betekent voor de (andere) rol van de docent.

Effectiviteit/efficiency: de effecten zouden in combinatie met tijd

moeten worden onderzocht, met betrouwbare prestatiemetingen.

Vervolgvragen: welke aanpak draagt bij aan effectiviteit

Leermiddelen: het onderzoek zou moeten worden verbreed naar

ander type leermiddelen (bv. meer adaptief/maatwerk).

Think big, start small

Learning analytics

Grootste waarde zit niet een efficienter van onderwijs-van-nu…

…maar in de disucssies over hoe we onderwijs in willen richten:

-Persoonlijk

-Zelfsturend

-Nieuwe vaardigheden (21st C)

Learning Analytics stelt ons in staat om deze mogelijkheden te

onderzoeken en te ondersteunen ook i.v.m. folio.

Dit vraagt om de samenwerking:

-Tussen verschillende disciplines

-Verschillende stakeholders Onderwijsketenpartners

Dank voor uw aandacht

Gerard.veldhuis@tno.nl