Good Practices

Aspecten van Learning Analytics bij een digitale leeromgeving

André Heck

Universiteit van Amsterdam

SURF-project COACH

1. Context

2. Vormgeving van ICT Wiskunde

3. Learning Analytics

4. Resultaten

5. SIGs Digitaal Toetsen en Learning Analytics

• Matige basisvaardigheden wiskunde bij studenten die in hoger onderwijs starten

• Beperkte tijd beschikbaar om wiskunde kennis en vaardigheden van instromers op te frissen, omhoog te krijgen en te houden

• Grote aantallen studenten: 350 1stejaars Psychobiologie,250 1stejaars Bio-medische wetenschappen & Biologie

1. Context

• Heterogene instroom: N&G/N&T profiel, Wiskunde A/B• Wens bij levenswetenschappen UvA: Wiskunde leren in context• Beperkte contacttijd: Zelfstudie met feedback via de digitale leeromgeving • Wiskunde verplicht onderdeel van 1stejaars vak: score ³ 8 op elke digitale toets is een voorwaarde tot slagen; ook wiskundevragen op het tentamen

Cohort bij COACH experiment• 308 studenten psychobiologie 2013-2014• 253 studenten biologie & bio-medische wetenschappen 2014-2015• Gegevens van studenten zijn verzameld bij binnenkomst via digitale, thuis in te vullen enquete: leeftijd, geslacht, wiskundige vooropleiding, profielkeuze, eindcijfer vwo-wiskunde, mate van wiskunde- en toetsangst, etc.• Diagnostische toets algebraïsche vaardigheden op vwo-A niveau

  Psycho-biologie 2013-2014

Biomedische wetenschap 2014-2015

Biologie2014-2015

aantal studenten

308 186 67

geslacht man / vrouw

86 / 222 72 / 113 41 / 26

vwo-wiskunde A / B

101 / 189 49 / 119 26 / 38

profiel NG / NT 184 / 103 110 / 63 41 / 23

gem. cijfer vwo-wisk. (SD)

6.8 (1.0) 6.7 (1.0) 6.6 (0.7)

gem. cijfer en-treetoets (SD)

6.6 (1.8) 7.0 (1.6) 6.8 (1.7)

2. Vormgeving van ICT Wiskunde

• College+(optioneel) werkcollege/vragenuur + digitale oefening en zelfstudie

• Digitale contextrijke lesmodules met theorie, gerandomiseerde voorbeelden en oefeningen

• Mengsel van gerandomiseerde context-sommen en kale wiskundesommen

• ±25 korte digitale formatieve toetsen(MAAR vereiste score ³ 8 voor elke toets)

• Digitale feedback voor student en docent• Forum + email-ondersteuning door docent

Feedback voor student en docent• Gerandomiseerde uitgewerkte voorbeelden• Formatieve en adaptieve feedback op

antwoorden in oefeningen• Eindeloze kans op verbetering bij toetsen

(MAAR vereiste score ³ 8.0 voor elke toets)• Summatieve feedback via score overzicht• Vorderingen bij te houden op allerlei niveaus• Student dashboard

(learning analytics experiment COACH)

Implementatie

• via SOWISO omgeving voor het leren, oefenen en toetsen van wiskundewww.sowiso.nl

• (desgewenst) toegankelijk via eigen cursus website

• SURF conext login met uvanet-id met automatische toewijzing aan cursus waarvoor met is ingeschreven

Enkele screen shots volgen

Oefening met feedback op maat

Computeralgebra systeem (Macsyma) is noodzakelijk

Invoer en weergave van wiskundige formules moet flexibel zijn en standaarden volgen

Een gerandomiseerd uitgewerkt antwoord

Herhaling van uitwerkingen in theorieblok

Hints en stapsgewijs oefenen

Computerscherm als werkblad

Vraag en antwoord op het forum

Verschillende voortgangsrapportages voor student en docent

3. Learning Analytics“Verzamelen, analyseren en rapporteren van data over studenten en hun omgeving ten behoeve van het begrijpen en verbeteren van het onderwijs en de omgeving waarin dit onder- wijs plaatsvindt” (SoLAR)

Duur van LA cyclus varieert van• 1 cyclus per cursus (vakevaluatie)

• Vele korte cycli (instant feedback)

Één cyclus: Registratie, verwerking en analyse (achteraf) van gebruikersdata

• Studentgegevens: profielkeuze (NG/NT); wiskunde-achtergrond (vwo A/B); eindexamencijfer(s) voor vwo wiskunde; resultaat van diagnostische entreetoets; deeltentamencijfer(s) en eindcijfer 1stejaarsvak; testresultaat m.b.t. wiskundeangst; testresultaat m.b.t. toetsangst

• Activiteitgegevens: (deel)scores; antwoorden; fouten; pogingen; tijdsduur

• Analyse van effecten van indicatoren op studiegedrag en studieresultaten

• Analyse van moeilijkheden in onderdelen

Kanttekeningen

• Dataverwerking tijdrovend • Analyses pas achteraf

Resultaten pas nuttig voor • cursus volgend studiejaar• bijspijkeren na de cursus • hergebruik verbeterde leerbronnen, c.q.

items uit vragenbank

Vele cycli: actuele inzichten in studiegedrag en studievoortgang

COACH project (juni 2013-2014) Sander Latour, Natasa Brouwer, Alan Berg, Chiel Kooijman, Steven Laan, Auke Wiggers SOWISO, Perceptum

• Uitgangsituatie: – studenten gebruiken verschillende online leeromgevingen– goede studenten starten tijdig met leren, anderen stellen uit

• Doel: Ontwerp en implementatie van – learning record store (opslag van studie data uit diverse bronnen)

– overkoepelend student dashboard (representatie van nuttige samengestelde data

Constructive Overview Aggregating Comparative Hits

Opzet experiment COACH• Student centraal

Onderzoeksvraag: Helpt het overkoepelend dashboard COACH de student een meer actieve studiehouding te ontwikkelen en leidt het gebruik tot een groter studiesucces?

• Stappen experiment– verzamelen data - drie leeromgevingen– opslaan data - Learning Record Store– visualiseren data - Student dashboard

• Experimentele groep / Controle groep – Random verdeling in twee groepen– Groep A ziet dashboard, groep B ziet geen dashboard

site met opgaven

Data flow tijdens experiment

COACHConstructive Overview Aggregating Comparative Hits

SOWISO

Khan Academie

LRS

Aggregatie

Patronen

Groep B “zonder”

Groep A “met”

COACH is:● een student dashboard dat● Data uit bronnen samenvoegt● TinCan / xAPI gebaseerd is● Expermenteel getoets is.

COACH dashboard geeft:● actueel activiteitenoverzicht● positionering t.o.v. anderen● aanbevelingen

● Relatieve voortgang in vergelijking met andere studenten● Gebaseerd op cumulatieve score op korte digitale toetsen● Bedoeld als informatie en niet als oordeel

Dit ben jezelfDit zijn andere studenten

Vergelijking met anderen

Aanbevolen leerbronnen● Suggestie van activiteiten om een bepaalde mijlpaal (toets) te halen● Gebaseerd op wat anderen gedaan hebben om de mijlpaal te halen● Activiteiten worden gewogen op basis van plaats, duur en uitkomst● Activiteiten worden niet aanbevolen als de student ze al gedaan heeft● Duidelijke aanbeveling bovenaan in de lijst; obscuurdere suggesties later

33

COACH Dashboard -videos

COACH Dashboard -toetsen

• Welke toetsen heb ik gedaan?• Wat heb ik daar gescoord?

COACH Dashboard - aanbevelingen

● Toets als context van de aanbeveling

● Gebruik voor de toets wordt geanalyseerd

● Volgorde wordt meegenomen

● Resultaten gesorteerd op bewijs en zekerheid

Analyse cursuscyclus• Participatie• Evaluatie

– Psychobiologie 2013-2014Inleiding Cognitieve Neurowetenschappen

– Biologie, Bio-medische wetenschappen 2014-2015Biochemie, bio-organische chemie en celbiologie

4. Resultaten

Participatie (308 psychobiologiestudenten)

In 4 weken tijd:• 11154 korte toetsen gemaakt

– gemiddeld 36 toetsen per student• 77666 toetsvragen

– gemiddeld 252 toetsvragen per student• 81371 oefeningen gemaakt

– gemiddeld 259 oefeningen per student

Werkverdeling in cursusperiode

Werkverdeling per dag

Werkverdeling per uur

naar evaluatie

Participatie (253 studenten biologie en biomedische wetenschappen)

In 7 weken tijd:• 8941 korte toetsen gemaakt

– gemiddeld 35 toetsen per student• 64066 toetsvragen

– gemiddeld 253 toetsvragen per student• 54609 oefeningen gemaakt

– gemiddeld 216 oefeningen per student• 22639 theorieblokken geopend

– gemiddeld 90 theorieblokken per student

Werkverdeling in cursusperiode

Werkverdeling per weekdag

Werkverdeling per uur

Evaluatie van ICT Wiskunde (beide vakken)

• Wiskunde niet populair, maar goed te doen• Weinig uitstelgedrag (studenten werken hard)

• Voldoende tijd voor het maken van opdrachten• Minder fouten in laboratoriumwerk met

wiskundige berekeningen(denk aan verdunningsreeksen, pH berekening, etc.)

• Studenten hebben behoefte of vinden prettig– Uitgewerkte voorbeelden – Uitleg door docent, tutoren & medestudenten– Contacttijd (voor moeilijkere onderwerpen)

• Digitale omgeving ondersteunt zelfstudie

“Als laatste wilde ik zeggen dat ik manier van toetsen en de feedback die bij de oefenvragen komt, wel erg fijn vond. Zo kon je snel dingen weer op halen en het anderen makkelijker uitleggen!”

• Studenten maken weinig of geen gebruik van kennisclips

Kennelijk volstaan gerandomiseerde uitgewerkte voorbeelden

• Geen verschil in tentamenscores studenten met/zonder dashboard

Ervaringen met COACH dashboard

• Technische hobbels (meer dan voorzien):e-mail accounts, schaalbaarheid LRS, dataverwerking

• Acceptatie van studentenook wat betreft van geven van achtergrondgegevens

• Neutrale respons t.a.v. bedoeling, werking en nut van student dashboard

• Weinig gebruik gemaakt van dashboard (nadelig beinvloed door duur en opzet cursus?)

Vervolgstappen

• Vervolgonderzoek in langere cursussen binnen levenswetenschappen

• Herimplementatie van learning record store

en COACH student dashboard

• Verdergaande digitalisering van wiskunde onderwijs en samenwerking met anderen

Meer info

• COACH: André Heck a.j.p.heck@uva.nl• SOWISO: Marc Habbema, Max Cohen

www.sowiso.nl

Wat doet de SIG Digitaal Toetsen?• Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten volgen en

signaleren. • Kennis delen: bij elkaar brengen van experts, docenten en projectmedewerkers

maar ook uitwisseling van toetsmateriaal en het gebruik van standaarden die dit mogelijk maken stimuleren.

• Kennis verspreiden: de collectieve expertise over didactiek, technologie en organisatie beschikbaar stellen voor belangstellenden.

• Waar vindt u de SIG Digitaal Toetsen?• SURFspace: www.surfspace.nl/toetsen geeft een overzicht van kennisbronnen

en links over digitaal toetsen. Veel bijdragen op deze site zijn afkomstig van leden van de SIG. Op het forum worden discussies over digitaal toetsen gevoerd.

• Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig bijeenkomsten waar experts van de onderwijsinstellingen elkaar ontmoeten en actuele ontwikkelingen met elkaar delen.

SIG Digitaal Toetsen

Wat doet de SIG Learning Analytics?• Kennis delen: het uitwisselen van informatie, nieuws en best practices. • Kennis bundelen: bij elkaar brengen van experts, docenten, studenten

en andere belangstellenden.• Kennis genereren: samen nieuwe inzichten ontwikkelen op

bijeenkomsten en in focusgroepen.

 • Waar vindt u de SIG Learning Analytics?• SURFspace: een online platform met nieuws, blogs en literatuur over

learning analytics: www.surfspace.nl/learninganalytics • Bijeenkomsten: de SIG Learning Analytics organiseert regelmatig

bijeenkomsten, bijvoorbeeld bij SURFacademy, het professionaliseringsprogramma van SURF.

SIG Learning Analytics