Student Performance 2.0Onderwijsdagen 2014

Bas van Atteveldt

Big Data en Web 2.0 in het onderwijs• Doel: verbeteren ‘performance’ van studenten• Over de hele breedte• Uitvallers en Excellenten

• Middel: benutten bestaande data• Onderwijsdata (bijv. roosters, cijfers)• Gebruik/gedrag (bijv. DLWO, intranet, ELO, absentie, Apps)

• Aanpak• Data Inzicht Sturing Toetsing Verbetering• A/B tests

Even wat voorbeeldjes

Bestaande data

• Studentadministratie• Studentgegevens• Cijfers en

studievoortgang• Rooster en curriculum

• Onderwijs• Gebruiksgegevens

digitale leermiddelen• Studiemateriaal en

ingeleverd werk• Presentie

Studentgegevens

Cijfers en studievoortgang

Rooster en curriculum

Gebruiksgegevens digitale leermiddelen

Studiemateriaal en ingeleverd werk

Presentie

Inzicht

• Student• Inzet (gedrag)• Resultaat

• Studiedeel (vak)• Cohort• Curriculum• Struikelvakken• Verbanden

Sturing

Toetsing

Verbetering

Inzicht

Praktijkvoorbeeld: curriculum

• Inzicht• Vak B (blok 3) is een belangrijk ‘struikelblok’• Er blijkt een verband met vak A (blok 1)

• Student die moeite heeft met A heeft ook moeite met B• Vakken zijn niet direct gerelateerd

• Vak A is minder een struikelblok

• Sturingsopties• Kan vak B naar blok 2 of zelfs blok 1? Helpt dat?• Als een student moeite heeft met vak A, kunnen we dan

proactief helpen met vak B• Door student en/of docent hier op te wijzen?• Door in blok 2 een stukje extra stof aan te bieden?

Sturing

• Studenten• Feedback geven• Serious games

• Docenten• Signaleren studenten met latente hulpvraag• Inzicht bieden in studeerbaarheid

• Mentoren of studieloopbaanbegeleiders (SLB)• Signaleren potentiele uitval en onderpresterende

studenten• Testen welke aanpak goed werkt (en bij wie)

• Opleiding• Inzicht bieden in studeerbaarheid

Toetsing

Verbetering

Inzicht

Sturing

Intermezzo: Belang van snelle terugkoppeling• Sturing• Signaleren/aansturen van (bijv.)

studieloopbaanbegeleiders (SLB) of mentoren• Aanpassen/verbeteren bestaande processen

• Snelle terugkoppeling (early indicators)• Maakt eerder sturen mogelijk

• Vergroot de kans op succes• Kan vaak minder ingrijpend

• bijv. helpen in plaats van bindend studieadvies

• Meer cycli mogelijk

Praktijkvoorbeeld: A/B test

• Bij twee lesgroepen van hetzelfde vak hebben we ander beleid toegepast:• A: zoals normaal• B: docent benut informatie over gebruik DLWO

• Inloggen, downloads• Geintegreerd in les

• Resultaten B (t.o.v. A)• Meer voldoendes en hogere cijfers• Studenten ervaren B als prettiger

Toetsing

• Inzicht en sturing• Verwachte uitkomst?• Zien we dat ook?

• Borgen• Embedden ‘good practices’ in dagelijkse praktijk

• Nieuwe inzichten• Doorvertaling naar lange termijn resultaten• Bewaken dat dit ook gebeurd

Verbetering

Inzicht

Sturing

Toetsing

Intermezzo: Verbanden zijn geen oorzaken• Belangrijke valkuil bij sturen

• Ik wil minder regen• Als er in de bus naar de campus veel paraplu’s zijn, het vaak ook

regent• Dus als ik paraplu’s in de bus verbied, moet het wel minder

regenen

• Verband (correlatie) is geen oorzaak (causatie)• Makkelijke valkuil bij het bedenken van sturing

• Actiever gebruik leermiddelen is gecorreleerd met betere resultaten• Dus: actief gebruik stimuleren?• Of verbied ik dan paraplu’s in de bus?

• Nog gevaarlijker bij toetsing!

Stuur op gedrag; toets op resultaat

Verbetering

• ‘Closing the loop’• Kleine aanpassingen• Nieuwe inzichten• Maatschappelijke veranderingen• Stilstand is achteruitgang

Inzicht

Sturing

Toetsing

Verbetering

TotaaloverzichtStudentgegevens

Cijfers en studievoortgang

Rooster en curriculum

Gebruiksgegevens digitale leermiddelen

Studiemateriaal en ingeleverd werk

Presentie

Inzicht

Sturing

Toetsing

Verbetering

Vragen?