Masterclass Dé Onderwijsdagen 2015

Verbeter het onderwijs met Learning Analytics

Hendrik Drachsler, Alan Berg, Justian Knobbout, Maartje van den Boogaard, Hanneke Duisterwinkel, Gabor Kismihok, Jocelyn Manderveld

Programma

• Inleiding

• Learning analytics en inspirerende voorbeelden

• Cursus design & learning analytics

• 14.15 – 14.20 PAUZE

• Aan de slag!

• Voorwaarden voor het plegen van interventies

• Voorbeelden van tools

• Afronding en vooruitblik: Hoe nu verder?

Onderwijs op maat 2015-2018“Met Onderwijs op Maat draagt SURFnet bij aan de ambitie van instellingen voor hoger onderwijs om gepersonaliseerd en flexibel onderwijs aan te bieden dat zo goed mogelijk aansluit bij de leerbehoeften van de individuele student.”

Onderwijs op maat: 6 projecten, 3 pijlers

Community management

Open en online onderwijs

Toetsing en toetsgestuurd leren

Flexibele en persoonlijke digitale leeromgeving

Learning analytics

Proeftuin voor innovatieve ICT-toepassingen

KE

NN

IS

EX

PE

RIM

EN

TEN

DIE

NS

TEN

Learning analytics

Learning analytics is het verzamelen, analyseren en rapporteren van data van studenten en hun omgeving om zo het onderwijs en de omgeving waarin dit onderwijs plaatsvindt te begrijpen en verbeteren.

http://www.laceproject.eu/faqs/learning-analytics/

Learning analytics in het kort

Greller, W., & Drachsler, H. (2012). Turning Learning into Numbers. Journal of Educational Technology & Society. http://ifets.info/journals/15_3/4.pdf

Learning analytics in het kort

Greller, W., & Drachsler, H. (2012). Turning Learning into Numbers. Journal of Educational Technology & Society. http://ifets.info/journals/15_3/4.pdf

Management:Zij kunnen op basis van de gegevens beslissingen nemen over positionering van een opleiding.

Docenten: Op basis van de gegevens educatieve interventies plegen

Studenten: Reflecteren op hun resultaten

Learning analytics cyclus

Learning analytics & didactiek?

Greller, W., & Drachsler, H. (2012). Turning Learning into Numbers. Journal of Educational Technology & Society. http://ifets.info/journals/15_3/4.pdf

Learning analytics & didactiek?

•Op welke typen onderwijskundige vragen geven learning analytics een antwoord?

•Welke vragen zijn dat dan? En wanneer zet je deze dan in?

Voorbeeld - OAAI

Voorbeeld – Course Signals

Voorbeeld - RioPACE

Voorbeeld – UNE Business School

Cursus design & learning analytics

Verschillende niveaus van learning analytics

Niveau StakeholderMicro Leerling Leerproces – informatie t.b.v. interventie

Leerproces – meta-cognitieve informatieMeso Docent/Klas Leerproces – informatie op niveau van

leerling: hoe doet deze leerling het, wat heeft deze leerling nodig?Klassenmanagement – informatie over hele groep: hoe doet de groep het en wat heeft de groep nodig?Onderwijsontwerp proces – wat werkt in de leeromgeving en wat behoeft verbetering?

Macro Klas/instelling Academic analytics – valt buiten de scope

Cursus design

Curricular SpiderwebVan den Akker

http://international.slo.nl/intcoop/

Enkele wijzigingen

1. Toevoeging van leerfuncties: Leerproces van de student.-Oriënteren-Verwerken-Reguleren

2. Categoriseren en in componenten in volgorde geplaatst.

Leidt tot….

Aangepast model

Van design naar learning analytics

• Oriëntatie: Leerdoelen en assessment

• Leeractiviteiten

• Groep

• Assessment (formatief and summatief)

• Leermateriaal & bronnen

• Cursus vragen / student kenmerken

Didactische vragen Oriëntatie: Leerdoelen en assessment Heeft de student de leerdoelen gelezen?

Heeft student de informatie over het assessment gelezen ?

Kijkt de student gedurende de periode van de cursus terug naar leer- en assessment doelen?

Leeractiviteit (evt onderscheid oriënterend / verwerkend) Heeft de student de instructie voor de leeractiviteit gelezen? Als studenten samen aan een groepsopdracht werken: Wie heeft welk aandeel gehad in de opdracht?Heeft de student de opdracht(en) ingeleverd en wanneer? Wanneer en hoe vaak neemt student contact op met docent/begeleiding voor vragen? Wanneer of hoe vaak neemt studenten contact op met mede-studenten voor hulpvragen?Welke leerpaden volgen de studenten door de leeractiviteiten? En zijn bepaalde leerpaden effectiever dan andere?Wanneer doet de student de leeractiviteiten? Hoeveel tijd besteden studenten aan een leeractiviteit? Is dat volgens de planning van de docent? Volgt de student de eigen voortgang?

GroepWat is de bijdrage van de student aan een discussieforum? (Started thread, replies, text size of reply, key concept usage, divergence and converge of discussions, Social network structure of discussion)

Hoe vaak heeft de student gereageerd op discussies in een forum / social space?

Wat zijn de belangrijkste onderwerpen waar studenten over discussiëren?

Toetsen Hoe ver is de student in het bereiken van de leerdoelen?

Hoe vaak doet de student een formatief assessment?

Kijkt de student op basis van score formatieve toets terug naar leerdoelen en leeractiviteiten?

Ondersteunen formatieve assessments het slagen voor de summatieve assesment?

Zijn cursusen met veel kleine summatieve assessments beter voor de studie prestatie dan één groot summatief assessment aan het eind?

Hoeveel poginingen heeft een student nodig om een assessment af te maken?

Didactische vragen Materialen en resourcesHoe lang heeft de student het materiaal bekeken/gelezen?

Heeft de student het materiaal gedownload?

Welk materiaal wordt extra vaak bekeken, of wordt het meest gebruikt?

Welk materiaal gebruikt de student uit eigen beweging (extra bronnen)?

Heeft de student de video bekeken (Hoe vaak, wanneer voor en terug gegaan?)

Wat markeert de student in de tekst, welke aantekeningen worden gemaakt?

Overkoepelende vragen / studentkenmerken /cursusHoe succesvol was de student voordat die aan de cursus begon?

Welke voorkennis heeft de student?

Heeft / hebben ze de juiste voorkennis?

Wat is de achtergrond (motivatie) van de student? (vooropleiding, andere opleidingen?)

Heeft de student het beoogde leerpad gevolgd of heeft hij zijn eigen traject gemaakt?

Is er een relatie tussen de score van de summatieve toets en het studiegedrag (doet alle activiteiten, leest alle materialen, is op tijd met inleveren etc) van de student?

Is er een relatie tussen het gebruik van de leermaterialen en -activiteiten en de score van de formatieve toetsen?

Heeft de toetsmethode bijgedragen aan de leerdoelen?

Extra vragen

Extra vragen

Aan de slag

Drie likesEén dislike

Voorwaarden voor interventies

Eigenschappen interventies - Tijdig

Eigenschappen interventies - Persoonlijk

Eigenschappen interventies - Doel

Aandachtspunten interventies

Voorbeelden van tools

Setting the stage

•Learning analytics is an fast, upcoming field

•Set of tools depends on the context- class/students- teachers- pedagogy- organisation- Etc

•Mix of bottom up and top down approaches

Basis infrastructuur

Uitgebreide infrastructuur

Student Success Plan

software application and process for student success, designed to increase the persistence, success, and graduation rates of targeted students. Through holistic counseling, web-based support systems, and intervention techniques, students are identified, supported and monitored. Data is collected and analyzed to make decisions about future efforts to promote student success.

SSP is plugged into the predictive models of OAAI to warn student advisors

Is a portlet within uPortal

http://www.studentsuccessplan.org

Open dashboard

• LTI enabled• xAPI enabled• Dashboards• Cards • JavaScript calls to

webservices• Providers

- DB- xAPI

Universiteiten werken samen: Visualisatie

• LTI enabled allows reuse (BlackBoard, Sakai, Moodle, uPortal, Canvas, etc)

• xAPI enabled as common infrastructure• Dashboards• Cards as container enabling collaboration• JavaScript calls to webservices (JAVA) - Well known Java

frameworks• Providers

- DB- xAPI- More

• Multi-tenanted - common hosting• Runs at scale: More organizations are using - Shared risks,

increasing feature set, accelerated roadmap, open license, open community

Hoe kan ik helpen?

Looking for suggested tools to advertised with a neutral and detailed benchmark.• Suggest elements to the benchmark.• Suggested tools.

Here is the link to a Google form which enables your feedback and if requested further contact.

http://goo.gl/forms/3bWdvkg1eA

Code Jam bouw onderwijsdashboards8-9 dec 2015

SURFacademy, ondersteund door de Universiteit van Amsterdam, het Europese LACE-project en de Apereo Foundation, organiseert op dinsdag 8 en woensdag 9 december 2015 een tweedaagse code jam voor de ontwikkeling van een hoogwaardig learning analytics dashboard.

https://www.surf.nl/agenda

Vooruitblik

W

Jocelyn.manderveld@surfnet.nl

@jocelynmary

www.linkedin.com/in/jocelynmanderveld

www.surfnet.nl

Creative Commons “Attribution” license: http://creativecommons.org/licenses/by/3.0/