Learning analytics kan waardevolle kennis over het onderwijsproces opleveren waarmee het hoger onderwijs verbeterd kan worden. Wel moet met zorgvuldigheid worden gewerkt aan de verdere ontwikkeling van learning analytics. Belangrijke aandachtspunten zijn kwaliteit van data, zorgvuldige interpretatie van data-analyses, expertisebundeling en de juridische en ethische aspecten. Dat zijn de belangrijkste uitkomsten van zeven grassrootsprojecten die het hoger onderwijs met SURF-subsidie uitvoerde.

GRASSROOTPROJECTEN BIEDEN INZICHT IN WENSEN EN GOOD PRACTICES

LEARNING ANALYTICS IN HET HOGER ONDERWIJSMOGELIJKHEDEN EN AANDACHTSPUNTEN

2 Learning analytics in het hoger onderwijs (oktober 2013)

VERKENNING LEARNING ANALYTICS

Het fenomeen learning analytics krijgt internationaal steeds meer belangstelling. Om te ontdekken welke mogelijkheden learning analytics biedt om de kwali-teit van onderwijs te verbeteren, kregen 7 grassroot-projecten in 2012 subsidie van SURF. De opdracht voor deze kleinschalige projecten was: onderzoek welke wensen instellingen hebben op het gebied van learning analytics en lever good practices op van learning analytics in het hoger onderwijs. De projec-ten maken duidelijk hoe learning analytics al ingezet kan worden in het Nederlandse hoger onderwijs en welke aspecten nog aandacht verdienen.

OPZET VAN DE PROJECTEN

Beperkte investering, hoog rendementEr is met veel energie en enthousiasme aan alle projecten gewerkt. De regeling had met beperkte investering een hoog rendement. Vrijwel alle instellingen hebben, naast de ontvan-gen subsidie en matching, veel geïnvesteerd in de projecten. Binnen de projecten hebben verschillende organisatieonder-delen binnen instellingen succesvol samengewerkt zodat de benodigde expertise samenkwam.

Grote diversiteit aan onderwerpenDe projecten hadden verschillende doelen, doelgroepen en manieren van verwerking van de verzamelde gegevens. Ook kenden de projecten een grote diversiteit aan onderwerpen, methoden en vakgebieden. Sommige projecten kozen voor een onderwijskundige benadering, zoals onderzoek naar de ervaring van studenten en docenten met een waarschuwings-systeem in Blackboard en het gebruik van aantekeningen in digitale studieboeken. In andere projecten lag de focus meer op datamining, zoals het project dat met dashboards de pres-taties binnen een opleiding visualiseerde en het project dat inzichtelijk maakte wat de invloed was van verschillende volg-ordes waarin studenten vakken volgen op de studieprestaties.

RESULTATEN EN CONCLUSIES

Kennisbundeling en grotere bekendheidBinnen de innovatieregeling vond waardevolle kennisbundeling plaats tussen verschillende projecten, opleidingen en vakgebieden. Learning analytics heeft een grotere bekendheid gekregen binnen de instellingen. Er zijn 7 verschillende, tastbare voorbeelden van learning analytics ter beschikking gekomen in de vorm van de re-sultaten van de pilotprojecten. Ook is er meer inzicht in wat er (op dit moment) mogelijk is met learning analytics en wat niet.

De belangrijkste thema’s die naar voren komen in de projecten zijn:1. de data: welke data moet je verzamelen en hoe ga je dat

doen?2. de tools: welke tools gebruik je voor dataverzameling en

analyse, ga je data visualiseren?3. de onderwijskundige/pedagogische aspecten: wat werkt,

wanneer en waarom?4. de juridisch-ethische aspecten: wat mag/moet, wanneer

en waarom?

Wat is learning analytics?Onder learning analytics vallen alle analyses en onder-zoeken die zich bezighouden met “het meten, verzame-len, analyseren en rapporteren van data van studenten en hun omgeving met als doel het leren en de leerom-geving te begrijpen en te optimaliseren” (Siemens, 2011). In het onderwijs worden enorme hoeveelheden data gegenereerd die afkomstig zijn van studenten en docenten. De analyse van deze gegevens kan hoge-scholen en universiteiten onder meer inzicht verschaf-fen in: • het studiegedrag van studenten• de kwaliteit van het gebruikte onderwijsmateriaal• het gebruik van de digitale leer- en werkomgeving• de kwaliteit van toetsitems• de studievoortgangMet deze kennis kunnen instellingen interventies plegen om het onderwijs te verbeteren.

Waardevolle informatie over het onderwijsprocesLearning analytics biedt extra informatie die voorheen niet be-schikbaar was voor de student, docent en instelling. Er bestaat binnen het Nederlands hoger onderwijs een groot enthousi-asme voor het onderwerp. Vanuit diverse betrokkenen klinkt de overall-conclusie: learning analytics kan veel waardevolle kennis over het onderwijsproces opleveren waarmee het hoger onderwijs verder verbeterd kan worden. Wel moet er met zorg-vuldigheid worden gewerkt aan de verdere ontwikkeling van alle aspecten die het thema omvat.

Ideale cyclus van learning analyticsOm met learning analytics kennis over het onderwijsproces op te bouwen moet daar idealiter een hele cyclus aan vooraf gaan:1. Bepalen welke data nodig is.2. Data verzamelen en opslaan: dit kan al de eerste interes-

sante signalen geven waar in de volgende fase dieper op kan worden ingezoomd.

3. Data samenvatten en visualiseren: dit kan al meer inzicht in het onderwijsproces opleveren.

4. Complexere statistische analyses uitvoeren en zo patronen blootleggen. Bijvoorbeeld groepen studenten identificeren die van elkaar verschillen in de wijze waarop ze hun cur-riculum doorlopen en bepalen in hoeverre dit een verschil-lende invloed heeft op de studieprestaties.

5. De gevonden informatie toetsen in een meer gecontro-leerde setting of gebruiken om actie te ondernemen in het onderwijs.

student

analyse en visualisatie

datainterventie

3 Learning analytics in het hoger onderwijs (oktober 2013)

Doelen van learning analyticsStudenten kunnen zich met learning analytics bewust worden van hun eigen studiegedrag. Docenten en onderwijsmanagers kunnen meer te weten komen over hoe studenten leren en hun didactische materialen gebruiken. Instellingen kunnen learning analytics inzetten om inzicht te krijgen in wat hun investerin-gen nu eigenlijk hebben opgebracht.

Micro: studenten• zelfreflectie, bewustwording studiegedrag• peervergelijking• personalisering leeromgeving

Meso: docenten en onderwijsmanagers• inzicht in gebruik leeromgeving en cursusmateriaal• inzicht in studievoortgang• verhogen/verbeteren student-docentinteractie

Macro: instellingen• inzicht in studierendement• inzicht in kosten en baten van de digitale leer- en werkomgeving• inzicht voor matching en selectie

Innovatieprogramma Learning AnalyticsDe 7 pilotprojecten binnen de bescheiden innovatiere-geling Learning Analytics 2012 liepen van 1 maart tot 1 oktober 2012. In totaal is 66.270 euro toegekend. Op basis van de uitkomsten is SURF gestart met het in-novatieprogramma Learning Analytics. Dit programma heeft als doel meer bewustzijn over de mogelijkheden van learning analytics in het hoger onderwijs te genere-ren, en meer kennis op te bouwen rondom aandachts-punten bij de toepassing van learning analytics in het hoger onderwijs zoals privacy & ethiek, data(analyse) en tools.

AANDACHTSPUNTEN

De projecten maken duidelijk dat learning analytics veel kan-sen biedt voor het hoger onderwijs en dat de mogelijkheden enthousiast worden ontvangen. Maar: er is nog veel te doen en het is niet gemakkelijk de kansen te verzilveren. Er moet het nodige gebeuren om learning analytics daadwerkelijk structu-reel te kunnen inzetten voor de verbetering van het onderwijs en het verhogen van studiesucces.

Learning analytics signaleert, maar verklaart nietBelangrijk om te realiseren is dat de data binnen learning ana-lytics informatie geven die voorheen niet beschikbaar was voor de student, docent en instelling. De data vertellen echter niet alles over het leergedrag van studenten of over de kwaliteit van de gebruikte didactische materialen. Learning analytics signaleert bijvoorbeeld dat cursusmateriaal weinig gedown-load wordt, maar geeft (nog) geen antwoord op waarom dat zo is. Ook hebben ‘onzichtbare’ leeractiviteiten buiten de digitale leeromgeving invloed op studieprestaties en onder-wijskwaliteit.Daarnaast is er een aantal belangrijke aandachts-punten bij de ontwikkeling van toekomstige initiatieven op het gebied van learning analytics:

Kwaliteit data essentieel• De kwaliteit van de data die gebruikt worden bij learning

analytics is van essentieel belang. De data moet opge-schoond, compleet en eenduidig zijn. Goede analyses op slechte data leveren verkeerde conclusies.

Juridische en ethische aspecten• Bij de analyse en terugkoppeling van data spelen juridische

en ethische kwesties. Het is belangrijk om te weten wat er juridisch wel en niet mag. Transparantie over het gebruik van de data is in ieder geval noodzakelijk. De gegevens en de analyse daarvan mogen geen bedreiging vormen voor studenten en docenten.

Expertisebundeling noodzakelijk• Om learning analytics goed op te zetten en aan te pakken is

een bundeling van verschillende expertises noodzakelijk, zo-als onderwijskunde, data-analyse en informatiemanagement.

Zorgvuldige interpretatie nodig• Binnen learning analytics worden veel correlaties tussen

verschillende data vastgesteld. Om het verhaal achter de correlaties duidelijk te krijgen en ze te vertalen naar correcte causale relaties is zorgvuldige toetsing of meer interpretatie nodig.

Uit een enquête onder de projectteams blijkt:• 56% denkt dat learning analytics voor hun instelling

op dit moment van belang is.• learning analytics levert het meeste op voor: stu-

denten 67%, docenten 17%, onderwijsmanagers 6% en instellingen 6%.

• 61% vindt dat de informatiehuishouding bij hun instelling onvoldoende op orde is om met learning analytics te starten.

• 67% denkt dat er voldoende data en expertise be-schikbaar zijn, maar dat er wel met andere instellin-gen samengewerkt moet worden.

• 90% zou hun college van bestuur positief adviseren om te investeren in learning analytics.

• 94% zou SURF adviseren verder te investeren in learning analytics.

4 Learning analytics in het hoger onderwijs (oktober 2013)

AANBEVELINGEN

De looptijd van de projecten was te kort om echt inzicht te krij- gen in hoe learning analytics ingezet kan worden om het onder-wijsproces te verbeteren en welke data daarvoor te gebruiken zijn. De projecten hebben wel duidelijk gemaakt dat er veel randvoorwaarden zijn waaraan voldaan moet worden om op een zinvolle manier verder te gaan met learning analytics in het ho-ger onderwijs. Verschillende betrokkenen adviseren door te gaan met learning analytics en doen daarbij enkele aanbevelingen.

Werk samen en bundel expertiseSamenwerking en informatieverstrekking is essentieel bij de verdere ontwikkeling van learning analytics. Zorg dat samen-werking over instellingen heen makkelijker tot stand kan worden gebracht en de resultaten van projecten beter geborgd kunnen worden. In de grassrootprojecten is al ervaring opge-daan, dus samenwerking tussen verschillende instellingen is direct al mogelijk. Inmiddels is de special interest group Learning Analytics met dit doel opgericht.

Onderzoek de juridische en ethische aspectenBesteed aandacht aan de juridische en ethische kwesties die spelen bij data-analyse in het hoger onderwijs. Onderzoek wat er wel en niet mag met onderwijsdata, denk aan zaken als eigenaarschap en privacy. Het is van belang dat er voldoende data beschikbaar blijven om analyses uit te voeren.

Twee kernvragen staan centraal:1. Welke data van studenten mogen verzameld worden?

Er moet een duidelijk overzicht komen van de gebieden waarop toestemming van studenten en/of docenten nodig is.

2. Wie is eigenaar van de data: de student of de instelling? Hier bestaat veel onduidelijkheid over. Het antwoord kan consequenties hebben voor de mogelijkheden van learning analytics.

Werk scenario’s en good practices uit en ontwikkel beleid en een ethische code waarin staat beschreven hoe met data moet worden omgegaan. Bekijk ook de mogelijkheden tot het inzetten van sancties bij schending hiervan. Werk tenslotte een beschrijving uit van de competenties die personen moeten hebben om data te verzamelen en te verwerken, met inacht-neming van de juridische en ethische codes.

Bied een overzicht van tools en good practicesOm ervoor te zorgen dat de resultaten van de projecten en ervaringen van instellingen geborgd worden, is het belangrijk een overzicht te bieden van tools en good practices. De be-staande tools voor learning analytics moeten worden geïnven-tariseerd en getoetst op bruikbaarheid en volwassenheid. Ook handvatten en good practices over hoe je effectief feedback kunt geven aan de hand van data-analyse zijn zeer gewenst. Betrek hierbij de onderwijskundigen.

Zet learning analytics in voor feedbackBedien de doelgroepen studenten en docenten met learning analytics. Studenten kunnen profiteren van effectieve feed-back uit de analyse en visualisatie van onderwijsdata. Learning analytics kan docenten helpen om hun methodes of materialen te toetsen, zodat zij direct hun onderwijsontwerp of studie-methodes kunnen aanpassen. Zorg ervoor dat de visualisaties geschikt en relevant zijn voor de doelgroep. Schenk aandacht aan het feit dat feedback het best werkt als het constructief is en dat juist positieve feedback een groot effect heeft.

HET VERVOLG

Stimuleringsregeling Learning Analytics 2013 Tussen juni en september 2013 startten in de stimulerings- regeling Learning Analytics 2013 tien nieuwe projecten. Met subsidie van SURF onderzoeken de projecten hoe de inzet van learning analytics een bijdrage kan leveren aan het verhogen van studiesucces. In de projecten wordt de gehele cyclus van learning analytics doorlopen.

ACHTERGRONDINFO

• SURF en learning analytics: www.surf.nl/learninganalytics • Innovatieregeling Learning Analytics 2012 (pdf)• Verslag Netwerktafel learning analytics 10 november 2012

(pdf)

Raakvlakken Learning analytics heeft raakvlakken met diverse thema’s in het hoger onderwijs zoals:• toetsen bijvoorbeeld: analyseren van data van toets-

items• open educational resources bijvoorbeeld: analyseren

van het gebruik van leerobjecten• digitale leer- en werkomgeving bijvoorbeeld: ver-

zamelen en analyseren van data op het gebied van online gebruikersgedrag

5 Learning analytics in het hoger onderwijs (oktober 2013)

DE 7 PROJECTEN

Project Curriculum Mining

Het project Curriculum Mining van TU Eindhoven had als doel studieadviseurs, studiecoördinatoren, studenten en bestuuur een samenhangend en compleet beeld te geven van hoe stu-denten een opleiding doorlopen.

Tool: hulp bij curriculumkeuzes Het project heeft een tool ontwikkeld op basis van proces- en dataminingtechnologie. De tool geeft studenten inzicht in welke vakken ze zouden kunnen kiezen en hoe deze vakken aan elkaar gerelateerd zijn. De tool helpt studenten om meer verantwoord en geïnformeerd keuzes te maken in het pad door hun curricu-lum. De eerste reacties van studenten waren positief. Ze gaven aan dat een dergelijke tool hen daadwerkelijk meer bewust maakt van de mogelijke consequenties van een keuze.

“Voorkom suboptimale leerpaden”“Studenten hebben tegenwoordig veel meer cursussen om uit te kiezen. Daarom is het belangrijk om studenten bewust te maken van de mogelijkheden en suboptimale leerpaden te voorkomen. Dit soort praktische instrumenten helpen ze daar-bij en kunnen ook bijdragen aan het onderwijsmanagement.”- projectleider Mykola Pechenizkiy

Resultaten project Curriculim Mining> eindrapportage project Curriculum Mining > blogposts over het project Curriculum Mining> video over project Curriculum Mining

Project MAIS (Meten, Analyseren, Informeren, Sturen)

In het project MAIS (Meten, Analyseren, Informeren, Sturen) onderzocht de TU Delft of studierendement te verbeteren is door uitstelgedrag van studenten aan te pakken via het Early Warning System (EWS) in Blackboard. Het gebruik van het EWS lijkt vooral zinvol bij vakken met weinig persoonlijk contact met de student, meerdere opdrachten of toetsen in Blackboard, groot belang van deadlines en grotere groepen.

Bewaken studievoortgangHet EWS ondersteunt de docent bij het bewaken van de voort-gang van studenten. Door het opstellen van een aantal criteria, krijgt de docent een overzicht van studenten die achterlopen. De docent kan die studenten dan op een eenvoudige manier waarschuwen. Het EWS wordt gezien als een redelijk gemak-kelijke toepassing, maar per docent verschilt het enthousiasme en de ervaringen over het gebruikersgemak behoorlijk.

“Ook positieve en inhoudelijke feedback geven”“Met het Early Warning System kunnen docenten grote groe-pen studenten gemakkelijker feedback geven. Om bij te sturen, maar ook om positieve of inhoudelijke feedback te kunnen geven. Dat laatste is eigenlijk nog veel belangrijker, het geeft een steuntje in de rug.” - projectleider Ellen Zillig-Straatman

Resultaten project MAIS> handleiding Early Warning System in Blackboard> eindrapportage project MAIS > blogposts over het project MAIS > video over project MAIS

Project Pinpoint

In het project Pinpoint van Universiteit Twente werden de digitale aantekeningen (‘prikkers’) van studenten bij cursus-materiaal geanalyseerd. Dat leverde methodeontwikkelaars en docenten nuttige informatie op over wat de studenten van het lesmateriaal vinden en hoe ze het gebruiken.

Browser digitale aantekeningen studieboekenHet project ontwikkelde een browser die zoeken in de data-base met de digitale aantekeningen mogelijk maakt en toont hoe studenten deze prikkers gebruiken. Ook helpt de browser om het prikgedrag te visualiseren. Dat maakt het mogelijk te analyseren hoe vaak en waarvoor de prikkers gebruikt worden.

“Inzicht in gebruik digitale lesmaterialen”“In zowel het voortgezet als het hoger onderwijs worden steeds meer digitale lesmaterialen ontwikkeld en dat geeft inzicht in hoe studenten over de tijd heen studeren. Dus bij-voorbeeld wanneer ze welk hoofdstuk bestuderen en welk stuk ze overslaan. Dat is voor docenten en zowel auteurs van de verschillende studieboeken heel erg interessant om te zien.” - projectleider Hannie Gijlers

Resultaten project Pinpoint> eindrapportage project Pinpoint > blogposts over het project Pinpoint > video over project Pinpoint

Project ProF Analytics

In het project ProF Analytics werden data over het gebruik van het bestaande online feedbacksysteem voor voortgangstoet-sen (ProF) vergeleken met resultaten die studenten genees-kunde voor de voortgangstoetsen behalen. Uit het project bleek dat een multidisciplinair team belangrijk is, omdat bij learning analytics allerlei expertises bij elkaar komen

Online feedbacksysteem voor voortgangstoetsenUit de vergelijking is gedistilleerd welke manier van gebruik door studenten effect heeft op betere of minder goede resul-taten op de voortgangstoets. De opgedane kennis heeft geleid tot meer mogelijkheden voor adviezen aan studenten, studie-adviseurs en opleidingen over het effectief gebruik van ProF.

“Inzicht in gedrag studenten”“Doordat wij data uit de voortgangstoets en data over het gebruik van ProF samen hebben kunnen gebruiken, hebben we onder andere geleerd dat het gedrag van studenten die een voldoende of een goed halen op de voortgangstoets anders is dan de studenten die een onvoldoende halen op die toets. Dat geeft inzichten in hoe dat we die studenten kunnen benaderen en trainen.” - projectleider Jeroen Donkers

Resultaten project ProF Analytics> eindrapportage project ProF Analytics > blogposts over het project ProF Analytics > video over project ProF Analytics

6

Project User needs van docent en student bij inzet van learning analytics

In het project ‘User needs van docent en student bij inzet van lear-ning analytics’ verkenden de VU en de UvA hoe je bij geneeskunde (VU) en biomedische wetenschappen (UvA) de leerpaden van stu-denten binnen een vak kunt analyseren en visualiseren. Docenten kregen waardevolle inzichten in hoe hun lesmaterialen gebruikt zijn en hoe dit zich verhoudt tot de prestaties van studenten.

Visualisatie data uit leeromgevingData vanuit de elektronische leeromgeving (Fronter) werden met ‘contextualized attention metadata’ (CAM) verwerkt tot goed bruikbare visualisaties die aansluiten op de gebruikerseisen docent en student. Studenten en docenten waren positiever dan van tevoren verwacht. Wel bleek duidelijk dat een voorwaarde voor deze positieve houding is dat alle partijen weten welke data verzameld worden en waarvoor deze gebruikt worden.

“Meerwaarde voor de docent”“Learning analytics heeft echt meerwaarde voor de docent. Hij kan, op het moment dat het vak loopt, zien waar studenten mee zitten. De docent kan dan aanvullend studiemateriaal aanbieden, lesmateriaal verbeteren of bijvoorbeeld face-to-face met studen-ten een onderwerp verkennen.” - projectleider Natasa Brouwer

Resultaten project User needs> eindrapportage project User needs> blogposts over het project User needs> video over project User needs

Project UvAnalytics

In het project UvAnalytics zijn gegevens over het online gedrag van studenten binnen Blackboard verzameld en geanalyseerd. Gekeken is of deze gegevens kunnen worden ingezet om studenten inzicht te geven in het eigen gedrag, en om docenten en beleidsmakers van informatie te voorzien waarmee ze besluiten kunnen nemen of aanpassingen kunnen doen in beleid en didactiek. Ook leverde het project juridische aandachtspunten voor het gebruik van learning analytics.

Data verzamelen en analyseren met PiwikOm de gegevens te verzamelen en te visualiseren is de opensource-tool voor webstatistieken Piwik gebruikt. Voor het terugkoppelen van deze data aan de gebruikers (studenten) is een prototype dashboard binnen Blackboard opgezet. Piwik is goed geschikt gebleken voor terugkoppeling aan studenten. Echter niet voor do-centen; vooral omdat deze tool gevoelig kan zijn voor manipulatie van de gegevens, bijvoorbeeld door studenten.

“Aandacht voor didactische waarde”“Er zijn docenten die enthousiast zijn en nieuwsgierig naar de mogelijkheden van learning analytics. Maar er zijn ook docen-ten die heel terughoudend zijn. Het is belangrijk om learning analytics op een zorgvuldige manier in het onderwijs te introduceren en veel aandacht te besteden aan de didactische waarde die het kan hebben.” - projectleider Sijo Dijkstra

Resultaten project UvAnalytics> eindrapportage project UvAnalytics > blogposts over het project UvAnalytics> video over project UvAnalytics

Project Vak voor Vak

In het project Vak voor vak is een prototype van een dash-board voor learning analytics ontwikkeld, dat inzicht geeft in de kwaliteitsindicatoren van de opleiding. Het dashboard visualiseert cijfers van studenten en hun vakevaluaties. De visualisatie heeft vooral docenten en onderwijsmanagers meer inzicht gegeven in de kwaliteit van hun eigen opleiding en de relatie tussen prestaties en evaluaties van studenten. Inzicht in kwaliteitsindicatoren opleidingHet dashboard geeft op een relatief eenvoudige wijze inzicht in een aantal belangrijke parameters (kwaliteitsindicatoren) over de opleiding en de samenhang tussen die parameters. Bovendien is het dashboard dynamisch, zodat ook de ontwikkeling in de tijd van de gekozen parameters en verbanden kan worden weergegeven.

“Dasboard beantwoordt vragen”“De beoogde doelgroep van onze applicatie leefde met de vragen die we nu beantwoord hebben. 1 blik op het dashboard beantwoordt veel vragen. Het is een heel intuïtieve applicatie. En als iemand meer technische informatie en detailgegevens wil, kan dat ook.” - projectleider Arno Knobbe

Resultaten project Vak voor Vak> eindrapportage project Vak voor vak > blogposts over het project Vak voor vak > video over project Vak voor vak

Learning analytics in het hoger onderwijs (oktober 2013)

Beschikbaar onder de licentie Creative

Commons Naamsvermelding 3.0 Nederland.

www.creativecommons.org/licenses/by/3.0/nl

SURF Graadt van Roggenweg 340Postbus 22903500 GG Utrecht

T +31 (0)30 234 66 00info@surf.nlwww.surf.nl