1

Samenvatting ReviewRappoRt nationaal actieplan e-leaRning

2 3Samenvatting Reviewrapport nationaal actieplan e-learning

Facts & Figures Nationaal Actieplan E-Learning

22 projecten werden in vijf jaar tijd gestart en afgerond

Per project werkten minimaal drie instellingen samen; dit leidde tot het ontstaan van constructieve kennisnet-werken en samenwerkings verbanden

In totaal participeerden 154 instellingen: 15 universiteiten, 37 hogescholen , 11 ROC’s ,78 vo-scholen en 13 overige instellingen

In totaal participeerden ruim 21.000 docenten, projectleiders, studenten en scholieren

De gemiddelde projectbegroting bedroeg ruim 750.000 euro. Voor de 22 projecten was de totale begroting 16,7 miljoen euro

22 projecten

5 jaar

21.000 docenten, projectleiders, studenten en scholieren

154instellingen

16,7miljoen

euro

nationaal actieplan e-leaRning (2006-2011)

Facts and figuresIn het kader van het Nationaal Actieplan e-Learning konden universiteiten en hoge-scholen projectvoorstellen indienen om samen te werken aan innovatieve ICT-toe-passingen voor het onderwijs. Ook samenwerking met instellingen voor middelbaar beroepsonderwijs en instellingen voor voortgezet onderwijs was mogelijk. In vijf jaar tijd zijn 22 projecten uitgevoerd. In totaal waren ruim 21.000 mensen betrokken bij de projecten, afkomstig van in totaal 154 instellingen voor hoger onderwijs, middel-baar beroepsonderwijs en voortgezet onderwijs. Voor de projecten was in totaal 16,7 miljoen euro beschikbaar: de gemiddelde projectbegroting bedroeg € 750.000, 30% hiervan werd door de instellingen gefinancierd.

Werkwijze binnen het Nationaal Actieplan e-Learning

Opzet programmaHet programmamanagement van SURF heeft in het kader van het Nationaal Actie-plan e-Learning driemaal een tender uitgeschreven, op basis waarvan projectteams afkomstig uit het hoger onderwijs projectvoorstellen konden indienen. De Weten-schappelijk Technische Raad, bestaande uit onafhankelijke deskundigen, beoordeelde die projectvoorstellen op kwaliteit en aansluiting op de doelen van het programma, en adviseerde SURF over de toekenning van de subsidies. Alle projectteams waarvan de voorstellen waren goedgekeurd maakten vervolgens een Controlling Document, (een uitgebreid projectplan dat is gebaseerd op het projectvoorstel), waarin zij een aantal eindproducten of deliverables (zoals een ontwikkelde lesmethode of tool) beschreven die ze binnen de looptijd van het project wilden realiseren.

Innovatieprogramma’s zoals het Nationaal Actieplan e-Learning voert SURF uit volgens de “methode SURF”. Instellingen voor hoger onderwijs ontvangen subsidie, en worden ook door SURF ondersteund bij de uitvoering van hun projecten.

Methode SURFVoor de ontwikkeling van het hoger onderwijs en onderzoek zijn verschillende subsidies beschikbaar. Om deze optimaal te benutten han-teert SURF de ‘methode SURF’. Dit houdt in dat de doelstellingen die bij deze subsidies horen, worden omgezet in een programma. Hogescholen en universiteiten kunnen vervolgens voorstellen voor projecten indienen. Binnen de methode SURF gelden enkele speciale voorwaarden waaraan projecten moeten voldoen:• Samenwerking van meerdere (minstens drie) instellingen.• De instellingen krijgen voor een deel subsidie, maar leveren zelf ook een

aanzienlijke financiële bijdrage (volgens het matchingsprincipe).• De resultaten van het project zijn te gebruiken door alle instellingen voor

hoger onderwijs en onderzoek.

In 2006 ging het Nationaal Actieplan e-Learning van start, een groot onderwijsinnovatieprogramma van SURF dat zich richtte op het verbeteren van de instroom, doorstroom, het studierendement en de kwaliteit van het hoger onderwijs met de inzet van ICT. Het Nationaal Actieplan e-Learning wilde instellingen in staat stellen met behulp van ICT beter in te spelen op de individuele behoeften van de studenten, om effectiever onderwijs mogelijk te maken.

ICT-innovaties die hun effecten reeds op kleine schaal hadden bewezen, werden binnen de projecten van dit programma verder ontwikkeld en opgeschaald. De onderwerpen die binnen de projecten centraal stonden vertegenwoordigden een breed scala aan belangrijke actuele thema’s binnen onderwijsinnovatie, zoals studieloopbaanbegeleiding, verbeteren van de kwaliteit van instroom, docentprofessionalisering en het grensvlak van opleiding en beroepspraktijk. Het Nationaal Actieplan e-Learning is gefinancierd door de instellingen van hoger onderwijs, georganiseerd in VSNU en HBO-raad, en het Ministerie van Onderwijs, Cultuur en Wetenschappen.

SURFSURF is de ICT-samen-werkingsorganisatie van het Nederlandse hoger onderwijs en onderzoek. Binnen SURF werken de Nederlandse universiteiten, hogescholen en onderzoeksinstellingen samen aan grensverleggende ICT-innovaties, waarmee ze de basis creëren om optimaal gebruik te maken van de mogelijkheden van ICT en te excelleren in hun onderwijs en onderzoek.

4 5Samenvatting Reviewrapport nationaal actieplan e-learning

Het Nationaal Actieplan e-Learning kende een aantal specifieke voorwaarden: instellingen moesten kunnen aantonen dat zij met hun projecten konden bijdragen aan het verbeteren van de instroom/doorstroom van studenten en het vergroten van het studierendement en de kwaliteit in het hoger onderwijs. In het programma was veel aandacht voor het meten van de effecten van de producten (of deliverables) die de projecten hebben opgeleverd, en de verduurzaming van de resultaten.

Programmamanagement SURFHet programmamanagement formuleert onder andere de opzet van een programma, ontwikkelt tenders op grond van de programmadoelstel-lingen, en organiseert een onafhankelijke beoordeling van de ingediende projectvoorstellen door de Wetenschappelijk Technische Raad (zie on-der). Daarnaast is SURF verantwoordelijk voor de bewaking van de pro-jectuitvoering door de Commissie Projectbewaking, en het verspreiden en beschikbaar stellen van de projectresultaten.

Wetenschappelijk Technische RaadDe Wetenschappelijk Technische Raad bestaat uit erkende autoriteiten, die niet alleen de nieuwste ontwikkelingen op hun specifieke expertise-gebied kennen, maar ook letterlijk thuis zijn in de wereld van het hoger onderwijs. In zijn functie als onafhankelijk adviesorgaan beoordeelt de WTR onder meer bij elke tender de ingediende projectvoorstellen en brengt hierover advies uit aan het bestuur van SURF.

ReviewAls onderdeel van de afronding van het programma heeft SURF onderzocht of het Nationaal Actieplan e-Learning zijn doelstellingen heeft bereikt, en welke lessen kunnen worden getrokken voor de vormgeving van toekomstige (subsidie)-programma’s. Om die vragen te beantwoorden is in 2012 een review van het programma uitgevoerd. De reviewers waren drs. Elly Teune-Kasbergen en dr. Jos Willems. Drs. Elly Teune-Kasbergen was lid van de Raad van Bestuur van Fontys Hogescholen en voorzitter van het Platformbestuur ICT en Onderwijs van SURF tussen 2006-2009. Dr. Jos Willems was lid van het College van Bestuur van Hogeschool Zuyd en van 2006-2010 van het Platformbestuur ICT en Onderwijs van SURF.

SuccesfactorenDe reviewers concluderen dat het Nationaal Actieplan e-Learning op een aantal belangrijke punten een succes is geweest. Zo hebben alle individuele projecten relevante resultaten kunnen ontwikkelen, en een grote slag kunnen maken als het gaat om de implementatie en opschaling van die innovaties. Daarnaast heeft het programma netwerken weten te creëren die toekomstige samenwerking vergemak-kelijken, en de kans groter maken dat de projectresultaten in gebruik blijven.

Opleveren van de deliverablesBinnen de projecten is men erin geslaagd om alle of bijna alle beoogde deliverables op te leveren, zoals men die in de Controlling Documents had opgenomen; alle projectteams zijn hierbij binnen de tijd en het budget van het project gebleven. De strakke planning en structuur droegen hier zeker aan bij, evenals de ondersteuning door SURF en de feedback van de Commissie Projectbewaking. Het enthousiasme van de projectdeelnemers en de goede samenwerking tussen de verschillende instel-lingen vormden hierbij ook belangrijke succesfactoren.

SamenwerkingHet Nationaal Actieplan e-Learning resulteerde in intensieve samenwerking tussen onderwijsinstellingen over de sectoren heen, waardoor het programma nationale impact bereikte, keten-denken stimuleerde, en een schat aan breed toegankelijk materiaal opleverde. Er zijn verschillende permanente samenwerkingsverbanden en netwerken ontstaan naar aanleiding van de projecten. Een dergelijke samenwerking levert niet alleen direct succes op (samenwerking over instellingen heen), maar heeft ook op langere termijn nog zijn effecten (vormen van netwerken, verspreiding van inzichten, borgen van projectresultaten, et cetera).

Controlling DocumentVeruit de meeste projectteams en projectleiders gaven aan dat het schrijven van het Controlling Document hen hielp om gezamenlijke doelstellingen helder te formuleren, en het hen gemakkelijker maakte om op koers te blijven. Ook de leden van de stuur-groep ervoeren veel voordeel en houvast van een goed Controlling Document.

6 7Samenvatting Reviewrapport nationaal actieplan e-learning

De reviews van de Commissie ProjectbewakingZowel de projectleiders als de leden van de stuurgroep zijn erg positief over de feed-back van de Commissie Projectbewaking. De discussies die zij hadden met de leden van deze commissie werden als zeer ondersteunend en inspirerend ervaren.

Ondersteuning van de projecten door het programmamanagementHet SURF-programmamanagement bood de projectteams de nodige ondersteuning bij het uitvoeren van hun projecten, bijvoorbeeld door cursussen projectmanagement en workshops over effectmeting en verduurzaming aan te bieden. Deze begeleiding werd unaniem gewaardeerd, zo bleek tijdens de gesprekssessies binnen de review en uit de deskresearch. De communicatie van het programmamanagement met de projectleiders werd ook als zeer prettig ervaren, met ‘het juiste evenwicht tussen sturen, volgen, verbinden en steunen’.

Disseminatie van de projectresultatenAlle projecten hebben een disseminatieplan gemaakt, waarvan zij alle, of de meeste van de daarin beschreven activiteiten hebben uitgevoerd. Vast onderdeel van de dis-seminatie bestond bij veel projecten uit een presentatie van de projectresultaten, on-der andere op de SURF Onderwijsdagen. Alle projecten van het Nationaal Actieplan e-Learning zijn daarnaast opgenomen in een repository van SURF, en in 2012 is een brochure uitgegeven met de titel Studiesucces op een hoger plan: Nationaal Actie-plan e-Learning (2006-2011) (www.surf.nl/studiesucces), waarin een beschrijving van het gehele programma en korte samenvattingen van alle projecten zijn opgenomen.

SURF RepositoryDe SURF Repository is een digitale bewaarplaats waarin de projecten en hun resultaten vindbaar en doorzoekbaar zijn. Van de 21 projecten zijn in totaal 86 deliverables in deze repository te vinden of te downloaden (www.surf.nl/studiesucces). In 2012 is een brochure uitgegeven met de titel Studiesucces op een hoger plan: Nationaal Actieplan e-Learning (2006-2011). Op www.surf.nl/studiesucces staat een beschrijving van het gehele programma en korte samenvattingen van alle projecten opgenomen.

Aandachts- en ontwikkelingspunten

Samenvoegen van projecten met hetzelfde themaIn twee gevallen heeft het Platformbestuur ICT en Onderwijs besloten meerdere projecten met hetzelfde thema binnen het Nationaal Actieplan e-Learning samen te voegen om ze voor subsidie in aanmerking te laten komen, met de bedoeling de beide projectteams hun krachten te laten bundelen. In de praktijk bleek het echter veel tijd en energie te kosten om die projecten met elkaar te integreren als het gaat om de formulering van projectdoelen en het verdelen van de projecttaken.

Aanbeveling: Kies bij de toekenning van subsidie voor projecten met vergelijkbare thema’s voor één project, of voor meer projecten, maar voeg ze niet samen.

Controlling DocumentDe Controlling Documents werden door de projectteams als een onmisbaar instrument gezien om het project op koers te houden. De beoordeling van deze documenten vormde een behoorlijke uitdaging, die een zeer brede kennis van onder-wijsinnovatie en ervaring met projectmanagement vereist. SURF heeft deze taak naar behoren verricht, maar dit kon niet voorkomen dat er enkele keren Controlling Documents zijn goedgekeurd die niet (helemaal) voldeden aan de voorwaarden zoals die in de tender waren gesteld.

Aanbeveling: Laat de beoordeling van de Controlling Documents uitsluitend uitvoeren door personen die ervaren zijn op het gebied van onderwijsinnovatieprogramma’s en de ‘methode SURF’.

Commissie ProjectbewakingDe Commissie Projectbewaking van SURF beoordeelt de voortgang van de projecten op een aantal vooraf vastgestelde momenten, volgens vooraf vastgestelde criteria. Op grond van hun beoordeling kan de Commissie Projectbewaking projectteams advies geven over de (verdere) planning en de uitvoering van projecten. De Commissie Projectbewaking is een onafhankelijke commissie, bestaande uit personen die op basis van hun specifieke expertise op het gebied van (ICT)-onderwijsinnovaties, en hun ervaring met (grote) onderwijsorganisaties en grote projecten zijn geselecteerd.

ProfessionaliseringDe betrokkenen bij de projecten hebben in ruime mate competenties weten te ont-wikkelen, zodat zij ook in eventuele vervolgprogramma’s van grote waarde kunnen zijn bij de ontwikkeling van ICT-innovaties. De nieuwe inzichten die zijn ontstaan rondom het gebruik van ICT in het onderwijs hadden in het bijzonder hun uitwerking op de directe betrokkenen in het onderwijsveld (zoals de docenten), die hierdoor een professionaliseringsslag in hun onderwijs konden maken.

8 9Samenvatting Reviewrapport nationaal actieplan e-learning

Deskundigheid binnen het projectBinnen de projecten van het Nationaal Actieplan e-Learning bestonden twee van de vaste onderdelen uit het meten van de effecten van de opgeleverde deliverables, en het schrijven van een implementatieplan, waarin projectleden ideeën moesten formu-leren over hoe de deliverables op grotere schaal verduurzaamd en geïmplementeerd kunnen worden. De projectteams hebben zich enorm ingezet om beide onderdelen op de juiste wijze uit te voeren; ze konden hierbij tevens extra begeleiding krijgen via SURF in de vorm van workshops en advies. Toch bleken het meten van effecten en het maken van een implementatieplan lastige opgaven te zijn, die een specifieke ex-pertise en ervaring vereisen die de projectteams niet altijd voldoende in huis hadden.

Aanbeveling: Geef effectmeting en implementatie een vaste plaats binnen de pro-jecten, en laat het projectteam hier specifieke deskundigen bij betrekken. Maak de aanwezigheid van vereiste expertise tot een criterium bij de beoordeling van de projectvoorstellen.

KwartaalrapportagesDe leden van de projectteams zijn verplicht om elk kwartaal een rapportage te schrijven over de voortgang van hun project. De geïnterviewden zijn het er over eens dat het schrijven en indienen van de kwartaalrapportages nuttige activiteiten zijn die de projecten op het juiste spoor kunnen houden, maar de omvang en de frequentie waarmee deze rapportages moesten worden ingeleverd werden door de project-teams als een belasting ervaren: de tijd en de kosten die de administratieve verplich-tingen met zich mee brengen was onevenredig groot, met name bij projecten met veel deelnemers.

Aanbeveling: Zie er strenger op toe dat alleen relevante en noodzakelijke informatie over de projecten uitgewerkt worden in kwartaalrapportages, liefst volgens een vast format met een beperkt aantal pagina’s. De werklast en bureaucratie die nu wordt ervaren kan hiermee drastisch worden verminderd.

EffectmetingEffectmeting was een vast onderdeel binnen alle tenders, en de opzet ervan is in de loop van de tenders behoorlijk geprofessionaliseerd: elke volgende tender werd er specifieker geformuleerd waaraan de effectmetingen moesten voldoen, en in de laatste tenders konden de projectleiders bovendien ondersteuning krijgen bij het opzetten van hun effectmeting door workshops te volgen en advies te krijgen van deskundigen. Maar ook met de grote professionaliseringsslag die is gemaakt bleek het nog steeds een complexe opgave om die effecten te bepalen.

Aanbeveling: Denk na over een concretere invulling van de effectmeting. Stel ver-plicht dat men beredeneert wat het verband is tussen de te ontwikkelen deliverables en het effect daarvan op het studierendement binnen het hoger onderwijs. Dit moet een logische en toetsbare redenering zijn, onderbouwd door wetenschappelijk onderzoek, op basis waarvan tenminste een indirecte relatie kan worden beschreven tussen de individuele projectopbrengsten en de hogere doelstellingen van het gehele innovatieprogramma.

Verduurzaming van de projectresultatenBinnen de projecten van het Nationaal Actieplan e-Learning is veel aan disseminatie gedaan, waardoor de projectresultaten de nodige bekendheid hebben gekregen. Het zou voor de verduurzaming van die projectresultaten wenselijk zijn als de deliverables hun weg zouden kunnen vinden naar (nog) meer instellingen, zodat er uiteindelijk een ‘olievlekwerking’ naar instellingen buiten het project kan plaatsvinden. Als er sprake is van een vaste samenwerkingsstructuur (zoals de special interest groups van SURF, de Its Academy, de ICL, enzovoorts), dan is het waarschijnlijker dat de resultaten geborgd kunnen worden dan binnen een ‘toevallige’ samenwerking. De kans dat er een olievlekwerking plaatsvindt is dan ook groter, omdat er steeds nieuwe leden tot een dergelijke samenwerkingsstructuur kunnen toetreden die de projectresultaten gaan gebruiken.

Aanbeveling: Neem bij de beoordeling van projecten mee dat projectteams die deel uitmaken van een bestaande samenwerkingsstructuur (of waarvan het ten minste waarschijnlijk is dat ze tegen het einde van het project zo’n structuur hebben gereali-seerd) over het algemeen succesvoller zijn.

Ontsluiten van effecten op programmaniveauAlle projecten hebben veel aan disseminatie gedaan, zodat de resultaten van die projecten konden worden verspreid. Het is daarnaast voor geïnteresseerden, be-trokkenen en de subsidiegever belangrijk om een beeld te krijgen van het effect op programmaniveau.

Aanbeveling: Maak bij de verspreiding van de resultaten en effecten een onderscheid tussen programma-en projectniveau, en ontsluit na afloop van een programma de resultaten van het programma in zijn geheel. Een goed voorbeeld daarvan is de wiki van het programma Studiekeuzegesprekken: wat werkt?.

Naarmate het thema van een innovatieprogramma breder is opgezet, is het dis-semineren van de programmaresultaten lastiger, omdat men minder makkelijk kan terugvallen op een gemeenschappelijk concept op basis waarvan men de resultaten van de individuele projecten met elkaar kan vergelijken en verbinden. In dit licht is het verstandig om bij het opzetten van een innovatieprogramma toe te spitsen op één concreet thema, zoals bij het SURF-programma Studiekeuzegesprekken: wat werkt? is gedaan.

10 11Samenvatting Reviewrapport nationaal actieplan e-learning

WerkwijzeOm een zo goed mogelijk beeld te krijgen van de succes- en verbeterpunten van het programma voerden de reviewers de evaluatie in twee stappen uit:

1. Deskresearch: Analyse van het reeds beschikbare onderzoeksmateriaal met betrekking tot het Nationale Actieplan e-Learning, onder andere een enquête onder projectleiders (2011) en een analyse van de eindrappor tages van de projecten.

2. Interviews met verschillende groepen die bij de uitvoering van het Nationaal Actieplan e-Learning betrokken zijn geweest.

In de gesprekssessies kwamen onder meer de volgende onderwerpen aan bod:• Meten van de effecten van de ontwikkelde deliverables.• Implementatie van de ontwikkelde deliverables.• Disseminatie van de projectresultaten.• Rol van het SURF-programmamanagement, de Wetenschappelijk Technische

Raad en de Commissie Projectbewaking bij de uitvoering van het project.• Plaats en de effecten van het Controlling Document en de kwartaalrapportages

binnen de projecten.

De geïnterviewden vormden een zeer diverse vertegenwoordiging van betrokkenen bij het Nationaal Actieplan e-Learning, uit verschillende onderdelen van het onderwijsveld en de wetenschap:

Voorzitters stuurgroep als ‘opdrachtgevers’ vanuit de bij het project betrokken instellingen: • Dr. Cees de Groot (UvA): directeur College of Science, voorzitter van de

stuurgroepen van de projecten: NKBW 1 en 2, en MarchET.• Drs. José Frijns (VU): voorzitter van de stuurgroep van het OASE-project en

directeur van de Universiteitsbibliotheek van de Vrije Universiteit.• Drs. Harrie van de Ven (Fontys): voorzitter van de stuurgroep van het project

‘Zwaluwstaart’, directeur van de Fontys-PABO’s.

Deskundigen duurzaamheid en effectmeting: • Ir. Michiel van Geloven, als extern adviseur (bij Interimichiel) betrokken geweest bij

Nationaal Actieplan e-Learning.• Dr. Cees Terlouw (lector, Saxion): betrokken geweest bij 2 projecten, ‘DINK’

en ‘Kies Actief Toolkit’, heeft daarnaast bijgedragen aan de workshop over effectmeting voor de Nationaal Actieplan e-Learning-projectleiders.

• Dr. Alfons ten Brummelhuis: hoofd Onderzoek Kennisnet, heeft daarnaast bijgedragen aan de workshop over effectmeting voor de Nationaal Actieplan e-Learning-projectleiders.

Projectleiders: • Drs. Joost Termeer (Universiteit van Amsterdam): projectleider van het project

‘E-klassen’.• Drs. Wim Didderen (Open Universiteit): projectleider van het project ‘Kansrijk

Doorstromen’.

Contactpersonen platform Onderwijs:• Dr. Ineke Lam (Universiteit Utrecht): teamleider en adviseur hoger

onderwijs bij het Centrum voor Onderwijs en Leren, is voorzitter van het Contactpersonenplatform Onderwijs.

• Drs. Marij Veugelers (Universiteit van Amsterdam): projectmanager E-learning bij de IT-afdeling van de Universiteit van Amsterdam.

• Drs. Heino Logtenberg (Saxion Hogeschool): programmamanager ICT & Onderwijs bij Saxion Hogescholen.

Bestuurders• Mr. Ineke van Oldeniel: lid van College van Bestuur van Saxion Hogescholen,

voorzitter Platformbestuur ICT en Onderwijs van SURF.• Drs. Frans van Kalmthout: vice-voorzitter van het College van Bestuur van

Avans Hogeschool, lid Platformbestuur ICT en Onderwijs van SURF.

Programmamanagement SURF:• Drs. Annette Peet: van 2010 – 2012 projectmanager Nationaal Actieplan e-Learning.• Drs. Christien Bok: van 2006 tot 2010 projectmanager Nationaal Actieplan

e-Learning, sinds 2010 programmamanager ICT en Onderwijs.• Drs. Tom Dousma: van 1999-2010 programmamanager ICT en Onderwijs,

vanaf 2010 directeur bij Studiekeuze123.

12 Samenvatting Reviewrapport nationaal actieplan e-learning

ColofonAuteur Judith EvertseOntwerp Vrije Stijl, Utrecht

SURF Graadt van Roggenweg 340

Postbus 22903500 GG Utrecht

T +31 (0)30 234 66 00F +31 (0)30 233 29 60

info@surf.nlwww.surf.nl 2013

Deze publicatie verschijnt onder de licentie Creative Commons Naamsvermelding 3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl