59

t h e m a h o g e r o n d e r w i j s . o r g &T H M A

n de afgelopen tien jaar hebben instellingen voor hoger onderwijs in SURF­verband ervaringen opge­daan met de mogelijkheden die ICT biedt in het onderwijs. Dit gebeurde binnen verschillende stimule­

ringsprogramma’s: het Onderwijsvernieuwingsprogramma (1999­2009), het Nationaal Actieplan e­Learning (2006­2011) en Studiekeuzegesprekken wat werkt? (2009­2011).ICT­projecten leggen vaak kiemen voor de toekomst: na het zaaien kan er niet altijd direct worden geoogst. De projec­ten maken onderdeel uit van een langdurig veranderproces in het onderwijs, waarbij ICT bijdraagt aan het eigentijds en aantrekkelijk maken van het onderwijs, en aan het ver­beteren van de kwaliteit ervan, door het efficiënter en/of effectiever te maken. De vraag welke rol een project precies speelt in een verandertraject is vaak moeilijk te beantwoor­den, laat staan te kwantificeren. Toch is het belangrijk om te onderzoeken wat de toegevoegde waarde van projecten is, en wat succes­ en faalfactoren zijn. Het inzichtelijk maken van de toegevoegde waarde vergroot de kans dat de resul­taten uit het project ook worden geadopteerd en duurzaam worden ingezet. Om gericht te kunnen investeren in inno­vatie, is het dus van belang om inzicht te krijgen in wat wel en niet werkt.In theorie is iedereen het erover eens dat evaluatie een noodzakelijke voorwaarde is bij het uitvoeren van inno­vatieprojecten. Maar in de praktijk blijkt het vormgeven van evaluatie binnen projecten en programma’s makke­lijker gezegd dan gedaan. SURF ontwikkelt op basis van

voortschrijdend inzicht een aanpak voor de evaluatie van projecten, met hulp van experts uit instellingen voor hoger onderwijs, Kennisnet en TNO, die net als SURF innovatie­projecten stimuleren en uitvoeren. In dit artikel beschrijven we onze belangrijke lessons learned bij het uitvoeren van evaluaties rond innovatieprojecten en wat belangrijke ele­menten zijn in de aanpak van evaluaties.

Verschillende stadia van innovatie

In de loop van de jaren ontwikkelde ICT­innovatie zich van onderzoek naar de mogelijkheden van ICT in de onder­wijspraktijk naar het strategisch inzetten van ICT in het onderwijs. Eind jaren negentig was ICT nog een relatief nieuw fenomeen in het onderwijs en werd er vooral geëx­perimenteerd met nieuwe toepassingen en mogelijkheden. Zo werd onderzocht welke rol bijvoorbeeld GPS, online samenwerkingstools of streaming video in het onderwijs zouden kunnen spelen. Op het moment dat meer kennis en ervaring ontstond over wat kansrijke toepassingen zijn voor het onderwijs kon een volgende stap gezet worden, en werd een ‘proof of concept’ ontwikkeld. Geleidelijk ontstond de behoefte om een volgende stap te zetten en technieken die hun potentie voor het onderwijs bewezen hadden, op grotere schaal te kunnen invoeren. Het Nationaal Actie­plan e­Learning (2006­2011) was daarop gericht. Het pro­gramma heeft een strategische doelstelling: het verhogen van studierendement en/of het verbeteren van de instroom,

Sinds eind jaren negentig stimuleert SURF – de samenwerkingsorganisatie van instellingen in het hoger onderwijs en

onderzoek – ICT-innovatie in het hoger onderwijs, met als doel de kwaliteit van het onderwijs te verbeteren. In drie

artikelen schetsen we achtereenvolgens de ontwikkeling van een instrumentarium voor innovatieprogramma’s; de

zoektocht naar een zinvol framework voor het vormgeven van evaluatie; en tenslotte geven we inzicht in de impact van

de programma’s en lessons learned.

Drieluik over innovatie met impact

Deel 2: De zoektocht naar betekenisvolle evaluatie

Christien Bok en Annette Peet

SURFfoundation

I

60

T H M A 3 - 1 1 &

doorstroom en uitstroom in het hoger onderwijs. De projec­ten die de instellingen binnen het programma uitvoerden, moesten bijdragen aan die doelstelling.

Van experiment tot implementatie

Afhankelijk van het stadium van innovatie, heeft een pro­ject bepaalde karakteristieken. SURF wil met vier typen projecten de groei van kleinschalige experimenten naar implementatie faciliteren. Succesvolle projecten kunnen ‘doorgroeien’ naar een volgend stadium.

Grassroots zijn kleine experimentele (ontwikkel)projecten, vaak uitgevoerd door één persoon in een kleine setting, om te onderzoeken op welke manier methoden of technieken kunnen worden ingezet in de onderwijspraktijk. Ontwik­kelprojecten ondersteunen de (door)ontwikkeling of het ontwerp van een ICT­innovatie tot een proof of concept door een kleine groep van samenwerkende instellingen. Opschalingsprojecten bieden instellingen de mogelijkheid om te onderzoeken of methoden en technieken die in een kleinere setting succesvol waren, ook op grotere schaal wer­ken.Een volgende logische stap vormen implementatieprojec­ten waarbij de innovatie ook daadwerkelijk op grote schaal wordt ingevoerd. Met deze projecten wil SURF in toekom­stige programma’s experimenteren. Waar tot dusver binnen een programma voor één type project werd gekozen, zullen nieuwe thematische programma’s ruimte bieden aan meer­dere stadia van innovatie.Inherent aan innovatie is dat niet alle experimenten wer­ken. Daarom is evaluatie essentieel, om onderbouwd te besluiten of een experiment kansrijk genoeg is om door te groeien naar een volgend stadium. Hoewel de aard en de omvang van de evaluatie verschilt per type project kunnen we drie generieke fases onderscheiden bij het uitvoeren van evaluaties: vooraf, tijdens en na het project.

Een goede start

Evaluatie begint niet pas na afloop van een project. Juist de periode voor de start van een project is een cruciaal moment om een experiment te kunnen evalueren. Dat

begint bij het expliciteren van de doelstelling van het pro­ject. Waarom wordt gekozen voor een bepaalde interventie? De keuze voor een interventie is gebaseerd op een veron­derstelling over de werking ervan. Die veronderstelling is vaak gebaseerd op intuïtie. Het is de kunst om die veron­derstelling te onderbouwen, bijvoorbeeld door gebruik te maken van resultaten van eerdere onderzoeken en beschik­bare literatuur. Bij voorkeur worden de doelstellingen en de hypothese van het project ook getoetst bij toekomstige gebruikers.

In de werkwijze van SURF is het expliciteren van de doel­stelling en de aannames die eraan ten grondslag liggen een van de criteria om in aanmerking te komen voor subsidie. Projectvoorstellen worden beoordeeld op kwaliteit en kans­rijkheid door de Wetenschappelijk Technische Raad (WTR) van SURF. De WTR bestaat uit erkende autoriteiten, die niet alleen de nieuwste ontwikkelingen op hun specifieke expertisegebied kennen, maar ook letterlijk thuis zijn in de wereld van het hoger onderwijs.Als een project wordt gesubsidieerd moet een Controlling Document worden opgesteld, waarin de op te leveren resul­taten, de projectinrichting, planning en financiën worden beschreven. Deze instrumenten stimuleren een goede start van de evaluatie van projecten.

Figuur 1: Succesvolle projecten kunnen 'doorgroeien' naar een volgend stadium

Lessons Learned 1: Expliciteren van de doelstellingDe ervaring leert dat als de doelstelling en de rede­nering die ten grondslag ligt aan een project worden geëxpliciteerd, doorgaans de kwaliteit van het project­plan verbetert, wat weer een positief effect heeft op de uitvoering van het project.Het expliciteren van de doelstellingen en de hypothese van een project vragen om een investering die zich tijdens en na afloop van het project ruimschoots terug­betaalt. Zeker als het hele projectteam er samen aan werkt, zorgt dat voor een soepele start en uitvoering van een project, omdat men gezamenlijk richting geeft aan het project.

Grassroots projecten Ontwikkel projecten

DOEL: kleinschalige experimenten met nieuwe technieken in onderwijs-praktijk

DOEL: ontwikkelen en ontwerpen van kansrijke technieken in onderwijspraktijk

DOEL: op grotere schaal inzetten van succesvolle technieken in de onderwijs-praktijk

DOEL: succesvolle technieken implementeren in bestaande organisatie

Opschalingsprojecten Implementatie projecten

61

t h e m a h o g e r o n d e r w i j s . o r g &T H M A

Invulling van programmadoelstelling

Innovatieprojecten van SURF worden uitgevoerd in het kader van programma’s. De programma’s worden opge­steld in samenspraak met de instellingen voor hoger onderwijs, om te garanderen dat ze aansluiten bij de ont­wikkelingen binnen het hoger onderwijs. Instellingen die projecten uitvoeren zijn vrij om hun eigen specifieke pro­jectdoelstellingen te kiezen binnen de thematische innova­tieprogramma’s, die optimaal aansluiten op hun eigen situ­atie. De doelstellingen van de projecten zijn een specifieke invulling van de programmadoelstelling.

Praktijkgericht onderzoek

Bij de aanvang van het project krijgt de evaluatie daadwer­kelijk invulling. Een eerste stap is de nulmeting. Deze is van belang om te kunnen onderzoeken of de doelstelling wordt behaald. Op basis van die nulmeting ontstaat tijdens het project een beeld of de interventie inderdaad leidt tot de gewenste nieuwe situatie. Tijdens het project wordt op gezette tijden de stand van zaken ten opzichte van de nulmeting bekeken. Evaluatie tijdens het project zorgt voor voortdurende reflectie: of de doelstellingen nog wel worden gehaald, en of in het project de juiste middelen worden ingezet om de doelstellingen te halen. Als het nodig is, kan dan tijdig worden bijgestuurd. Ook kan, op basis van de uitkomsten van de evaluatie gedurende het project, blijken dat de hypothese moet worden bijgesteld. Door tijdens het project te blijven volgen of de hypothese nog spoort met de werkelijkheid en te onderbouwen waarom wel of waarom niet, kan innovatie op een onderbouwde manier gestuurd worden.

In de loop van een project komen ook tal van onverwachte, niet voorziene zaken aan het licht. Die onverwachte effec­ten kunnen een heel belangrijke rol spelen in de evaluatie­

resultaten, en moeten daarom voldoende aandacht krijgen.In een dynamisch proces als het onderwijs waarin zoveel externe factoren een rol spelen, het heel moeilijk is om een directe relatie aan te tonen tussen een verandering in het onderwijs en een ICT­interventie. Het is dus heel belangrijk om ook omgevingsfactoren mee te nemen in de evaluatie.De evaluatie van de verschillende typen projecten hebben elk hun eigen insteek. De evaluatie van grassrootsprojec­ten is meestal kleinschalig en kortcyclisch van aard. Als sprake is van ontwikkelprojecten waarin een protoptype of redelijk uitgekristalliseerde interventie wordt ingezet, richt de evaluatie zich op de vraag of de verwachte opbrengsten zich in de praktijk voordoen. Dit kan aanleiding geven tot opschaling. In opschalingsprojecten is van belang na te gaan of de verwachte opbrengsten zich ook op grote(re) schaal aandienen.

De projecten binnen de SURF­programma’s kennen geen apart budget voor onderzoek. Het leeuwendeel van de middelen wordt besteed aan de subsidie voor innova­tieprojecten. Het onderzoek dat wordt uitgevoerd, vindt plaats binnen de innovatieprojecten zelf. De middelen voor onderzoek zijn dus beperkt en grootschalig onder­zoek is daarom niet mogelijk. Projecten moeten daarom realistische keuzes maken over wat zij willen en kunnen evalueren. Door vooraf de doelstellingen en de hypothese helder te omschrijven is het makkelijker om de belangrijk­ste vragen te identificeren die in het project beantwoord zouden moeten worden. Welke vragen dat zijn, en hoeveel dat er zijn, wordt mede bepaald door de (te verwachten) beschikbaarheid van data, de beschikbare expertise, tijd en menskracht. Dit betekent prioriteiten stellen in wat je pre­cies gaat meten, en bepalen van welke populatie je infor­matie wilt verzamelen. Om zo efficiënt mogelijk gebruik te maken van beschikbare middelen verdient het aanbeveling

Lessons Learned 2: onderscheid programma- en projectdoelstellingHet Nationaal Actieplan e­Learning heeft als doelstel­ling het verhogen van de participatie in en het studie­rendement het hoger onderwijs. Om te kunnen meten of het programma die doelstelling zou halen, moesten de projecten kwantificeren welke bijdrage zij zouden leveren aan de programmadoelstelling. Soms is de relatie met de programmadoelstelling echter indirect. Het heeft geen zin om waardevolle projecten die indi­rect bijdragen aan de programmadoelstelling, te vragen hun resultaten direct te relateren aan de programma­doelstellingen. Daarmee wordt geen bruikbare bijdrage geleverd aan de evaluatie van de programmadoelstel­lingen, noch aan de projectdoelstellingen.

Lessons Learned 3: slim omgaan met beschikbare middelenOm een hypothese wetenschappelijk te toetsen en een causaal verband aan te kunnen tonen tussen de interventie en de effecten moeten er voldoende gege­vens beschikbaar zijn, en moet gewerkt worden met een controlegroep. Dat is binnen innovatieprojecten, gezien de beperkte looptijd en geringe onderzoeksbud­getten vaak niet haalbaar. Bovendien vraagt de aard van projecten vaak om een praktijkgerichte aanpak van evaluatie, waarin ook kwalitatief onderzoek een belang­rijke rol speelt. In de praktijk sluiten projecten steeds vaker allianties met onderzoeksgroepen en lectoraten om een deel van de evaluatie uit te voeren. Op deze manier wordt er slim gebruik gemaakt van beschik­bare expertise en menskracht.

62

T H M A 3 - 1 1 &

zo veel mogelijk gebruik te maken van data die al door de instelling verzameld worden, en aansluiting te zoeken bij onderzoeksgroepen binnen instellingen.

Enthousiasme en inspiratie

Als duidelijk is welke vragen relevant zijn voor de eva­luatie is het zaak om te kiezen voor de beste methode om die vragen te beantwoorden. Hierbij is onderscheid te maken in kwalitatieve en kwantitatieve evaluatie. Het belang van kwalitatief onderzoek, bijvoorbeeld in de vorm van observaties, interviews, enquêtes en focusgroepen, mag niet worden onderschat. Kwalitatief onderzoek kan een indicatie geven over de waarde van de interventie, en het geeft inzicht in de ervaringen van gebruikers. Het succes van een interventie hangt namelijk ook nauw samen met het enthousiasme van de personen die ermee werken. Door dit enthousiasme inzichtelijk te maken is de kans groot dat anderen ook enthousiast worden. Resultaten en bevindin­gen zijn dan nog niet wetenschappelijk van aard, maar kun­nen wel dusdanig veel belovend zijn, dat ook mensen bui­ten het project enthousiast worden en geïnspireerd raken.

Hoewel het geen wet van Meden en Perzen is, is het naar­mate een project meer richting opschaling en implemen­tatie gaat mogelijk om meer gebruik te maken van kwanti­tatieve methodes, en van evaluaties met controlegroepen.

Evaluatie van het proces

Daar waar de projectleider tijdens het project zorgt voor de inhoudelijke evaluatie en onderzoekt of de interventie oplevert wat werd verondersteld, zorgt de Commissie

Figuur 2: Onderscheid in kwalitatieve en kwantitatieve evaluatie

Figuur 3: Prioriteiten stellen in wat je precies gaat meten, en bepalen van welke populatie je informatie wilt verzamelen

Voor Tijdens Na Lange Termijn

Doelstelling, hypothese,onderbouwing van gekozen interventie

Monitoring doelstellingToetsing hypotheseEventueel bijsturing

Conclusie & evaluatieLessons learned

Conculsies lange termijn.

Grassroots projecten

Ontwikkelprojecten

Opschalingsprojecten

Implementatieprojecten

Kwalitatief onderzoek

Kwantitatief onderzoek

Projectbewaking van SURF tijdens het project voor de bewaking van het proces. Deze onafhankelijke commissie bestaat uit experts op het terrein van ICT­onderwijsinnova­ties en het uitvoeren en begeleiden van grote projecten. De bewaking is primair gericht op de bewaking van planning, budget en beoogde resultaten. Dit gebeurt om te voor­komen dat projecten ontsporen in planning en budget. Daarbij ontstaat een spanningsveld: juist in het geval van innovatieprojecten moet voldoende ruimte zijn voor experi­menteren en moet voldoende mogelijkheid zijn om plannen aan te passen op basis van de inhoudelijke evaluatie die de instellingen uitvoeren. Innovatie­ en veranderprocessen ver­lopen lang niet altijd volgens plan, maar kunnen grillig zijn. Koerswijziging gedurende het project moet daarom altijd mogelijk zijn, mits goed onderbouwd. Het gaat er tenslotte om dat de doelstelling van een project gehaald wordt, niet dat precies wordt uitgevoerd wat vantevoren bedacht was.

De balans opmaken

Na afloop van een project is het moment om de bevindingen op een rijtje te zetten en conclusies te trekken. Verschillende componenten zijn waardevol om op te nemen in het evalu­atieverslag: zijn de doelstellingen behaald? Zijn de beloofde deliverables geleverd? En vooral ook: wat zijn de lessons learned? In de praktijk zijn projectteams en opdrachtgevers vooral gericht op het behalen van succes, en te weinig op het leren van opgedane ervaringen, succesvol of niet. Terwijl leren van wat niet werkt een heel essentieel onderdeel is van innovatietrajecten. Sterker: een kenmerk van innovatie is dat er ook zaken niet lukken. Bij een bedrijf als Google geldt zelfs het adagium: 'als er niet genoeg mislukt, dan hebben we niet genoeg geprobeerd.'

De evaluatie na afloop van het project bestaat ook uit het laten zien wat de toegevoegde waarde van ICT kan zijn in het onderwijs, en welke factoren de adoptie ervan bepalen. De resultaten van die evaluatie zijn heel goed bruikbaar voor de disseminatie van de projectresultaten. Geleerde lessen en procesevaluaties zijn waardevol voor instellingen voor hoger onderwijs, zo kunnen zij voortbouwen op eerdere ervarin­gen. Ook moet er voldoende kennisuitwisseling zijn binnen en tussen de verschillende innovatieprogramma’s, zodat projectleiders in verschillende stadia van innovatie van elkaar kunnen leren, ook over wat niet werkt.

63

t h e m a h o g e r o n d e r w i j s . o r g &T H M A

Effecten op langere termijn

Een project vormt vaak een eerste stap in een veranderings­proces. De echte effecten van die verandering zijn meestal pas op langere termijn zichtbaar. Het kan dan bijvoorbeeld gaan om kwaliteitaspecten als hogere studenttevredenheid, meer efficiëntie of effectiviteit van het onderwijs.

Het meten van effecten op langere termijn valt buiten het bereik van projecten die met subsidie van SURF worden uitgevoerd, die vaak maximaal twee jaar duren. Door de evaluatie vooraf, tijdens en na afloop van het project, zou het voor instellingen wel eenvoudiger moeten zijn om die effecten op termijn te meten. Tenslotte is het juist het inzicht in de effecten van investeringen die relevant zijn voor de instellingen. Idealiter worden evaluaties van geïm­plementeerde methoden en technieken opgenomen in de reguliere instellingsevaluaties. Dit gebeurt bij een aantal projecten uit het Nationaal Actieplan e­Learning.

Een heldere redeneerketen

Om invulling te geven aan de drie stadia van evaluatie, en ook aan de effectmeting op lange termijn, kan de redeneerketen een handig hulpmiddel zijn.

RedeneerketenOm te beschrijven hoe de interventie helpt om tot de gewenste situatie te komen ontwikkelden Daan Andries­sen en Eja Kliphuis van Hogeschool INHOLLAND de redeneerketen. Deze kent vier onderdelen, die, afhanke­lijk van het soort project, gehanteerd kunnen worden:

1. Beschrijving probleem en context: Wat is het pro­bleem waarvoor de innovatie wordt ontworpen? Hoe zit de opleiding in elkaar en hoe kan de context van de onderwijsinstelling waarin de innovatie wordt toe­gepast het beste worden beschreven?

2. Explicitering van de redeneerketen: Waarom lost de interventie (in de vorm van de gekozen ICT­innovatie of methode) het probleem binnen de opleiding op?

3. Beschrijving innovatie: Hoe beschrijf je de innovatie zo dat andere instellingen die eventueel kunnen over­nemen? De innovatie moet zo duidelijk en compleet mogelijk worden beschreven, zodat een geïnteres­seerde leek er iets aan kan hebben en kan inschatten of het op zijn of haar context van toepassing is.

4. Effectmeting: Welke effecten kan je meten, waarvoor zijn data beschikbaar of te verzamelen? Hoe kan het effect van de interventie het beste worden gemeten?

Evaluatie op programma-niveau

SURF stimuleert de evaluatie op projectniveau, maar wil ook inzichtelijk maken wat de opbrengst van een programma als geheel is geweest. Daarbij gaat het niet alleen om de resultaten van de verschillende projecten, maar ook om de lessons learned en dwarsverbanden. De evaluatie van een programma zou er daarom in grote lijnen hetzelfde uit moeten zien als de evaluatie van een project. In thematische programma’s die SURF momen­teel ontwikkelt, vormt de evaluatiemethodiek daarom ook onderdeel van het innovatieprogramma als geheel.Binnen programma’s met een thematische insteek is het

Figuur 4: Een project vormt vaak een eerste stap in een veranderingsproces.

Lessons Learned 4: Wees realistisch over wat je kunt meten

SURF had bij het Nationaal Actieplan e­Learning aan­vankelijk de ambitie om effecten op langere termijn te meten. Maar instellingen liepen tegen heel praktische grenzen op. De projecten waren gericht op dooront­wikkeling en implementatie, op zichzelf al weerbar­stige trajecten, waar ze maar beperkte tijd voor hadden. Het bleek lastig te om daarnaast ook invulling te geven aan effectmeting, En bovendien: echte effecten worden pas zichtbaar als de implementatie is afgerond, en er dankzij de ICT –interventie een nieuwe situatie is ont­staan. In het onderwijs is een cyclus van een jaar vaak een goede periode om te onderzoeken of rendementen gestegen zijn. Vaak bleek het niet mogelijk deze cyclus in de projectperiode te passen. Daarom neemt SURF het meten van effecten op lange termijn niet meer op in de criteria voor het uitvoeren van project.

Voor Tijdens Na

PROGRAMMA:Nationaal strategisch programmadoelstellingenHypotheseOnderbouwing gekozen interventie (programma-activiteiten en criteria voor projectsubsidies)

PROGRAMMA:Nulmeting rondom thema in hoger onderwijsMonitoring doelstellingToetsing hypothese, kwalitatief/kwantitatiefEventueel bijsturing

PROGRAMMA:Evaluatie programmaresultaten, op basis van doelstellingen en hypothese en op basis van projectresultatenProcesevaluatieDisseminatie van resultaten en lessons learned

PROJECT:Projectvoorstel met: ProjectdoelstellingHypotheseOnderbouwing gekozen interventie

PROJECT:Prioriteren evaluatievragen, haalbaarheidsanalyse evaluatie Inrichten meetprogramma, kwalitatief en/of kwantitatiefNulmetingMonitoring doelstellingToetsing hypothese, kwalita-tief/kwantitatiefEventueel bijsturing

PROJECT: Evalueren projectresultaten op basis van doelstelling en hypotheseProcesevaluatieDisseminatie van resultaten en lessons learned

PROCESSelectie projecten door WTR op basis van programmacrite-ria en kwaliteitscriteriaControlling Document met uit-gewerkte planning en budget

PROCESVoortgangsbewaking door Commissie Projectbewaking op basis van kwartaalrappor-tages en reviews.

PROCESEnd Review door Commissie Projectbewaking

64

T H M A 3 - 1 1 &

zinvol om de resultaten van de verschillende projecten binnen het programma onderling te kunnen vergelijken, om vast te stellen welke interventies wel en welke niet werken en onder welke omstandigheden. Het programma ‘Studiekeuzegesprekken, wat werkt?’ is zo’n programma. Het is erop gericht om inzicht te krijgen in wat succesvol­le manieren zijn om studiekeuzegesprekken in te richten en in te zetten in het studiekeuzeproces. Om daar een uit­spraak over te kunnen doen, werd een format ontwikkeld, zodat de resultaten van de verschillende projecten vergele­ken konden worden. Op die manier wilde het programma een antwoord geven op de vraag wat werkt en wat niet. Dat is gedeeltelijk gelukt. In de praktijk bleek dat verge­lijkbaarheid toch lastig was, simpelweg omdat de omstan­digheden binnen verschillende instellingen weer sterk verschillen. De uitkomsten van een aantal projecten kon echter wel ten opzichte van elkaar worden vergeleken in een cross­case analyse. Zo bood het programma toch enig inzicht in de verschillende uitwerkingen van studiekeuze­gesprekken en hun effect op verschillende variabelen.

SamenvattendOm inzicht te krijgen in de kansrijkheid van experi­menten met ICT in het onderwijs, is evaluatie van groot belang. Er zijn drie stadia van evaluatie te onderschei­den; voor, tijdens en na een project. Daarnaast zijn er drie niveaus van evaluatie te onderscheiden: op program­maniveau, op projectniveau, en op procesniveau.

ICT­innovatieprojecten leveren verschillende resultaten op. De resultaten van de evaluatie dienen verschillende doelen.

Figuur 5: De evaluatiemethodiek is onderdeel van het innovatieprogramma als geheel

Lessons learned 5: Vergelijkbaarheid blijft lastigKomen tot vergelijkbare evaluaties blijft lastig. Een uniforme wijze van evalueren blijft lastig te realiseren, wat een gevolg is van een steeds terugkerend dilemma: voor het meten van effecten van onderwijsinterventies moeten deze zoveel mogelijk op dezelfde wijze uit­gevoerd en gemeten worden, maar de praktijk vraagt vaak verschillen in aanpak. Een serieuze investering in het ontwikkelen voor een format dat resultaten verge­lijkbaar maakt is daarbij van belang.

Over SURF In SURF werken de Nederlandse universiteiten, hoge­scholen en onderzoeksinstellingen samen aan grens­verleggende ICT­innovaties. Ze creëren zo de basis om optimaal gebruik te maken van de mogelijkheden van ICT en te excelleren in hun onderwijs en onderzoek. SURF bestaat uit drie organisaties: SURFfoundation, SURFnet en SURFdiensten.

SURF stelt alle

resultaten

beschikbaar voor

instellingen

Inzicht in

kansrijkheid van

nieuwe projecten

(WTR)

Inzicht in

kansrijkheid van

nieuwe projecten

(WTR)

Voor vervolg en

nieuwe projecten

(CP)

Resultaten om al

dan niet op voort

te bouwen

Inzicht in

kansrijkheid voor

doorgroei/

implementatie

Inzicht in

kansrijkheid voor

doorgroei/

implementatie

Voor vervolg en

nieuwe projecten

Deliverables Informatie over de

werking van de interventie

Informatie over

onverwachte resultaten

Lessons learned

Binnen SURF­programma’s zijn de resulaten van belang in het langdurige veranderings­ en vernieuwingsproces dat de instellingen voor hoger onderwijs uitvoeren. Enerzijds bieden ze inzicht in de kansrijkheid van experimenten om door te groeien, anderzijds bieden ze leerpunten voor de beoordeling en uitvoering van nieuwe projecten.In het laatste deel van dit drieluik gaan we in op factoren die de kansrijkheid bepalen om van een experiment naar daadwerkelijke implementatie te komen.

& ◀

Christien Bok is werkzaam bij de SURFfoundationbok@surf.nl

Annette Peet is werkzaam bij de SURFfoundationpeet@surf.nl

Met dank aan Daan Andriessen van INHOLLAND, Alfons ten Brummelhuis van Kennisnet en Matthijs Leendertse van TNO

Bronnen:10 jaar onderwijsinnovatie. Evertse, J., februari 2011Onderwijsvernieuwingsprojecten, 10 jaar innovatie in de praktijk. SURFfoundation, april 2008Studiekeuzegesprekken in het hoger onderwijs. Drs. Fred Verbeek, Dr. Marjan Glaudé, Drs.

Edith van Eck, september 2010.