3Veel bereikt,nog veel te doen 3 · die onder de verbluffende coördinatie van Eja Kliphuis in een...

Veel bereikt, nog veel te doen

Onderzoek Onderwijs Organisatie

3

3 Impactanalyse SURF onderwijsvernieuwingsprojecten

Oriëntatie op het meten van effecten

Utrecht, november 2005 Eelco Kruizinga en Desirée van den Bergh

Deze tekst is het resultaat van een onderzoek dat Eelco Kruizinga (Cibit) en Desirée van den Bergh (Stichting SURF) uitvoerden in opdracht van het platformmanagement ICT en Onderwijs van Stichting SURF.Eja Kliphuis van Hogeschool INHOLLAND ondersteunde bij de coördinatie en de uitvoering van de deskresearch en de interviews. Alle projectleiders van de onderwijsvernieuwingsprojecten van tender 2001, 2002en van drie nog niet afgeronde projecten van 2003 werden geïnterviewd door INHOLLAND. Sophie van Rijnvan studentenuitzendbureau Gong verwerkte de gegevens in een database. Het onderzoek vond plaats in de periode van april 2005 t/m augustus 2005. De review commissie bestond uit Eja Kliphuis (INHOLLAND),Judith Schoonenboom (SCO Kohnstam), Petra Boezerooy (Stichting SURF) en Tom Dousma (Stichting SURF).

3 | I M PA C TA N A LYS E O N D E RW I J SV E R N I E U W I N G S P R OJ E C T E N

Veel bereikt, nog veel te doen 3

3 Impactanalyse SURF onderwijsvernieuwingsprojecten

Inhoudsopgave

1 Voorwoord 7

2 Samenvatting 9

3 Impact van de SURF onderwijsvernieuwingsprojecten 11

4 Gebruikte methodiek 15

5 Impact op onderwijsvernieuwing en implementatie 17

6 Impact op e-learningambities 2005 23

7 Algemene effecten 27

8 Conclusies en aanbevelingen 33

9 English summary 37

Bijlage 1 Indicatoren 38Bijlage 2 Literatuur 42

5 | I M PA C TA N A LYS E O N D E RW I J SV E R N I E U W I N G S P R OJ E C T E N4 | I M PA C TA N A LYS E O N D E RW I J SV E R N I E U W I N G S P R OJ E C T E N

1 Voorwoord

Wij hopen dat deze impactanalyse bijdraagt aan meer kennis over de impact van onderwijsvernieuwings-projecten in het hoger onderwijs én dat deze meer inzicht geeft over de effectiviteit van (extern) beleid doormiddel van projecten.

In mei is begonnen met de uitvoering van de Impactanalyse, het zwaartepunt lag in de drukke weken vlakvoor de zomervakantie. Graag bedanken wij de projectleiders van tender 2001, 2002 en de 3 projectleidersvan 2003, die in deze drukke tijd allen een bijdrage hebben geleverd aan de analyse door middel van interviews. Daarnaast zijn we de interviewers en desk researchers van Hogeschool INHOLLAND dankbaar,die onder de verbluffende coördinatie van Eja Kliphuis in een ongelooflijke korte tijd alle benodigde informatie over de projecten boven tafel kregen. Sophie van Rijn, van studentenuitzendbureau Gong heeftalle gegevens overzichtelijk verwerkt. Tenslotte zijn we de review-commissie dankbaar voor de kritische enopbouwende bijdrage aan het rapport. Deze bestaat uit: Eja Kliphuis, Judith Schoonenboom, Petra Boezerooyen Tom Dousma.

Eelco Kruizinga en Desirée van den Bergh


2 Samenvatting

De onderwijsvernieuwingsprojecten van SURF hebben veel bereikt op het gebied van onderwijsinnovatie enkennisdeling. Dit blijkt uit de impactanalyse van de onderwijsvernieuwingsprojecten van tender 2001, 2002en drie projecten van 2003.

Het meest opvallend is dat bij maar liefst 60 % van de in totaal 22 projecten daadwerkelijke uitrol plaats-vindt van projectproducten en lesmateriaal naar andere dan de bij het project betrokken instellingen. Hierbijwordt in de meeste gevallen het management van de andere instelling bereikt, dat de uitrol van deze imple-mentatie stimuleert. De impactanalyse laat zien dat de ontwikkelde onderwijsvernieuwing plaatsvindt inalle fasen van het onderwijsleerproces (substitutie-, transitie- en transformatiefase). Uitrol van projectpro-ducten en lesmateriaal vindt voornamelijk plaats (77%) bij projecten die actief zijn in de transitiefase (n=13).De hoeveelheid disseminatie blijkt niet de enige factor die van belang is bij de uitrol van projectproductenen lesmateriaal. Het verdient daarom aanbeveling om te onderzoeken welke factoren nog meer van belangzijn, zoals bijvoorbeeld vakgebied, projectproces etc.

Met het oog op nieuw beleid is geïnventariseerd in hoeverre deze projecten effect hebben gehad op deambities zoals geformuleerd in de E-learningnotitie (OCW 2005). Hierbij moet nadrukkelijk worden vermelddat de projecten, gestart in 2001, 2002 en 2003, niet tot doel hadden om deze ambities te realiseren.

Toch blijkt dat de projecten groot effect hebben op twee ambities van de E-learningnotitie. Deze zijn: het sti-muleren van innovatief, flexibel en vraaggestuurd onderwijs en het inzetten van ICT voor strategische doe-len. In aantallen: 50% van de in totaal 22 projecten heeft impact op innovatief en flexibel onderwijs en 41%van de in totaal 22 projecten op innovatief, flexibel en vraaggestuurd onderwijs. De projecten hebben in eenaantal gevallen ook impact op aspecten van de tweede ambitie. Zo is er door een projectleider een verhoog-de instroom geconstateerd in een betrokken zorgopleiding.

Door deze impactanalyse hebben we beter inzicht in wat de projecten als collectief bereiken en hoe dit zichverhoudt tot de oorspronkelijke en huidige beleidsdoelstellingen. Door de vraag van het ministerie van OCWom in de toekomst de projecten intensiever op effect te monitoren, ligt het voor de hand een dergelijkeimpactanalyse, met enkele aanpassingen gericht op vergroten van de waarde en de betrouwbaarheid, vakeruit te voeren.


3 Impact van de SURF onderwijsvernieuwings-projecten

3.1 InleidingSURF is de samenwerkingsorganisatie van het hoger onderwijs en onderzoek op het gebied van netwerk-dienstverlening en informatie- en communicatietechnologie (ICT). Het Platform ICT en Onderwijs van SURFheeft het advies gekregen om de impact van de door het Platform ondersteunde onderwijsvernieuwings-projecten vast te stellen. Het advies hiertoe is gegeven door het ministerie van OCW, dat sinds 1999 subsidiebeschikbaar stelt voor deze projecten.

Het Platform heeft gehoor gegeven aan dit advies en een impactanalyse uitgevoerd, waarvan het resultaatin dit rapport wordt gepresenteerd. De opbouw is als volgt: allereerst wordt kort beschreven wat de tijdensde analyse gehanteerde definitie van impact is en vervolgens worden de hoofdbevindingen gepresenteerd.Het rapport sluit af met conclusies en aanbevelingen, bedoeld voor het Platform zelf, voor het ministerie van OCW en de instellingen in het hoger onderwijs.

De impactanalyse is uitgevoerd op de in de periode 2001, 2002 en deels in 2003 door het Platform onder-steunde en geïnitieerde onderwijsvernieuwingsprojecten. Projecten buiten deze periode zijn niet in beschouwing genomen. De projecten uit 2003 zijn in een afrondende fase.

3.2 DoelgroepDe impactanalyse is primair uitgevoerd voor het ministerie van OCW. Daarnaast achten we het resultaatnuttig voor SURF en de instellingen voor het hoger onderwijs zelf, zeker voor degene die in één of meerdereconsortia hebben bijgedragen aan de onderzochte onderwijsvernieuwingsprojecten. We onderscheiden daarmee drie groepen stakeholders:> het ministerie van OCW> SURF> Instellingen voor hoger onderwijs.

3.3 Wat is impact?Impact is voor uitvoering van de analyse gedefinieerd als zijnde het effect dat een interventie heeft op dewerkelijkheid. Om de impact te bepalen dienen voor effecten indicatoren te worden opgesteld, waarvoor dan waarden gevonden dienen te worden. Vervolgens worden patronen in kaart gebracht en daarover gerapporteerd. Dit noemen we impactanalyse.We hebben ervoor gekozen om een impactanalyse uit te voeren en aan deze analyse een aantal conclusiesen aanbevelingen te verbinden. Deze aanbevelingen zijn gericht op het verbeteren van het innovatieklimaatin het hoger onderwijs. Er vindt geen beoordeling plaats van de projecten, in dat geval zou er sprake zijn vaneen impact assessment. In een impact assessment worden bepaalde effecten vergeleken met de beoogdeeffecten en er wordt vervolgens een waarderende uitspraak gedaan over het verschil.

De effecten van deze impactanalyse worden gegroepeerd langs de volgende lijnen:> Wetenschappelijke en technologische effecten (zoals nieuwe kennis, publicaties, nieuwe gereedschappen,

patenten), kortom kenniseffecten> Positie-effecten (zoals verbeterde reputatie en verbeterde partnerships)> Organisatie-effecten (zoals effect op de infrastructuur en de onderwijsorganisatie)> Proceseffecten (zoals minder contacttijd en meer leereffect)> Financiële effecten (zoals ROI).

Deze vijf typen effecten noemen we algemene effecten. Ze zijn tijdens de analyse per project in kaartgebracht. Daarvoor is per type effect een operationalisatie gemaakt waarvan de details zijn opgenomen inbijlage 1. Overwogen is te kijken naar tweede orde effecten, zoals de sociale economische, beleidsmatige entransnationale effecten, maar omwille van beschikbare capaciteit is hiervan af gezien.

Bij het instellen van de stimuleringsregeling voor onderwijsvernieuwing zijn (direct dan wel indirect) doelengesteld, zowel vanuit het ministerie van OCW, de onderwijsinstellingen als vanuit SURF. Naast impact op de


De projecten variëren in projectdoelstellingen, vakgebied en de ICT die ze gebruiken/ontwikkelen.Gemeenschappelijk is de projectduur van 2 jaar en de formele projectbewaking van de CommissieProjectbewaking (CP).

De formele projectbewaking vormt een aanvulling op de dagelijkse projectbewaking door onder meer het platformmanagement van Stichting SURF en de projectleiders. Naast de formele projectbewaking organiseert SURF een begeleidingstraject voor projectleiders dat onderlinge kennisdeling stimuleert, onderandere op het gebied van projectmanagement. SURF besteedt ook veel aandacht aan het betrekken van deprojecten bij het Forum, waarin het verspreiden van kennis voor ICT&O-experts, beleidsmedewerkers enbestuurders centraal staat. Forumactiviteiten zijn onder meer: het organiseren van congressen, seminars enNetWerkTafels, het instellen en continueren van Special Interest Groups en het faciliteren van themasites(zoals de E-learning-themasite, Edusite en de Good Practices-site). Onlangs is een publicatie verschenen over de succes- en faalfactoren van onderwijsvernieuwingsprojecten (Kischner et al, 2005). Op deze manierstimuleert SURF dat kennis die wordt opgedaan in de projecten, ook na afronding van de projecten beschik-baar blijft in de verschillende kennisnetwerken.


algemene effecten is tijdens de analyse ook onderzocht welke impact de onderwijsvernieuwingsprojectenhebben (gehad) op de oorspronkelijke en huidige doelstellingen van genoemde partijen.

Onderwijsvernieuwingsprojecten dienen bij te dragen aan:

Doelen SURF en OCW > Onderwijsinnovatie met behulp van ICT > Dissemineren en implementeren van succesvolle ICT-initiatieven > Innovatievaardig maken van onderwijsinstellingen

E-learningambities in > Innovatief, flexibel en vraaggestuurd onderwijs waarbij e-learning een prominenteE-learningnotitie 2005 rol speelt

> Strategische inzet van e-learning (bèta/zorgsector, leven lang leren en internationalisering)tabel 3.1

Het mag duidelijk zijn dat de effecten niet voor alle betrokkenen in en rond een innovatieproject gelijk hoevente zijn. Naast voornoemde effecten is er ook impact op de doelstellingen van een individueel onderwijs-vernieuwingsproject. Deze laatste effecten hebben we nadrukkelijk niet meegenomen in deze impactanalyse.

3.4 De onderzochte projectenDe onderwijsvernieuwingsprojecten worden gesubsidieerd uit een Fonds voor Onderwijsvernieuwing datsinds 1999 beschikbaar is gesteld door het ministerie van OCW. Jaarlijks schrijft het SURF-platform ICT enOnderwijs een tender uit voor onderwijsvernieuwing met ICT. Alle Nederlandse instellingen voor hogeronderwijs kunnen een projectvoorstel indienen als partnership ofwel consortium. De WetenschappelijkTechnische Raad adviseert over de ingediende projectvoorstellen. Toekenning van subsidie vindt plaats doorhet platformbestuur op basis van matching: de deelnemende instellingen betalen minimaal 50% van de projectkosten. Inmiddels zijn 7 tenders uitgeschreven. In deze analyse zijn alle projecten uit tender 2001 entender 2002 onderzocht en drie willekeurige projecten van tender 2003. In de onderstaande tabel is eenoverzicht van deze projecten en hun oneliner opgenomen.

Tender Project Oneliner

2001 Cascade-CBL > Leren van praktijkgevallen of leren van casuïstiekDidiClass > Leren van dilemma’s van een anderDigit@le Did@ctiek > Praktische instrumenten voor docenten over het didactisch gebruik

van ICT in het onderwijsDigitalenklas > Nieuwe mogelijkheden voor taalleren via het webE-folio > Elektronisch portfolio: belofte en valkuilGipsy > Draadloos digitaal lerenInteractieve Bèta Leeromgeving > Animatie zegt meer dan 2.000 woordenLMS/DPF > LMS/DPF vormen ingrediënten voor een krachtige leeromgevingMusicBase > Geïntegreerde database en digitale leeromgeving voor popmuziek-

onderwijsSPINE > Onderwijsnetwerk SpiritualiteitThesaurus > Com2Know, sleutel tot communicatiekennisVPRO2 > Virtuele projectruimten voor Leren Ontwerpen en OnderzoekenZAP > Ontdek en ervaar de psychologie al ZAPpend!

2002 AGORA > Een webgebaseerd raamwerk voor ethiekonderwijs op maat in universitaire ingenieursopleidingen

AlaBaMa-Noord > Over alles wat studenten met hun leerstof moeten kúnnenDavideon > Een wereld in bewegend beeld en geluidJapanalogie der Lage Landen > Gemoderniseerd Japanalogie-onderwijsKRUL > Klinisch Redeneren in het Universitair lijnonderwijsNETLab > Het Practicum houden we bij de student thuis

2003 Colevi > Coöperatief Leren en Toetsen met behulp van Digitale VideoDig0port > Portal voor Digitale Opleidingsportfolio’sViP > Communicatieve Vaardigheden in Psychodiagnostiek

tabel 3.2


4 Gebruikte methodiek

Deze impactanalyse is aan de hand van de volgende stappen uitgevoerd:

1 De algemene effecten operationaliseren naar indicatorenIn overleg met het platformmanagement van het Platform is een aantal indicatoren vastgesteld die enerzijds praktisch meetbaar zijn en anderzijds vergelijkingen tussen projecten en clusters van projectenmogelijk maken. De effecten en bijbehorende indicatoren zijn opgenomen in een database.

2 De beoogde effecten in kaart brengen en vertalen naar indicatorenDe beoogde effecten zijn geïnventariseerd door analyse van diverse documenten van twee stakeholder-groepen voor deze studie: OCW (HOOP en E-learningnotitie) en SURF (meerjarenplannen) documentenzijn geanalyseerd. Deze analyse heeft geresulteerd in een vaststelling van doelstellingen (ten aanzien van onderwijsvernieuwingsprojecten) van de twee genoemde stakeholdergroepen. Vervolgens zijn aan de vastgestelde doelstellingen indicatoren gekoppeld. Deze indicatoren zijn wederom in overleg methet platformmanagement vastgesteld. In sommige gevallen is er overlap tussen de algemene effecten en de beoogde effecten. In die gevallen is er voor gekozen om ze bij de algemene effecten te plaatsen.De effecten en bijbehorende indicatoren zijn opgenomen in de in stap 1 gecreëerde database.

3 De gerealiseerde effecten in kaart brengen en afbeelden op de in stap 1 en 2 bepaalde indicatorenDe gerealiseerde effecten (zowel algemeen als beoogd) zijn in kaart gebracht door een combinatie van desk research, telefonische interviews met projectleiders en overleg. Bij elk van de geconstateerdeeffecten is aangegeven welke ‘hardheid’ het effect heeft (dat wil zeggen: is het effect onomstotelijk vastgesteld, hebben we het afgeleid uit wat de projectleider zegt, etc.) en wat de grootte van het effectis. De resultaten zijn vastgelegd in de eerder genoemde gecreëerde database (stap 1).

4 Eventuele niet-beoogde effecten maar toch gerealiseerde effecten vaststellenIn de database is vrije ruimte gelaten voor in de bronnen gevonden, maar niet beoogde effecten.

5 Patronen herkennen en in kaart brengenTen slotte is door analyse van de geconstateerde effecten een aantal patronen in kaart gebracht, waaraanconclusies en aanbevelingen gekoppeld zijn. De resultaten van bovenstaande aanpak zijn opgenomen inde nu volgende sectie van de studie.

Nota bene:Bij sommige indicatoren is één project buiten beschouwing gelaten omdat de impact van dit project opsommige indicatoren alleen indirect was vast te stellen. Dit project richtte zich in tegenstelling tot andereonderwijsvernieuwingsprojecten niet op concrete opleidingen, maar op het professionaliseren van docentenmet behulp van iCT in het algemeen. De resultaten zijn bij sommige effecten dus gebaseerd op 21 projecten,maar bij de meeste effecten op 22 projecten.



5 Impact op onderwijsvernieuwing en implementatie

Dit hoofdstuk gaat in op de effecten van de onderwijsvernieuwingsprojecten op de (directie en indirecte)doelen van SURF en OCW. Hierin staat de impact op het leren met behulp van ICT en het dissemineren enimplementeren van succesvolle ICT-initiatieven centraal evenals het effect van de projecten op het innovatie-vaardig maken van de betrokken instellingen.

5.1 Leren met behulp van ICTEr zijn veel verschillende (didactische) thema’s waarbij ICT een vernieuwende rol kan spelen. De SURF onderwijsvernieuwingsprojecten dragen bij aan meer kennis over de volgende zeven thema’s.

Project draagt bij aan meer kennis over de volgende thema’s: Ja Nee

Competenties, digitaal portfolio’s en toetsen 14 7Samenwerkend leren en communities 13 8Casussen, gaming en multiprofessioneel leren 9 12Interactief lesmateriaal 10 11(L)CMS en database 10 11Video(conferencing) 8 13Draadloos en mobiel leren 2 19

Tabel 5.1 Overzicht van de thema’s waarop de projecten impact kunnen hebben. Bij ‘nee’ staat beschreven hoeveel projectenniet bijdragen aan meer kennis op het betreffende thema. Onder ‘ja’ staat hoeveel van de onderzochte projecten wel bijdragenaan meer kennis over dat thema.

Uit bovenstaande tabel blijkt dat de onderzochte projecten bijdragen aan meer kennis over één of meerderevan bovenstaande thema’s. Zo zijn er projecten die impact hebben op het gebied van competenties én ophet gebied van casussen. Het kan voorkomen dat een project ook nog op andere dan de in de tabel genoemdethema’s actief is, dat is in deze studie echter niet in kaart gebracht. Bovengenoemde thema’s waren geen criterium voor honerering van de onderwijsvernieuwingsprojecten. Ze zijn afgeleid na honorering van deprojectvoorstellen om geïnteresseerden een indruk te geven van de verschillende gebieden waarop de projecten actief zijn.

Als een project actief bijdraagt aan meer kennis over een bepaald thema, wat is dan de impact? Op welkewijze draagt een project bij aan meer kennis?

Ikzkan (1994) beschrijft een chronologische indeling van de effecten die de invoering van ICT met zich mee-brengt. Op basis van deze studie beschrijven Ingeluyff, Verstelle en Luipen in het e-Learning Research-rapport‘Een denkkader voor professionaliseringsinterventies’ hoe de impact van ICT op het onderwijsleerpoces infasen kan worden ingedeeld:

> Substitutie: Er is sprake van substitutie als ICT de onderwijsleermiddelen en/of -methodes vervangtzonder dat in de structuur van het onderwijsproces is ingegrepen. Het wegvallen van de ICT heeft weinigof geen gevolgen voor het onderwijs.

> Transitie: ICT vervangt niet alleen onderwijsmiddelen en/of methodes, maar heeft ook een deel van destructuur van het onderwijsproject veranderd. Wegvallen van de ICT betekent dat een deel van hetonderwijs opnieuw moet worden vormgegeven en ingericht.

> Transformatie: ICT heeft een compleet nieuw onderwijsproces mogelijk gemaakt, een manier van vormgeven van het onderwijs die zonder ICT niet mogelijk zou zijn. Wegvallen van ICT betekent dat hetonderwijs geheel opnieuw moet worden vormgegeven en ingericht.

Aan de projectleiders van de onderzochte projecten is gevraagd of zij kunnen aangeven in welke fase zij de impact van hun project, per thema indelen. Dit bleek voor veel projectleiders moeilijk in te schatten,om twee redenen:1 Een project heeft vaak effect op meerdere opleidingen bij verschillende instellingen. De mate waarin een

effect wordt geconstateerd verschilt vaak per opleiding (en instelling). Hierdoor is het moeilijk om een


5.2 Dissemineren en implementeren van succesvolle ICT-initiatievenSamenwerking tussen instellingen, disseminatie van kennis en een wezenlijke vernieuwing van de betrokkenopleidingen, is bij alle onderwijsvernieuwings-projecten een belangrijke voorwaarde voor honorering vaneen projectvoorstel.

Uit de desk research blijkt dat op één project na, in elk project wordt samengewerkt tussen twee of meerhoger onderwijsinstellingen (zie figuur 5.4). Bij één project waar de samenwerking niet van de grond kwam, blijken te grote verschillen van mening over zowel organisatorische als technische aspecten een rol te spelen.

Disseminatie kan bestaan uit het verspreiden van projectideeën en ervaringen. Een meer verdergaande vorm van disseminatie is het daadwerkelijk gebruiken van projectproducten en lesmateriaal door andereopleidingen van de betrokken instellingen. Bij de meeste projecten vindt gebruik van projectproducten enlesmateriaal door andere faculteiten plaats (figuur 5.5). Uit de inventarisatie blijkt dat er bij twee projectengeen enkele uitwisseling van projectresultaten heeft plaatsgevonden naar andere dan de oorspronkelijkebetrokken opleidingen binnen de betrokken instellingen.

De onderwijsvernieuwingsprojecten ontvangen subsidie van de overheid met onder meer als belangrijk doeldat projectproducten en -resultaten voor het hele hoger onderwijs beschikbaar komen.Het is daarom belangrijk om te kunnen constateren dat gebruik van concreet lesmateriaal en andere project-producten door andere hoger onderwijsinstellingen bij 13 van de 22 projecten daadwerkelijk plaatsvindt,volgens de projectleiders (figuur 5.6). Bij 8 van de 13 gevallen is deze uitrol zelfs gestimuleerd door hetmanagement van de andere instelling. Bij 6 projecten is er geen enkele ‘vonk’ overgesprongen naar eenandere instelling. Voor deze projecten is wel belangstelling getoond door andere instellingen, maar een feitelijke uitrol heeft (nog) niet plaatsgevonden. Twee van deze zes projecten waren tijdens het schrijven van dit rapport nog niet afgerond. In 3 gevallen is de uitrol beperkt gebleven tot projectideeën en ervaringen.


Samenwerking tussen betrokken instellingen (figuur 5.4)

Uitrol bij andere dan de oorspronkelijke betrokken opleidingen binnen de betrokken instellingen (figuur 5.5)

geen samenwerking (1)wel samenwerking (21)

geen uitrol (2)uitrol van projectideeën en ervaringen (5)gebruik van projectproducten en lesmateriaal (15)

goede inschatting te maken van de fase waarin een project valt. Bij twijfel is de projectleider gevraagdaan te geven in welke fase het grootste deel van het vernieuwde onderwijs valt.

2 Daarnaast bleek dat de termen substitutie, transitie en transformatie voor verschillende uitleg vatbaar zijn.Ook dit levert een verschil van inschatting bij het indelen van de projecteffecten in de verschillende fasen.

Aan de ondervraagde onderwijsvernieuwingsprojecten is de vraag voorgelegd wat de impact van hun project is per thema. Dit levert het beeld op dat in tabel 5.2 is weergegeven.

Project draagt bij aan meer kennis op volgende thema: De impact van het project op het betreffende thema is in de volgende fase in te delen:Geen effect Substitutie Transitie Transformatie

Competenties, digitaal portfolio en/of toetsen 7 1 8 5Samenwerkend leren en communities 8 5 6 2Casussen, gaming en multiprofessioneel leren 12 3 4 2Interactief lesmateriaal 11 3 6 1(L)CMS en database 11 3 7 0Video(conferencing) 13 3 4 1Draadloos en mobiel leren 19 0 1 1

Tabel 5.2 Overzicht van de impact van de onderwijsvernieuwing op het onderwijsleerproces per thema. De impact is door debevraagde projectleiders ingedeeld in de volgende fasen: substitutie-, transitie- of transformatiefase.

De impact van de onderwijsvernieuwing op het onderwijsleerproces verschilt per thema. Van de projectenmet impact op het thema competenties, digitaal portfolio en/of toetsen, bevindt ruim een derde van de projecten zich in de transformatiefase (5 van de 14). Dit in tegenstelling tot de 10 projecten die bijdragen aan meer kennis op het gebied van interactief lesmateriaal. Daarvan wordt de impact slechts bij 1 projectdoor de projectleider ingedeeld in de transformatiefase.

Impact van de projecten per thema (percentage) (figuur 5.3)

1 competenties, digitaal portfolio’s en toetsen fase2 samenwerkend leren en communities3 casussen, gaming en multiprofessioneel leren transformatie4 interactief lesmateriaal transitie5 (L)cms en database substitutie6 video(conference) nee7 draadloos en mobiel leren

Figuur 5.3 Overzicht van de impact van de onderwijsvernieuwing op het onderwijsleerproces per thema in percentages.De impact is door de bevraagde projectleiders ingedeeld in de volgende fasen: substitutie-, transitie- of transformatiefase.

In figuur 5.3 staat een overzicht van de impact van de projecten per thema, weergegeven in percentages. Hierinis goed zichtbaar dat de impact bij vijf van de zeven thema’s betrekking heeft op de substitutie- en transitiefase.


100 %90 %80 %70 %60 %50 %40 %30 %20 %10 %

0

1

2

5

15

1

21

2 3 45

6 7

Een manier om projectresultaten en ervaringen breed onder de aandacht te brengen, is door het organiserenvan seminars. De meerderheid van de projecten heeft deze activiteit ontplooid, waarvan de helft meer dan 3 seminars tijdens (en na) de projectperiode (zie figuur 5.9).

Alle projecten beschikken op de SURFsite over een beknopte beschrijving van het project. Het merendeelheeft daarnaast een eigen website met uitgebreide informatie over het project (zie figuur 5.10).

5.3 Bijdragen aan het innovatievaardig maken van de instellingen voor hoger onderwijsDe onderwijsvernieuwingsprojecten hebben als doel om een onderwijsvernieuwing met behulp van ICT te ontwikkelen en te implementeren.

Bij 21 van de 22 projecten blijkt dat in de projecten ook handvatten worden opgedaan om in volgende projecten nog beter te kunnen innoveren (figuur 5.11). Deze handvatten zijn divers en variëren van een flexibele aanpak en het laten zien van successen tot projectmatig werken.


Seminars verzorgen (figuur 5.9)

geen (1)1 seminar (4)2 seminars (3)3 seminars (3)>3 seminars (11)

Website met projectinformatie (figuur 5.10)

SURF webpagina (2)eigen website en SURF webpagina (20)

Zijn in project handvatten opgedaan om in volgende projecten nog beter te innoveren? (figuur 5.11)

nee (1)ja (21)

Van de 13 projecten met uitrol naar andere dan de oorspronkelijke betrokken instellingen is onderzocht inwelke fase ze zich bevinden op het hoofdthema waarin ze actief zijn. Dit staat beschreven in tabel 5.7.Uit de tabel blijkt dat deze projecten wat betreft hun hoofdthema in 10 gevallen met name op de transitie-fase effect hebben en in 2 gevallen op de transformatiefase. Eén project valt buiten de indeling, omdat vandit project de impact op onderwijsvernieuwing alleen indirect is in te schatten.

Project met uitrol draagt bij aan meer kennis op volgende hoofdthema: Substitutie Transitie Transformatie

Competenties, digitaal portfolio en/of toetsen 1 1Samenwerkend leren en communities 2Casussen, gaming en multiprofessioneel leren 2 1Interactief lesmateriaal 3(L)CMS en database Video(conferencing) 2Draadloos en mobiel leren

Tabel 5.7 Overzicht van het hoofdthema waarin de projecten met uitrol actief zijn en in welke fase deze projecten zich in datthema bevinden.

Er zijn verschillende manieren om disseminatie vorm te geven: via exploitatie door middel van een ESP(Educational Service Provider) zoals Espelon, via website, seminars en/of publicaties. In onderstaand over-zicht is dit in kaart gebracht.

De projectproducten kunnen op verschillende manieren breder beschikbaar worden gesteld. Met name bij de in het project ontwikkelde software-applicaties kan het voordeliger en (op de langere termijn) efficiënterzijn om hiervoor gebruik te maken van een speciale dienst zoals Espelon. Figuur 5.8 toont dat Espelon in 1 geval wordt ingezet door de onderzochte projecten. Projecten die gebruik maken van een andere vorm van exploitatie doen dat op verschillende manieren, bijvoorbeeld via een eigen opgericht consortium, viasamenwerking met een uitgever of door alles via de website van de eigen instelling beschikbaar te stellen.Projecten waarbij exploitatie niet plaatsvindt, hebben daarvoor verschillende redenen: sommige project-leiders geven aan dat ze hierover nog in gesprek zijn met Espelon of dat de ontwikkelde onderwijsvernieu-wing niet geschikt is voor exploitatie omdat er gebruik gemaakt wordt van ‘standaard’ systemen. In tweegevallen is een deel van het ontwikkelde informatie wel beschikbaar via internet.


Uitrol bij andere dan de oorspronkelijk betrokken instellingen (figuur 5.6)

geen uitrol (6)uitrol van projectideeën en ervaringen (3)gebruik van projectproducten en lesmateriaal door andereinstelling, collegiale incidentele uitwisseling (5)als 2, maar dan gestimuleerd door het beleid/management(systematisch) van andere instelling (8)

Exploitatie van digitale producten in Espelon of anderszins (figuur 5.8)

niet (12)espelon (1)elders (9)

1

21

2

20

1

4

3

3

11

12

1

9

6

3

5

8

6 Impact op e-Learningambities 2005In de E-learningnotitie van 2005 staan de ambities vermeld op het gebied van e-learning in het hoger onder-wijs. De eerste ambitie heeft betrekking op het stimuleren van innovatief, flexibel en vraaggestuurd onder-wijs. De tweede ambitie hangt samen met het inzetten van ICT voor strategische doelen: verwezenlijkingvan de Lissabon-ambitie (studenten in de bèta/techniek en de zorg, internationale studenten en werkendenen werkzoekenden).

In deze paragraaf wordt een beeld geschetst van de impact van de projecten op bovengenoemde ambities.Hierbij moet nadrukkelijk worden vermeld dat deze projecten, gestart in 2001, 2002 en in 2003, niet als doelhadden om de e-learningambities van 2005 te realiseren. Met het oog op nieuw beleid is het echter wel vanbelang om te inventariseren in hoeverre deze projecten effect hebben gehad op deze ambities omdat hetrichting kan geven aan nieuw beleid.

In figuur 6.1 is zichtbaar dat de projectleiders aangeven dat bij 9 projecten sprake is van impact op het gebiedvan innovatief en flexibel onderwijs. Elf projectleiders geven aan dat het project tevens bijdraagt aan vraag-gestuurd onderwijs. Slechts in een enkel geval gaat het ‘alleen’ om de invoering van een innovatief onderwijs-concept, namelijk activerend onderwijs.

Samengevat: uit deze studie blijkt dat 50% van de geïnterviewde projectleiders vindt dat hun project heeftbijgedragen aan innovatief, flexibel en vraaggestuurd onderwijs en 41% van de projecten heeft volgens debetrokken projectleiders bijgedragen aan innovatief en flexibel onderwijs.

Sectoren: ‘bèta en techniek’ en ‘zorg’De overheid streeft naar meer kenniswerkers, met name in de sectoren waar tekorten zijn, zoals bij de secto-ren ‘bèta en techniek’ en ‘zorg’. E-Learning zou kunnen worden ingezet om het onderwijs aantrekkelijker te maken en zou ervoor kunnen zorgen dat ontwikkelingen in de beroepspraktijk snel doorwerken in deopleidingen. Uit onderstaande tabel blijkt dat, hoewel het geen selectiecriterium was bij toekenning, van de 22 bestudeerde projecten er 8 zijn waarbij de onderwijsvernieuwing geheel of gedeeltelijk betrekking had op de ‘bèta en techniek’-sector en 6 op de ‘zorg’-sector.

Bij de 8 ‘bèta en techniek’-projecten blijkt er in de helft van de gevallen geen verhoogde instroom zichtbaar.In 4 gevallen is er wel een verhoogde instroom zichtbaar, waarbij de projectleider in 2 gevallen aangeeft datdat mede door het projectresultaat wordt veroorzaakt.

Sector Onderwijsvernieuwing gericht Verhoogde instroomop onder meer de sectoren ‘bèta en techniek’ en ‘zorg’Aantal Nee Ja, maar onbekend door project Ja, mede door project

Bèta en techniek 8 4 2 2Zorg 6 4 2 0

Tabel 6.2. Bovenstaande tabel geeft aan bij hoeveel projecten de onderwijsvernieuwing onder andere gericht is op respectie-velijk de ‘bèta en techniek’ en ‘zorg’ sector. Daarnaast is zichtbaar bij hoeveel van deze projecten een verhoogde instroom vanstudenten is waargenomen door de projectleider. Tenslotte is door de projectleider een inschatting gemaakt in hoeverre ditmede gevolg kan zijn van de ontwikkelde onderwijsvernieuwing.


Bijgedragen aan innovatief, flexibel en vraaggestuurd onderwijs (figuur 6.1)

0: nee (1)1: innovatief (nieuw onderwijsconcept (1)2: innovatief en flexibel (9)3: als 2 + vraaggestuurd (11)

De projecten hebben in 17 gevallen effect op het ICT & Onderwijsbeleid (figuur 5.12). Zo geven projectleidersaan dat de resultaten van een project worden meegenomen in de besluitvorming rondom beleid, is de scholing van docenten aangepast of beschikt de instelling over betere (technologische) faciliteiten.


Heeft het project effect op het ICT & Onderwijsbeleid van de betrokken instelling? (figuur 5.12)

nee (5)ja (17)

1 1

911

5

17

Over het algemeen blijken de projecten hieraan echter weinig bij te dragen. Als een project impact heeft ophet gebied van internationalisering, gebeurt dat voornamelijk om studenten te stimuleren competenties teverwerven om in internationale context te kunnen functioneren (6 van de 21 projecten).

Uit onderstaande grafiek is af te lezen dat de bevraagde projecten in 6 gevallen hebben aangeven dat de(internationale) wervingskracht van de instellingen is toegenomen. Bij 3 projecten is echter niet duidelijk ofdit antwoord betrekking heeft op de internationale situatie. Slechts 1 project draagt bij aan het bekorten vande tijd dat studenten in het buitenland studeren.

Zes projecten dragen (indirect) bij aan het verwerven van competenties om in internationale context te kun-nen functioneren, bijvoorbeeld door het stimuleren van uitwisseling van beroepscasuïstiek of het faciliterenvan reflectiegericht onderwijs in een internationale context. In 2 gevallen geven de projectleiders aan dat hetproject bijdraagt aan het volgen van een buitenlandse opleiding op afstand in Nederland.

Daarnaast hebben 18 projectleiders aangegeven op internationale conferenties de projectresultaten te hebben gepresenteerd.

Impact op Internationalisering (figuur 6.5)


20

18

16

14

12

10

8

6

4

2

0

indicator 1 indicator 2 indicator 3 indicator 4

1 vergroten wervingskracht van instellingen2 bekorten periode studenten in buitenland ja3 verwerven competenties nee4 onderwijs aan buitenland op afstand volgen

aant

alpr

ojec

ten

De ondervraagde projectleiders hebben aangegeven dat in de meeste gevallen een vernieuwing is ontwik-keld die aansluit bij de vraag van de beroepspraktijk (tabel 6.3). Bij de ‘bèta en techniek’-sector is dit in 7 vande 8 gevallen waargenomen en bij de zorgsector in 4 van de 6 gevallen.

Sector Onderwijsvernieuwing gericht Vernieuwing in de opleidingen en beroepenstructuurop onder meer de sector ‘bèta en techniek’ en ‘zorg’Aantal Nee Ja

Bèta en techniek 8 1 7Zorg 6 2 4

Tabel 6.3 De tabel geeft aan bij hoeveel projecten de onderwijsvernieuwing onder andere gericht is op respectievelijk de ‘bètaen techniek-’ en ‘zorg’-sector. Bij ‘vernieuwing in de opleidingen en beroepenstructuur’ is aangegeven bij hoeveel projecten devernieuwing betrekking heeft op de vraag van de beroepspraktijk.

Leven lang lerenHoe laat je deelname aan het hoger onderwijs stijgen? Dat kan door> aandacht te besteden aan maximale participatie (leven lang leren)> het verbeteren van de aansluiting van voortgezet onderwijs (vo) op hoger onderwijs (ho)> het verhogen van de instroom van werkzoekenden> het vergroten van de doorstroom mbo-hbo> het flexibeler maken van de aansluiting tussen hoger onderwijs en arbeidsmark> het vergroten van de toegankelijkheid van onderwijs voor mensen met een functiebeperking.Uit de grafiek op deze pagina blijkt dat de onderwijsvernieuwingsprojecten maar in beperkte mate bijdragenaan het ‘leven lang leren’-streven van de overheid. Alleen op het flexibeler maken van de aansluiting tussenhoger onderwijs en arbeidsmarkt heeft bijna de helft van de projecten impact gehad, volgens de onder-vraagde projectleiders. Daarnaast hebben 7 projecten effect gehad op het snel laten doorwerken van nieuweontwikkelingen uit het bedrijfsleven in het hoger onderwijs.

Impact op Leven Lang Leven (figuur 6.4)

InternationaliseringIn welke mate dragen de projecten bij aan het versterken van de internationale positionering van hetNederlandse hoger onderwijs? In de E-Learningnotitie staat beschreven dat Nederland zichtbaar in de topmoet staan vanwege de concurrentie, om excellente studenten te kunnen aantrekken en met het oog op de internationale profilering van Nederland als kennisland.

20

18

16

14

12

10

8

6

4

2

0

indicator 1 indicator 2 indicator 3 indicator 4 indicator 5 indicator 6


1 doorstroom mbo-hbo2 aansluiting vo-ho flexibeler ja3 aansluiting ho en arbeidsmarkt flexibeler nee4 snel doorwerken van vernieuwing uit beroepenveld in het onderwijs5 vergroten doorstroom werkzoekenden naar onderwijs6 vergroten digitale toegankelijkheid onderwijsmateriaal

aant

alpr

ojec

ten

19

23

18

9

12

7

14

3

18

4

17

6

15

1

20

6

15

2

19


7 Algemene effectenHieronder staan de algemene effecten beschreven van de onderwijsvernieuwingsprojecten. Deze zijn als kenniseffecten, positie- en organisatie-effecten, onderwijsproceseffecten en financiële effecten gerubriceerd.

7.1 KenniseffectenMet impact op kenniseffecten worden de effecten bedoeld, die worden bereikt op het terrein van de door de projecten geproduceerde kennis. Dit kan in de vorm van bijvoorbeeld publicaties, presentaties en anderetastbare resultaten. Kennisdisseminatie over de projectresultaten en de in het project opgedane ervaringenis een verplicht onderdeel van alle SURF onderwijsvernieuwingsprojecten.

Naast tastbare kennis is in de impactanalyse ook gekeken naar de zogenaamde impliciete of persoonlijkekennis: er is daarbij gekeken naar de hoeveelheid betrokkenen wiens kennis vergroot is als gevolg van uit-voering van het onderwijsvernieuwingsproject. De projecten besteden veel aandacht aan het verzorgen vanpublicaties en presentaties. Ruim 60% publiceert in SURF-gerelateerde publicaties en themasites en in externepublicaties en tijdschriften (zie figuur 7.1). Bijna 80% van de projecten verzorgt niet alleen presentaties opSURF gerelateerde congressen en seminars, maar ook op andere nationale en internationale evenementen(zie figuur 7.2).

Er is ook gekeken naar het aantal software-producten dat zonder meer ingezet kan worden bij een onder-wijsinstelling, anders dan de partijen direct betrokken bij het vernieuwingsproject. Het zal geen verbazingwekken dat nagenoeg alle projecten software hebben opgeleverd, maar het is bemoedigend om te constate-ren dat bijna iedereen tenminste 1 product heeft opgeleverd dat zonder meer door anderen te gebruiken is(zie figuur 7.3).


Publicaties (aantal, aard) (figuur 7.1)

0 nee (1)1 ja, projectrapporten (1)2 SURF-publicaties en themasites (1)3 externe publicaties en tijdschriften (6)4 zowel 2 als 3 (13)

Presentaties (aantal, intern/extern) (figuur 7.2)

0 nee (0)1 ja, projectseminars (0)2 ja, op SURF-congresssen en seminars (0)3 ja, externe congressen nationaal (4)4 nationaal en internationaal (0)5 2+3+4 (18)6 Meer (0)

Aantal software-producten dat zonder meer ingezet kan worden bij andere instellingen (figuur 7.3)

0 (3)1 (12)2 (2)3 (1)4 (1)6 (1)8 (1)11 (1)

11

1

613

4

18

3

12

2

1

1

11 1

Als we kijken naar het aantal softwareproducten dat concreet toewijsbaar is aan een onderwijsvernieu-wingsproject (figuur 7.4) dan zien we nagenoeg hetzelfde beeld: de projecten vinden wel degelijk dat ze echt nieuwe producten maken en niet zozeer bestaande producten configureren voor een nieuwe setting.Een aantal projecten geeft aan voort te bouwen op bestaande kennis/producten. In het onderzoek is een verzameling modules en/of ontwikkelde casussen als 1 softwareproduct geteld, omdat in de praktijk blijktdat deze met elkaar in samenhang worden gebruikt.

Als we verder kijken naar het aantal nieuwe (onderwijs)methoden en (-)technieken dat is ontwikkeld binnende projecten, dan zien we dat wederom de overgrote meerderheid aangeeft minstens 1 nieuwe methode oftechniek te hebben ontwikkeld. Overigens is niet onderzocht in hoeverre deze ontwikkelde methoden entechnieken wel of niet zonder de ontwikkelde software ingezet kunnen worden.

Als we kijken naar het meer impliciete deel van de ontwikkelde kennis dan zien we dat het aantal bereiktemedewerkers bij de betrokken instellingen bij de helft van de projecten boven de 50 ligt (zie figuur 7.6).Het is daarbij niet direct duidelijk in hoeverre deze medewerkers daadwerkelijk en blijvend gebruik makenvan de ontwikkelde kennis.

Aantal medewerkers bij betrokken instellingen wiens kennis vergroot is door het project (figuur 7.6)

7.2 Positie-effectenPositie-effecten zijn effecten op de reputatie van de betrokken instelling(en) bij het project. De positie-effecten zijn in kaart gebracht door bij projectleiders te inventariseren of de reputatie van de instelling isveranderd, het projectpartnership is verbeterd, effect op de ICT-infrastructuur zichtbaar is en of er nieuwepartnerships tot stand zijn gekomen.


Aantal software producten (prototypes, demonstrators, etc) concreet toewijsbaar aan project (figuur 7.4)

0 (11)1 (3)2 (2)3 (1)4 (1)5 (1)6 (1)8 (1)11 (1)

Aantal software producten (prototypes, demonstrators, etc.) concreet toewijsbaar aan project (figuur 7.5)

0 (4)1 (7)2 (6)3 (3)4 (1)>20 (1)

15

10

5

0

niemand < 10 > 20 > 30 > 40 > 50

verslechterd neutraal verbeterd

Reputatie van de instelling 0 7 15projectpartnership 1 7 14

Tabel 7.7 Effect van het project op de organisatie

De meeste projectleiders hebben de indruk dat de reputatie van de instelling en het projectpartnership alsgevolg van het project is verbeterd (tabel 7.7). Bij 7 projecten zijn beide positie-effecten neutraal gebleven.In één geval heeft een projectleider aan gegeven dat het projectpartnership is verslechterd. Nieuwe project-partnerships als gevolg van het project is in 12 van de 20 gevallen aangetroffen (figuur 7.8).

7.3 Organisatie-effectenDe audit van Carien van Hooff (2002) geeft aan dat de projectoverstijgende effecten van de projecten ondermeer liggen bij input en inspiratie voor ICTO-beleid en versnelde aanpassingen in de ICT-infrastructuur.

Uit onderstaande figuur blijkt dat bij de huidige projecten de ICT-infrastructuur en de onderwijsorganisatiein respectievelijk 11 en 10 gevallen neutraal is gebleven en in 8 gevallen formeel is verbeterd. Hoe die verbete-ringen eruit zien verschilt per project: de ICT-infrastructuur kan bijvoorbeeld zijn verbeterd op het gebied vanmultimediavoorzieningen. Wat betreft verbeteringen op het gebied van de onderwijsorganisatie zijn effec-ten opgetreden zoals het formaliseren van rollen en taken omtrent het organiseren van de ICT-infrastructuurof een andere invulling van rollen bij een ondersteunende dienst (verschuiving van administrateur naar adviseur).

Organisatie-effecten (figuur 7.9)


Nieuwe partnerships als gevolg van project (figuur 7.8)

nee (10)ja (12)

12

10

8

6

4

2

0

effect 1 effect 2 effect 3 effect 4 effect 5

1 verslechterd2 neutraal effect op de infrastructuur3 informeel verbeterd effect op de onderwijsorganisatie4 formeel verbeterd5 onbekend

aant

alpr

ojec

ten

1111

1

1

2

3

11

4

76

3

11

10 2

6

1

12

1012

01

1110

3

1

8 8

0

2

7.4 ProceseffectenDe impact van de projecten op het onderwijsproces is in kaart gebracht. Er is daarbij gekeken naar de con-tacttijd met de student, het leereffect als gevolg van de onderwijsvernieuwing, de hoeveelheid docenten en studenten die profiteren van de vernieuwing en de geldelijke besparing die de vernieuwing met zichmeebrengt.

Het blijkt dat de projectleiders aangeven dat de (fysieke) contacttijd met de student is afgenomen bij bijnade helft van de projecten. In 3 gevallen is de contacttijd toegenomen. Dit hangt bij één project samen meteen intensievere begeleiding. Bij de projecten waarin de contacttijd neutraal is gebleven, is dat bij twee projecten het gevolg van het anders invullen van de contacttijd.

Het leereffect blijkt bij de meeste projecten (13) toegenomen. In 4 gevallen blijkt dit uit evaluaties en/of tentamenuitslagen. Bij de 8 projecten waar het effect neutraal is gebleven volgens de projectleiders, is heteffect in geen enkel geval gemeten door middel van evaluaties en/of tentamenuitslagen. De arbeidssatis-factie is bij 12 projecten toegenomen; dit is slechts in één geval onderbouwd door middel van een evaluatie.Bij 8 projecten is het neutraal gebleven en van 1 project onbekend. De 4 projecten waarbij proceseffectenniet zijn gemeten zijn als ‘neutraal’ ingedeeld.

Onderwijsproceseffecten (figuur 7.10)

In de meeste gevallen profiteren per project meer dan 320 studenten (zie figuur 7.11). Bij sommige projectenwaarbij kleine opleidingen betrokken zijn, ligt dat lager. Het aantal studenten dat een jaar later profiteert,groeit bij elk project.

Aantal studenten dat profiteert van het project (figuur 7.11)


effect 1 effect 2 effect 3 effect 4

1 afgenomen2 neutraal contacttijd student3 toegenomen leereffect student4 onbekend arbeidssatisfactie docent

14

12

10

8

6

4

2

0

aant

alpr

ojec

ten

aantal studenten dat tot nu toe heeft geprofiteerdaantal studenten dat binnen een jaar gaat profiteren

16

14

12

10

8

6

4

2

0

aant

alpr

ojec

ten

< 10 < 20 < 40 < 80 < 160 < 320 > 320 onbekend

Het aantal docenten dat profiteert per project ligt bij de helft van de projecten tussen de 40 en 50. Dit aan-tal groeit bij een aantal projecten het jaar erna, maar dit komt minder vaak voor (figuur 7.12). Zowel voor het aantal studenten als docent geldt overigens dat alleen naar de oorspronkelijk betrokken instellingen isgekeken.

Aantal docenten dat gebruikmaakt van de resultaten (figuur 7.12)

7.5 Financiële effectenDe onderwijskosten zijn door het project in 5 gevallen verlaagd, dit is bij 2 projecten meetbaar, van de 3 andere projecten een inschatting. Acht projecten hebben een onderwijsvernieuwing ontwikkeld die duur-der is, bijvoorbeeld als gevolg van intensievere begeleiding of een duurder systeem. In zes gevallen blijven de kosten gelijk, bijvoorbeeld doordat de besparing op contacttijd de kosten van de techniek compenseert.In 3 gevallen is het onbekend of het project al dan niet een besparing heeft opgebracht (figuur 7.13).


aantal docenten dat gebruikt maakt van de resultatenaantal docenten die binnen een jaar gaat profiteren

12

10

8

6

4

2

0

aant

alpr

ojec

ten

0 < 10 < 20 < 30 < 40 < 50 onbekend

Zijn de onderwijskosten door het project toegenomen, afgenomen of hetzelfde gebleven? (figuur 7.13)

toegenomen (8)hetzelfde gebleven (6)afgenomen (5)onbekend (3)

10

0 0

8 8 8

3

1312

0 01

0 0 1 0 0 0

21 1

2 21

1516

12

0 0

32

6

3

1

3

1 1

1110

0

3

8

6

5

3


8 Conclusies en aanbevelingenDe impactanalyse is een voor SURF unieke methode om de daadwerkelijke effecten van de onderwijs-vernieuwingsprojecten in kaart te brengen. De conclusies van deze impactanalyse zijn:

Impact op onderwijsvernieuwing en implementatie

Conclusies:1 Uit de impactanalyse blijkt dat de SURF onderwijsvernieuwingsprojecten in vrijwel alle gevallen samen-

werking bereiken tussen twee of meer instellingen. Daarnaast dragen alle projecten bij aan kennisdelingover onderwijsvernieuwing op nationaal en in een aantal gevallen ook internationaal niveau. In 60% vande gevallen vindt daadwerkelijke uitrol plaats van projectproducten en lesmateriaal naar andere dan debij het project betrokken instellingen. Hierbij wordt in meer dan de helft van de gevallen het manage-ment bereikt, dat de implementatie van deze uitrol stimuleert.

2 Er is geen verband geconstateerd tussen de hoeveelheid disseminatie via seminars en presentaties én demate van uitrol van projectproducten naar andere instellingen. Vrijwel alle projecten dissemineren veel,ook de zes projecten waarbij geen uitrol van projectproducten naar andere instellingen heeft plaats-gevonden. Blijkbaar spelen bij het opschalen van projectresultaten andere/meer factoren een rol.

3 De ondervraagde projectleiders geven in 95% van de gevallen aan dat het project handvatten oplevertom bij volgende projecten nog beter te kunnen innoveren. Dit sluit aan bij de resultaten van de audit vanVan Hooff (2002) waaruit blijkt dat onderwijsvernieuwingsprojecten bijdragen aan kennis om voortdurendte kunnen innoveren. De opgedane handvatten zijn divers van aard en variëren van flexibele aanpak enhet laten zien van successen tot projectmatig werken. 77% van de projecten heeft effect op het ICT enOnderwijsbeleid. Deze effecten laten zien dat de onderwijsvernieuwingsprojecten bijdragen aan hetinnovatievaardig maken van de hoger onderwijsinstellingen.

4 De onderwijsvernieuwingsprojecten dragen bij aan meer kennis op een zevental actuele thema’s:1 Competenties, digitaal portfolio en toetsen 2 Samenwerkend leren en communities 3 Casussen, gaming en multiprofessioneel leren 4 Interactief lesmateriaal 5 (L)CMS en database 6 Video(conferencing) 7 Draadloos en mobiel leren.

Aan de projectleiders is gevraagd om per thema aan te geven in welke fase van ontwikkeling (substitutie,transitie, transformatie) de onderwijsvernieuwing van het project zich bevindt. Dit bleek een lastige taak.Uit de inschatting van de projectleiders blijkt dat de fase van onderwijsvernieuwing zich bij vijf van de zeventhema’s vooral in de substitutie en transitiefase bevindt. De transformatiefase komt procentueel het meestvoor bij de projecten die zich bezig houden met het thema ‘competenties, digitaal portfolio en toetsen’.In feite vindt onderwijsvernieuwing dus plaats in alle fasen. Uitrol van projectproducten vindt echter voor-namelijk plaats bij projecten die zich in de transitiefase bevinden.

Aanbevelingen:1 De verschillende vormen van uitrol van de projectproducten dienen nader te worden onderzocht, omdat

daarmee kennis opgedaan kan worden over wat effectieve methoden voor uitrol zijn. Nieuwe projectenkunnen deze kennis over de wijze waarop onderwijsvernieuwing succesvol kan worden opgeschaald,inzetten binnen hun eigen omgeving. Daarbij is van belang om mee te nemen hoe de projectresultatenop langere termijn worden geborgd.

2 Opschaling van onderwijsvernieuwing is een belangrijk thema van OCW en SURF. De hoeveelheid disse-minatie is niet de enige factor die hierbij een rol speelt. Het verdient daarom aanbeveling om te onder-zoeken welke factoren nog meer van belang zijn, bijvoorbeeld vakgebied, projectproces, etc. Dit kan zeerrelevant zijn voor nieuwe onderwijsvernieuwingsprojecten.

3 Deze studie heeft niet in kaart gebracht of er ook disseminatie plaatsvindt van de opgedane kennis ophet gebied van het innovatievaardig maken van de instelling. Het verdient aanbeveling om dat bij een


volgende studie wel te doen, gezien het belang dat de verschillende stakeholders (OCW, SURF en instellingen) hechten aan het innovatievaardig maken van het hoger onderwijs.

4 Het in kaart brengen van de verschillende fasen, waarin projecten zich bevinden, bleek door middel vaninterviews niet eenduidig vast te stellen. Voor meer betrouwbaarheid wordt aanbevolen om hiervoor inde toekomst gebruik te maken van een externe review-groep.

5 In het TNO-rapport ‘Van groei naar bloei’ (2005) wordt geadviseerd om met projecten die gericht zijn optransformatie voorlopig alleen te experimenteren, omdat de ontwikkeling nog niet is uitgekristalliseerd.Het stimuleren van opschaling zou vooral moeten plaatsvinden bij die ‘content’ die al een redelijk gebruikheeft. Uitgaande van de bevindingen van dit rapport bevelen we aan om te onderzoeken of projecten dieeffect hebben op thema’s in de substitutie- en/of transitiefase, nog meer gestimuleerd zouden kunnenworden om op te schalen. De inspanningen voor uitrol naar andere instellingen zouden dan minder grootkunnen zijn voor projecten die zich in de transformatiefase bevinden. Deze projecten zijn volgens hetTNO-rapport namelijk op dit moment minder uitgekristalliseerd.

Impact op e-learningambities 2005

Conclusies:De E-learningnotitie vermeldt twee ambities op het gebied van e-learning in het hoger onderwijs.

1 De projecten hebben volgens de projectleiders vrijwel allemaal bijgedragen aan de eerste ambitie van deoverheid: streven naar meer innovatief, flexibel en vraaggestuurd onderwijs. Uit deze studie blijkt dat 50%van de geïnterviewde projectleiders vindt dat hun project heeft bijgedragen aan innovatief, flexibel envraaggestuurd onderwijs en 41% van de projecten heeft volgens de betrokken projectleiders bijgedragenaan innovatief en flexibel onderwijs.

2 De tweede ambitie hangt samen met het inzetten van ICT voor strategische doelen: verwezenlijking vande Lissabon-ambitie (meer studenten in de bèta/techniek en de zorg, internationalisering en leven langleren). In het algemeen blijkt dat de projectleiders vinden dat de projecten weinig bijdragen aan dezeambitie. Er is echter wel een aantal projecten dat op sommige aspecten impact heeft, bijvoorbeeld eengeconstateerde verhoogde instroom in een betrokken zorgopleiding als gevolg van meer maatwerk of hetsnel laten doorwerken van vernieuwing in de opleiding, afgestemd op de vraag uit de beroepspraktijk.

Aanbevelingen:1 Voor veel van de in deze notitie genoemde effecten zijn geen harde gegevens beschikbaar: een groot deel

is gebaseerd op de indruk van projectleiders ten aanzien van een bepaald effect. Door vanaf het begin vanhet project te evalueren op specifieke en/of algemene effecten kan de impact beter en betrouwbaarder in kaart worden gebracht. Ook kan daarmee de kans op eventueel sociaal wenselijke antwoorden wordenverkleind. Vanzelfsprekend kan deze evaluatie parallel lopen aan evaluatie van de projectspecifieke doel-stellingen, die wel uitgebreid worden geëvalueerd maar in deze notitie niet zijn meegenomen. Een anderemethode om de gegevens meer betrouwbaar in kaart te brengen is door gebruik te maken van externebeoordelaars, bijvoorbeeld bij het indelen van de projecten op hun impact op innovatief, flexibel en vraag-gestuurd onderwijs.

2 Om te realiseren dat onderwijsvernieuwingsprojecten bijdragen aan de inzet van ICT voor strategischedoelen, zoals omschreven in de tweede ambitie van de E-learningnotitie, zullen de tenders anders vorm-gegeven moeten worden. Belangrijke aandachtspunten daarbij zijn om ervoor te zorgen dat deze doelenaansluiten bij die van de hoger onderwijsinstellingen en dat de effecten meetbaar worden gemaakt.

3 Een beperkt aantal projecten heeft (voor een deel) effect op de geformuleerde strategische doelen.Deze projecten kunnen wellicht inspiratie bieden bij het ontwikkelen van beleid voor vervolginitiatievenom de strategische doelen, geformuleerd in de tweede ambitie van de E-Learningnotitie te bereiken.

Algemene effectenNaast de effecten op de oorspronkelijke doelstellingen van de tenders, is ook gekeken naar een aantal algemene effecten die men mag verwachten bij het uitvoeren van vernieuwingsprojecten in het onderwijs.


De conclusies rond deze algemene effecten zijn gegroepeerd naar de subcategorieën die daarvoor zijn gedefinieerd.

Conclusies:1 Kenniseffecten: wat betreft de kenniseffecten kan geconstateerd worden dat de onderwijsvernieuwings-

projecten duidelijk tastbare sporen nalaten in de vorm van publicaties, presentaties en concrete software;kennis is verspreid buiten het eigen projectteam, zowel in de richting van docenten als studenten.Te bezien valt of de kennis die verspreid is daadwerkelijk beklijft bij de doelgroep van een project.

2 Positie: de meerderheid van de onderwijsvernieuwingsprojecten rapporteert een gevoelde verbeteringvan de reputatie van de betrokken instelling(en) als gevolg van deelname aan een tender. Bevestiging vandit beeld door de omgeving van een onderwijsvernieuwingsproject is niet gezocht. Doordat 55% van deprojecten een vervolgproject (niet verkregen via SURF) heeft, kan gezegd worden dat de betrokken instel-ling of instellingen worden gewaardeerd op hun innovatiereputatie.

3 Proces: 45% van de onderwijsvernieuwingsprojecten rapporteert een vermindering van contacttijd metde student als gevolg van de door hen ontwikkelde interventies. Bij de meerderheid van de onderzochteprojecten wordt een toegenomen leereffect door studenten gerapporteerd, hoewel dit niet altijd blijkt uitharde gegevens. Ook de arbeidssatisfactie van docenten is bij een kleine meerderheid van de projectentoegenomen, hoewel dit slechts bij één project is onderbouwd via een uitgevoerde evaluatie. In de meestegevallen profiteren per project meer dan 320 studenten van de ontwikkelde interventies en tussen de 40 en 50 docenten van de bij het project betrokken instellingen. In de gevallen waar uitrol naar anderedan bij het project betrokken instellingen heeft plaatsgevonden, is geen zicht op het aantal betrokkendocenten en studenten.

4 Organisatie: De ICT-infrastructuur en de onderwijsorganisatie is in ongeveer de helft van de projectennoch verbeterd, noch verslechterd. Bij acht projecten zijn beide factoren formeel verbeterd. Hoe die ver-beteringen eruit zien, verschilt per project: de ICT-infrastructuur kan bijvoorbeeld zijn verbeterd op hetgebied van multimediavoorzieningen. Wat betreft verbeteringen op het gebied van de onderwijsorganisa-tie zijn effecten opgetreden zoals het formaliseren van rollen en taken omtrent het organiseren van deICT-infrastructuur of een andere invulling van rollen bij een ondersteunende dienst (verschuiving vanadministrateur naar adviseur).

5 Financieel: in financiële zin leveren de onderwijsvernieuwingsprojecten een wisselend resultaat. In eenaantal gevallen worden de onderwijskosten verlaagd (hoewel niet altijd aantoonbaar). In sommige geval-len stijgen de onderwijskosten (hoewel soms tijdelijk, naar inschatting van de respondenten). In sommigegevallen blijven de onderwijskosten gelijk en in een drietal gevallen is het onbekend of het project al danniet een besparing heeft opgeleverd.

Aanbevelingen1 Kennis: de nadruk die binnen de tendervoorwaarden wordt gelegd op kennisdisseminatie dient gehand-

haafd te blijven om te waarborgen dat projecten hier expliciet aandacht aan besteden. Daarbij dient meerinzicht te komen in de factoren die voor succesvolle opschaling een rol spelen zodat de disseminatiestra-tegie daarop afgestemd kan worden. Wanneer bijvoorbeeld in een project een helder beeld is van de doelgroep die men wil bereiken met de nagestreefde vernieuwing, kan disseminatie effectiever wordeningezet. Het is niet onderzocht of de ontwikkelde kennis een breder publiek kan (of had kunnen) bereikenindien de kennis naar een iets ander aggregatieniveau was vertaald. Het is van belang om dit bij een volgende impactanalyse wel in kaart te brengen.

2 Positie: hoewel de impactanalyse van de algemene effecten laat zien dat projectleiders een verbetering in reputatie van de betrokken instelling(en) ervaren, dient dit beeld bevestigd te worden door derden vooreen meer betrouwbaar beeld.

3 Proces-, organisatieen financiële effecten: de projecten hebben vaak effect op het proces, de organisatieen/of de kosten. Het zijn dus belangrijke randvoorwaarden voor onderwijsvernieuwing.Het verdient daarom aanbeveling om het te verwachten effect van het project op deze terreinen aan hetbegin van het project te expliciteren. Tijdens het project kan het vervolgens worden gemeten met concreteevaluaties.


9 English summarySURF’s educational innovation projects have achieved much in terms of knowledge sharing and educationalinnovation itself. This is the result shown by the impact analysis of the nineteen innovation projects thatwere selected in the tenders of 2001 and 2002 and three projects carried out in 2003.

Most notable is that in 60% of the 22 projects, products have actually been rolled out to other institutionsand teaching material has been used by institutions other than those involved in the projects. In mostcases it was the management of an institution that noticed new developments and opportunities and consequently stimulated its implementation.The impact analysis demonstrates that innovations found their way into every phase of changing the educational learning process (i.e. substitution, transition and transformation). Of the products and teachingmaterial that were successfully rolled out, most (77%) were generated by projects that accomplished resultsin the transitional phase (n=13). The extent of dissemination does not seem to be the sole factor determiningthe effective roll-out of products and teaching material.

It would therefore be advisable to investigate the other factors that might play a role, such as subject area,project process etc. With a view to developing new innovation policies, a survey has been initiated to findout to what extent innovation projects helped to achieve the ambitions formulated in the Ministry ofEducation, Culture and Science’s E-learning Memorandum 2005. Please note that the projects that started in 2001, 2002 and 2003 were not aimed at achieving these ambitions.

The analysis shows that the innovation projects had a serious impact on two ambitions listed in the aforementioned memorandum: the projects stimulated innovative, flexible and demand-driven educationand they deployed ICT for strategic objectives. As for the first ambition, 50% of the 22 projects had an impacton innovative and flexible education and 41% produced headway in innovative and flexible learning as wellas in demand-driven education.Regarding the second ambition, in a number of cases the projects had an impact on aspects of ICT used forstrategic objectives. In one particular instance a project manager observed an increased intake into an alliedstudy programme in health care.

This impact analysis has provided a better idea of what the projects achieve collectively, and how this relatesto the original as well as current policy objectives. Given the request by the Ministry of Education, Cultureand Science to monitor innovation projects and the resulting impact more intensively, it would be logical to perform similar impact analyses more often, with a number of modifications to increase their value and reliability.


Tot slotDit rapport presenteert de resultaten van een eerste impactanalyse van 22 onderwijsvernieuwingsprojecten.Het is de eerste keer dat SURF een dergelijk onderzoek heeft uitgevoerd om zich te oriënteren op de waardevan het meten van de effecten van de onderwijsvernieuwingsprojecten. Hierdoor is het onderzoek beperktgebleven tot desk research en interviews met projectleiders. Voor een volgende impactanalyse is het vanbelang om de gegevens meer betrouwbaar in kaart te brengen. Dit kan bijvoorbeeld door tijdens de project-periode systematisch te evalueren op een aantal indicatoren en/of door naast interviews met projectleidersook andere stakeholders te interviewen.We willen de ervaringen die we met de impactanalyse hebben opgedaan graag meenemen bij de volgendekeer, want één ding is duidelijk geworden: door het uitvoeren van een impactanalyse wordt inzicht verkre-gen in wat de projecten als collectief bereiken en hoe zich dit verhoudt tot de oorspronkelijke en huidigebeleidsdoelstellingen.


instelling? (0=nee, 1=ja)

leren mbv van ICT bijgedragen aan meer kennis op het gebied

vancompetenties, digitaal pf en toetsen

(0=nee, 1=substitutie 2=transitie

3=transformatie)

bijgedragen aan meer kennis op het gebied

van samenwerkend leren en communities

(0=nee, 1=substitutie 2=transitie

3=transformatie)


van casussen, gaming en multiprofessioneel

leren (0=nee, 1=substitutie 2=transitie

3=transformatie)


van interactief lesmateriaal (0=nee,

1=substitutie 2=transitie 3=transformatie)


van (L)cms en database (0=nee,



van video(conferencing) (0=nee,



van draadloos en mobiel leren (0=nee,


E-learningnotitie (2005) innovatief, flexibilisering bijgedragen aan innovatief, flexibel en

en vraaggestuurd vraaggestuurd onderwijs onderwijs

onderwijs (0=nee, 1=innovatief (nieuw

onderwijsconcept), 2=innovatief en flexibel,

3=als 2 + vraaggestuurd)

Beta en techniek verhoogde instroom (0=nee, 1=ja maar

onbekend of door project is gekomen,

2=ja mede door project)

vernieuwing in de opleidingen en

beroepenstructuur (afgestemd op vraag van

de beroepspraktijk) (0=nee, 1=ja)

Zorg verhoogde instroom (0=nee, 1=ja maar

onbekend of door project is gekomen,

2=ja mede door project)

vernieuwing in de opleidingen en beroepen-

structuur (afgestemd op vraag van de

beroepspraktijk)(0=nee, 1=ja)

Leven lang leren Doorstroom mbo-hbo (0=nee, 1=ja)

aansluiting vo-ho flexibeler (0=nee, 1=ja)


Bijlage 1 IndicatorenHieronder staan de indicatoren, geordend per categorie. Via desk research en interviews met projectleiders is de mate van het effect in kaart gebracht en een beschrijving van het geconstateerde effect. Daarnaast isde bron gewaardeerd. De bron van elk effect is gescoord op een schaal van 1 tot 5, waarbij: 1. effect is nietgeconstateerd; 2. effect is geconstateerd maar niet gedocumenteerd; 3. effect is gedocumenteerd; 4. effect isgedocumenteerd en onderbouwd; 5. effect is gedocumenteerd en onderbouwd door niet-projectbetrokkenen

VolgnummerNaam projectGebruikte literatuurWeb resourcesDoel project

doel categorie Indicator mate van beschrijving waardering

effect geconstateerde bron

effecten op

genoemde

aspecten

Onderwijsvernieuwing Verspreiden en breed samenwerking tussen betrokken

en Implementatie implementeren van instellingen (0 geen samenwerking,

lokale succesvolle 1 wel samenwerking)

ICT-initiatieven

uitrol bij andere dan de oorspronkelijk

betrokken opleidingen (aantal opleidingen

noemen, geen namen) (0=geen uitrol, 1=

uitrol van projectideeën en ervaringen,

2=gebruik van projectproducten en

lesmateriaal door andere faculteiten)

uitrol naar andere dan de oorspronkelijk

betrokken instellingen (namen betrokken

instellingen noemen) (0=geen uitrol, 1=

uitrol van projectideeën en ervaringen,

2=gebruikvan projectproducten en

lesmateriaal door andere instelling,

collegiale incidentele uitwisseling

3= als 2 maar dan gestimuleerd door het

beleid/management (systematisch) van

andere instelling)

exploitatie van digitale producten in Espelon

of anderszins (0=niet, 1=espelon, 2=elders)

seminars verzorgen (0=nee, 1=j1, 2=2, 3=3, 4>3

website met projectinformatie

(0=SURFwebpagina, 1=eigen website en

SURFwebpagina)

Bijdragen aan het zijn in project handvatten opgedaan om in

innovatievaardig maken volgende projecten nog beter te innoveren?

van de ho-instellingen Licht toe wat de belangrijkste ervaringen

zijn op dit gebied. (0=nee, 1=ja)

heeft het project effect op het ICT&

Onderwijsbeleid van de betrokken


(0=niemand, 1<10, 2<20, 3<40, 4<80, 5<160,

6<320, 7>320)

Positie en organisatie- Reputatie instelling als gevolg van

effecten project (0=verslechterd, 1=neutraal,

2=verbeterd)

Projectpartnership (0=verslechterd,

1=neutraal, 2=verbeterd)

Effect op de ICT-infrastructuur

(0=verslechterd, 1=neutraal, 2=verbeterd,

maar infomeel, 3=verbeterd, formeel)

Effect op de onderwijsorganisatie

(0=verslechterd, 1=neutraal, 2=verbeterd,

maar infomeel, 3=verbeterd, formeel)

Nieuwe partnerships als gevolg van

project (0=nee, 1=ja)

Onderwijsproceseffecten Contacttijd student(0=toegenomen,

1=neutraal, 2=afgenomen)

Leereffect studenten (0=afgenomen,

1=neutraal, 2=toegenomen)

Aantal studenten dat tot nu toe heeft

geprofiteerd van het project (0=niemand,

1<10, 2<20, 3<40, 4<80, 5<160, 6<320, 7>320)

Aantal studenten dat binnen 1 jaar gaat

profiteren van het project (0=niemand,

1<10, 2<20, 3<40, 4<80, 5<160, 6<320, 7>320)

Aantal docenten dat nu gebruik maakt van

de resultaten van het project (0=niemand,

1<10, 2<20, 3<30, 4<40, 5>40)

Aantal docenten dat binnen 1 jaar gaat

profiteren van het project (0=niemand,

1<10, 2<20, 3<30, 4<40, 5>40)

Arbeidssatisfactie betrokken docenten

(0=afgenomen, 1=neutraal, 2=toegenomen)

Financiële effecten Zijn de onderwijskosten door het project

toegenomen, afgenomen of hetzelfde

gebleven? (0=toegenomen, 1=hetzelfde

gebleven, 2=afgenomen)

Algemene informatie budget project

tenderjaar

aantal betrokken instellingen

naam instelling 1

naam instelling 2

naam instelling 3

naam instelling 4


aansluiting ho en arbeidsmarkt flexibeler

(0=nee, 1=ja)

snel doorwerken van nieuwe

ontwikkelingen uit het bedrijfsleven

in onderwijs (0=nee, 1=ja)

vergroten doorstroom werkzoekenden

aan onderwijs (0=nee, 1=ja)

toegankelijkheid van onderwijs voor

mensen met een functiebeperking

vergroten (0=nee, 1=ja)

Internationalisering vergroten wervingskracht van instellingen

(0=nee, 1=ja)

bekorten van de periode dat studenten in

het buitenland zijn (0=nee, 1=ja)

verwerven van competenties om in

internationale context te kunnen

functioneren (0=nee, 1=ja)

onderwijs aan buitenlandse opleiding op

afstand volgen (0=nee, 1=ja)

Algemene effecten Kenniseffecten Publicaties (aantal, aard)( 0=nee, 1=ja,

projectrapporten, 2=SURFpublicaties en

themasites, 3=externe publicaties en

tijdschriften 4=zowel 2 als 3)

Presentaties (aantal, intern/extern)(0=nee,

1=ja, projectseminars, 2=ja, op SURF

congresssen en seminars, 3=ja, externe

congressen nationaal, 4=nationaal en

internationaal, 5=2+3, 6=2+3+4)

Aantal nieuwe methoden en technieken

(0=geen, 1=een, 2=twee, 3=drie, 4=vier,

5=vijf, 6=zes, etc)

Aantal software producten (prototypes,

demonstrators, etc) concreet toewijsbaar

aan project (0=geen, 1=een, 2=twee, 3=drie,

4=vier, 5=vijf, 6=zes, etc)

Aantal software producten dat zonder

meer ingezet kan worden bij andere

instellingen (0=geen, 1=een, 2=twee,

3=drie, 4=vier, 5=vijf, 6=zes, etc)

Aantal medewerkers bij betrokken

instellingen wiens kennis vergroot is door

het project (0=niemand, 1<10, 2<20, 3<30,

4<40, 5>40)

Aantal studenten dat blootgesteld is aan

de kennis die door het project is gecreeerd


Bijlage 2 Literatuur

E-learningnotitie 2005, http://www.minocw.nl/brief2k/2005/doc/7219.pdf

Hooff, van C. Het onderwijsvernieuwingsprogramma van SURF Educatie<F> nader bekeken. Stichting SURF,2002

Ingeluyff, E, Verstelle, M., en Luipen, van K. (2005) Een denkkader voor Proffesionaliseringsinterventies in het kader van ICT in het onderwijs. e-Learning Researchreeks 3, Stichting SURF, augustus 2005.

Itzkan, S.J. (1994). Assessing the Future of Telecomputing environments: Implications for Instructions andAdministration. The Computing Teacher, 22, (4) 60-64

Kischner, P.A., Wopereis, I.G.J.H., Paas, F., Hendriks, M. Determinants for Failure and Success of InnovationProjects: The Road to Sustainable Educational Innovations. Open Universiteit Nederland, 2005 ISBN 90-358-2294-3

Pennings, van L., Staden, van M., Limonard, S. en Frissen, V. (2005) Van Bloei naar Groei Condities voor ontwikkeling en toepassing van business modellen voor webbased educatieve content. TNO Rapport,mei 2005


Stichting SURFPostbus 22903500 GG Utrecht,T 030 234 66 00F 030 233 29 60E [email protected] www.surf.nl

Stichting SURF is de ICT-samenwerkingsorganisatie voor het hoger onderwijs en onderzoek in Nederland.De Nederlandse universiteiten enhogescholen werken samen in SURF, zowel wat het netwerk SURFnet en de licenties van SURFdiensten betreft als ten aanzien van ICT-ontwikkelingen op de domeinen onderzoek, onderwijs en organisatie.

3Veel bereikt,nog veel te doen 3 · die onder de verbluffende coördinatie van Eja Kliphuis in een...

Documents

Transcript of 3Veel bereikt,nog veel te doen 3 · die onder de verbluffende coördinatie van Eja Kliphuis in een...