Meerjarenplan

SURF SIG Digitaal Toetsen (periode juni 2011 - jan 2014)

Mission statement Bevordering van kwantiteit en kwaliteit van digitale toetsing in het onderwijs, door het bij elkaar

brengen van experts en belangstellenden en het uitvoeren van gezamenlijke activiteiten ter bevordering van expertiseontwikkeling op het gebied van digitale toetsing.

Alexander Kremers en kernteam SURF SIG Digitaal Toetsen Juni 2011

2

Inhoudsopgave

Missie .........................................................................................................................................3 Doelstelling .................................................................................................................................5 Organisatie SIG DT .....................................................................................................................5 Activiteiten ..................................................................................................................................7

Opzetten community ................................................................................................................7 Opbouwen Website .................................................................................................................7

Werkwijze ............................................................................................................................8 Doelkoppeling ......................................................................................................................8

Lobbyen ..................................................................................................................................8 Werkwijze ............................................................................................................................8 Doelkoppeling ......................................................................................................................9

White Papers ...........................................................................................................................9 Werkwijze ..........................................................................................................................10 Doelkoppeling ....................................................................................................................10

Evenementen organiseren.....................................................................................................11 Werkwijze ..........................................................................................................................12 Doelkoppeling ....................................................................................................................12

Congresinformatie .....................................................................................................................13 Werkwijze ..........................................................................................................................15 Doelkoppeling ....................................................................................................................15

SIG DT Prijs ..............................................................................................................................15 Werkwijze ..........................................................................................................................16 Doelkoppeling ....................................................................................................................16

Inzicht in impact van digitaal toetsen .........................................................................................16 Nulmeting ..................................................................................................................................17 Integreren Portfolio en SIGMA ..................................................................................................19 Jaarlijkse evaluatie activiteiten en planning ...............................................................................20 Bijlagen .....................................................................................................................................23

3

Missie

Bevordering van kwantiteit en kwaliteit van digitale toetsing in het onderwijs, door het bij elkaar brengen van experts en belangstellenden en het uitvoeren van gezamenlijke activiteiten ter bevordering van expertiseontwikkeling op het gebied van digitale toetsing.

Aanleiding en achtergrond De Special Interest Groep Digitaal Toetsen (SIG DT) streeft er naar de expertiseontwikkeling op het gebied van digitale toetsing te bevorderen. In het onderwijs wordt nog onvoldoende gebruik gemaakt van de mogelijkheden van het digitale toetsen. Er zijn vele mogelijkheden van geautomatiseerde feedback, geavanceerde toetsmogelijkheden (zoals adaptief toetsen) waardoor men studenten in een vroeg stadium en op flexibele wijze inzicht kan verschaffen in hun studieprestaties en bijspijkerbehoefte. Het gezamenlijk gebruik maken van digitale toetsbanken is tijdsbesparend en men heeft daardoor ook meer mogelijkheden om instituutoverstijgende toetsen te ontwikkelen en landelijke initiatieven te ontplooien. De geavanceerde mogelijkheden voor toetsanalyse en mogelijkheid om innovatieve toetsmogelijkheden toe te passen (denk aan video, 3D foto’s, satellietbeelden, rekenkracht van computers, dynamische berekeningen) bieden veel meer mogelijkheden dan papieren toetsen (Toetsing en Toetsgestuurd Leren, SURFfoundation, 2010). De belangstelling voor digitaal toetsen wordt versterkt door de huidige ontwikkelingen rond het examenbeleid. In het huidige accreditatiekader van de NVAO (Beoordelingskaders ten behoeve van het accreditatiestelsel, NVAO, 6 december 2010) is “toetsing en gerealiseerde eindkwalificaties” als een apart onderwerp opgenomen. De bijbehorende standaard luidt dat de opleiding (in het geval van een opleidingsaccreditatie) moet beschikken over een adequaat systeem van toetsing en aan moet tonen dat de beoogde eindkwalificatie wordt gerealiseerd. In het kader van het onderwerp “kwaliteitszorg” komt toetsing ook aan de orde. De opleiding moet de kwaliteit bewaken “van de beoogde eindkwalificaties, het programma, het personeel, de voorzieningen, de toetsing en de gerealiseerde eindkwalificaties via regelmatige evaluaties” (Beoordelingskaders ten behoeve van het accreditatiestelsel, NVAO, 6 december 2010, p.28.) De SIG DT is op zoek naar systemen, expertise, processen en praktijkervaringen om de gestelde eisen omtrent accreditatie van toetsing op een digitale manier vorm te kunnen geven. Digitale toetssystemen bieden de potentie om toetsprocessen te optimaliseren en inzichtelijk te maken.

Rol en positionering SIG DT De SIG digitaal toetsen is een zelfstandige groep. De SIG DT bepaalt haar eigen beleid en missie en wordt ondersteund door SURFfoundation. SURF heeft het ontstaan van de SIG mogelijk gemaakt omdat SURF de kennisuitwisseling en community vorming rondom het thema Digitaal Toetsen wil faciliteren. Daarnaast is de SIG is in het leven geroepen om een bijdrage te

4

leveren aan het programma Toetsen en Toetsgestuurd Leren. Vanuit SURFfoundation is met financiële ondersteuning van het ministerie van OCW, het programma TTL opgestart om digitaal toetsen binnen instellingen naar een hoger plan te brengen. Binnen dit programma worden diverse activiteiten uitgevoerd verdeeld over 3 pijlers (zie programmaplan Toetsing en Toetsgestuurd Leren, SURFfoundation, 2010 en Routeboekje Toetsing en Toetsgestuurd Leren 2011). De SIG levert een bijdrage aan de realisatie van pijler 2 uit het programma TTL: het opzetten van een virtueel en fysiek expertisenetwerk voor digitaal toetsen. De rol van de SIG DT bestaat uit de volgende onderdelen:

- het fungeren als klankbord (kernteam) - kwaliteitstoets bij op te leveren resultaten (kernteam), - als doelgroep voor deelname aan activiteiten en afnemers van opgeleverde resultaten

(alle SIG DT leden) - als opdrachtnemer (een of meerdere individuen uit de SIG DT, kan zowel kernteam als

overige SIG leden zijn) wanneer vanuit het programma TTL een projectopdracht wordt uitgezet.

De SIG Digitaal Toetsen vormt de spin in het web die alle ontwikkelingen met betrekking tot digitaal toetsen signaleert. Vanuit de SIG kunnen initiatieven worden opgestart en worden experts bij elkaar gebracht. Het doel van het programma van SURFfoundation is de kwaliteit van het onderwijs te verbeteren door digitaal toetsen op een hoger niveau te brengen. De SIG DT doet dit door bijeenkomsten te organiseren en door activiteiten uit te voeren die ervoor zorgen dat de expertise op het gebied van digitaal toetsen toeneemt. De SIG heeft daarnaast een disseminatiedoel; alle opgedane expertise probeert zij aan een zo groot mogelijke groep belangstellenden uit het hoger- en wetenschappelijk onderwijs kenbaar te maken.

5

Doelstelling De SIG Digitaal Toetsen heeft als concreet doel: het bij elkaar brengen van experts, belangstellenden en informatie op het gebied van digitaal toetsen. Door betrokkenen bij elkaar te brengen vergroot de expertisevorming rondom digitaal toetsen. Hiermee wordt een impuls gegeven aan het verbeteren van de kwaliteit van digitaal toetsen en neemt het gebruik van digitaal toetsen in het hoger- en wetenschappelijk onderwijs toe. Het bij elkaar brengen van betrokkenen doet de SIG DT aan de hand van het organiseren van bijeenkomsten, het gezamenlijk bezoeken van congressen en seminars en het uitbrengen van publicaties en white papers. De SIG activiteiten sluiten aan op en versterken de andere activiteiten binnen het programma Toetsing en Toetsgestuurd leren. De bijeenkomsten zorgen voor (docent)professionalisering en voor het verspreiden van kennis en ervaringen waardoor het gebruik van digitale toetsvormen toe kan nemen. Deze doelen kunnen we behalen door:

1. Kennis bundelen: bij elkaar brengen van experts, medewerkers in projecten en docenten in onderwijs.

2. Kennis delen: stimulering van uitwisseling van toetsen en toetsitems en promotie van standaarden die dit mogelijk maken.

3. Kennis verspreiden: opgedane kennis en ervaring over didactiek, organisatie en technologie verspreiden onder belangstellenden.

4. Kennis genereren: monitoren en oriënteren op nieuwe initiatieven (nationaal en internationaal)

Organisatie SIG DT In maart 2011 is de SIG DT opgericht en is het kernteam samengesteld.

Sinds mei 2011 bestaat het kernteam uit:

Alexander Kremers (Saxion) w.a.kremers@saxion.nl Silvester Draaijer (Vrije Universiteit) s.draaijer@vu.nl Anne-Floor Erdman (SURF) erdman@surf.nl Wil de Groot-Bolluijt (Hogeschool Rotterdam) w.de.groot-bolluijt@hr.nl Andre Heck (Universiteit van Amsterdam) a.j.p.heck@uva.nl Sharon Klinkenberg (Universiteit van Amsterdam) s.klinkenberg@uva.nl Marcel Penners (Hogeschool Arnhem en Nijmegen) marcel.penners@han.nl

De deelnemers van het kernteam hebben allen een achtergrond in onderwijs, toetsing, organisatie en techniek. Het kernteam vergadert minimaal vier keer per jaar. Alexander Kremers is de Community Manager / Voorzitter en het aanspreekpunt voor belangstellenden en voor SURF.

6

Taakverdeling Alle kernteamleden vervullen een rol in de uitvoering van de activiteiten. Zo worden in 2011 verschillende bijeenkomsten (SURF Academy seminar: ”Hoe selecteer ik een toetssysteem” en een masterclass digitale toetsconstructie- en analyse) georganiseerd door een aantal kernteamleden. Sharon Klinkenberg is redacteur van de website SURFspace, tabblad Toetsing, en tevens werkgroeplid van de werkgroep Realisatie expertisenetwerk digitaal toetsen. Alexander Kremers is de moderator/manager van de LinkedIN groep SURF SIG Digitaal toetsen In maart 2011 is er gestart met een LinkedIn groep en op 27 mei 2011 waren er 108 leden.

7

Activiteiten

Opzetten community Het opzetten van de SIG DT community is reeds via LinkedIn voltrokken. Het aantal bestaat op moment van schrijven uit 111 leden. Waar we ons in het komende jaar op zullen richten is het uitbreiden van dit netwerk. De doelgroepen die we hiervoor willen benaderen zijn:

● SIG DT Leden (Hoe kunnen we deze groep inzetten?) ● Beleidsmakers ● Icto-ers / informatiemanagers ● Docenten ● Ict-ers

Door gebruik te maken van het bestaande netwerk willen we deze community vergroten. We zullen de bestaande community via LinkedIn vragen mogelijke kandidaten uit te nodigen om lid te worden. Tevens zullen we de netwerkdagen en andere evenementen waar we aan deelnemen gebruiken om de LinkedIn community te vergroten. Er zijn aan deze activiteiten geen kosten verbonden. Om het netwerk/de community te kunnen onderhouden worden voor de community bijeenkomsten en activiteiten georganiseerd. Deze activiteiten kunnen gericht zijn op professionalisering, kennisdeling, kennisuitwisseling en netwerkuitbreiding. Alle activiteiten die de SIG organiseert die rechtstreeks ten goede komen aan de doelstellingen van het programma TTL van SURF worden deels of geheel met middelen vanuit het programma TTL bekostigd.

Opbouwen Website Om te kunnen profiteren van de bestaande infrastructuur en het al opgebouwde netwerk zullen we SurfSpace als portal gebruiken. SurfSpace zal slechts dienen als etalage voor de SIG digitaal toetsen. Vanuit SurfSpace zullen we doorverwijzen naar onze community pagina op LinkedIn en naar het expertisenetwerk dat door SURF wordt gerealiseerd. Het netwerk zal informatie gaan bevatten over de vele onderwerpen die gerelateerd zijn aan digitaal toetsen. Het is expliciet niet de bedoeling om de al beschikbare informatie hier te gaan verzamelen maar het is wel de bedoeling te verwijzen naar andere sites door middel van korte blogs over de betreffende onderwerpen. In die zin kan er ook gesproken worden over een kennisportaal op het gebied van digitaal toetsen. We zullen proberen om zoveel mogelijk structuur aan te brengen in de onderwerpen. Tevens willen we de site gebruiken om best practices te etaleren. Voor het handhaven van de site en het leveren van content willen we zoveel mogelijk de community betrekken om bijvoorbeeld materiaal of relevante nieuwtjes aan te leveren. Hiervoor

8

zal LinkedIn gebruikt worden om specifieke oproepen te doen aan de leden. De site kan ofwel afzonderlijk gehost worden of in zijn geheel worden ondergebracht onder SurfSpace. Het realiseren van het expertisenetwerk is onderdeel van het programma Toetsing en Toetsgestuurd leren van SURFfoundation. Vanuit het programma is een werkgroep gestart (realisatie expertisenetwerk digitaal toetsen) waarin een lid van het SIG kernteam zitting heeft. De realisatie van het expertisenetwerk valt onder verantwoordelijkheid van SURF, en is voor een groot deel belegd bij de SIG voor de uitvoering. De taken en resultaat en inspanningsverplichting van de werkgroep realisatie expertisenetwerk zijn beschreven in een opdrachtbeschrijving.

Werkwijze Aparte aanvraag via TTL

Doelkoppeling Kennis genereren

Out-of-Pocketkosten Onderdeel van de aanvraag

Lobbyen Doelstelling: beleidsmakers in het onderwijs overtuigen van het belang van het digitaal toetsen. De SIG Digitaal Toetsen streeft er naar om herkenbaar te zijn voor beleidsmakers en gezien te worden als een expertgroep waar beleidsmatig deskundig advies verkregen kan worden op het gebied van digitaal toetsen. De SIG Digitaal Toetsen wil een professionele inhoudelijke bijdrage leveren aan besluitvorming en beleidsontwikkeling op strategisch niveau. Doelgroep:

● Strategisch: bv College van besturen/ SURFbestuur / HBO-raad / NVAO / OC&W ● Tactisch: bv opleidingsmanagers en directeuren/ landelijke overlegorganen /

examencommissies

Werkwijze Materiaal verzamelen om “boodschap “over te brengen zoals:

- Aansluiting digitaal toetsen bij huidige beleidsthema’s onderwijs. Bijvoorbeeld: kwaliteitsverhoging, tijdsbesparing, aansluiten bij sociotechnologische ontwikkelingen

- Overzicht maken van de belangrijkste thema’s en aansluiten bij actuele ontwikkelingen - Nieuwsbrieven - Presentaties

Voorwaarden voor uitvoering: - Goede website - Goede publicaties/nieuwtjes --- persberichten

9

- White papers Vaststellen doelgroep en top 5 te benaderen groepen of personen Activiteitenplanning 2011-2012

- Contactpersonen overzicht maken / Emaillijst met koppeling leden kernteam - Bijeenkomsten organiseren (ronde tafel beleidsmakers) - Individuele contacten - Op agenda komen bij thema besprekingen doelgroepen - Evaluatie doelstellingen en activiteiten

Doelkoppeling Kennis delen / verspreiden / genereren

Out-of-Pocketkosten Twee bijeenkomsten voor ongeveer 20 personen per keer.

White Papers Een van de expliciete behoeften die vanuit het programma TTL bij de SIG zijn neergelegd is het voorzien in expertiseontwikkeling met betrekking tot een aantal onderwerpen. Deze onderwerpen zijn onderdeel van het te realiseren expertisenetwerk. Op dit moment is over deze onderwerpen onvoldoende informatie om de onderwerpen afdoende af te dekken in het expertisenetwerk. Om die reden is aan het SIG kernteam gevraagd of een of meerdere individuen de opdracht aan willen nemen een white paper over die onderwerpen op te stellen. Een complete lijst met alle te produceren white papers in de periode 2011-2013 is als bijlage opgenomen. De SIG zal een aantal White Papers maken. Deze white papers worden gemaakt door de SIG en toegevoegde leden die optreden als experts op dit terrein. Deze white papers moeten beleidsmakers in het voortgezet en hoger onderwijs informeren over de belangrijkste issues met betrekking tot digitaal toetsen en hen in staat stellen om beslissingen te helpen nemen rondom het investeren in digitaal toetsen, het formeren van ondersteuningsorganisaties en het professionaliseren van docenten en ondersteuners. De volgende onderwerpen wil het kernteam gaan behandelen. Voordat er daadwerkelijk gestart wordt met het maken/schrijven van het white paper dient deze te zijn goed gekeurd door het programmamanagement van TTL

10

Voorstellen: Onderwerp A: Toetskwaliteit Verantwoordelijke: W.A. Kremers – Saxion Status: Offerte goedgekeurd door TTL Onderwerp B: Inventarisatie van Toetssystemen en gebruik in het HO Verantwoordelijken: Sylvester Draaier en Marcel Penners Status: Offerte is nog niet ingediend bij TTL Onderwerp C: Toetsverwerking Verantwoordelijke: Nog niet toegewezen Status: Zie de bijlage voor de white paper opdrachten die in 2012 en 2013 worden aangeboden vanuit het programma TTL.

Werkwijze ● 3 white papers in jaar 2011 (A, B en C) ● Voor het schrijven van een Whitepaper wordt vanuit het programma Toetsing en

Toetsgestuurd leren van SURFfoundation een opdrachtbeschrijving beschikbaar gesteld. Degene(n) die de opdracht aan willen nemen en het white paper willen schrijven brengen daarvoor een offerte uit aan het programmamanagement. Op basis van die offerte wordt vanuit het programma een vergoeding voor het schrijven beschikbaar gesteld. De goedgekeurde offerte dient als uitgangspunt voor voortgang overleggen met het programmamanagement. De onderwerpen voor de white papers hebben een directe relatie met het expertisenetwerk. De voltooide white papers worden, na akkoord door het programmamanagement, opgenomen in het expertisenetwerk.

● Alle white papers worden onder Creative Commons licentie opgeleverd. ● Wanneer de white papers klaar zijn kunnen zij worden verspreid (eventueel in kleinere

artikelen) in tijdschriften. ● Indien relevant worden rondom de voltooiing van de white papers disseminatie

activiteiten georganiseerd als een seminar/bijeenkomst om de resultaten te presenteren. Ook is het mogelijk om een white paper in sommige gevallen, indien de publiciteitswaarde voldoende is, als folder/boekje af te drukken en te verspreiden.

● Het is mogelijk dat de SIG besluit een white paper te schrijven dat geen directe relatie heeft met het expertisenetwerk en het SURF programma Toetsing en Toetsgestuurd Leren. In dat geval bespreekt de SIG apart met het programmamanagement of er voor de oplevering van het white paper al dan niet middelen vanuit het programma beschikbaar worden gesteld.

Doelkoppeling Kennis genereren

11

Out-of-Pocketkosten Zie gereserveerde bedragen in de bijlage. De bedragen worden definitief op basis van een offerte die de schrijver (opdrachtnemer) van het white paper opstelt.

Evenementen organiseren De SIG initieert/organiseert bijeenkomsten voor toetsbetrokkenen uit instellingen voor hoger- en wetenschappelijk onderwijs. Dit kan de SIG op eigen kracht doen, of in samenwerking met het SURF programma Toetsing en Toetsgestuurd leren, of omdat het programma en-of de SIG DT een bepaald inhoudelijk onderwerp via een bijeenkomst aan de orde wil stellen (zie bijlage). In beide gevallen kan de SIG een beroep doen op SURFacademy, een programma dat faciliteert bij het organiseren van professionaliserings- en disseminatiebijeenkomsten. Eén van de resultaten die het programma Toetsing en Toetsgestuurd Leren samen met de SIG DT oplevert is een ingericht expertisenetwerk rondom digitaal toetsen. Dit netwerk bestaat uit een, digitaal ontsloten, verzameling van producten met betrekking tot digitaal toetsen zoals: onderzoeksresultaten, projectresultaten, leermodules, publicaties, white papers, weblectures etc. Deze producten kunnen eveneens tot stand komen via het organiseren van bijeenkomsten onder de vlag van SURFacademy. De rol van de SIG bij de realisatie van het expertisenetwerk is meervoudig. Enerzijds gebruikt het programmamanagement van het programma TTL de SIG (m.n. het kernteam) als kwaliteitstoets bij op te leveren resultaten. Bijvoorbeeld: het programma stelt een Open Educational resource product op m.b.t. digitaal toetsen (beknopte cursus Digitaal Toetsen). Aan het kernteam wordt gevraagd kritisch mee te lezen en correctievoorstellen te doen. Daarnaast kan het programmamanagement aan de SIG vragen om een opdracht uit te voeren in het kader van het expertisenetwerk (bijvoorbeeld het schrijven van een white paper, het uitvoeren van een onderzoek, het bezoeken en verslag doen van een congres e.d.). Ook wordt aan het kernteam gevraagd om een bijdrage te leveren bij evenementen en bijeenkomsten die vanuit het programma, vaak onder de vlag van SURFacademy, georganiseerd worden. Die bijdrage kan bestaan uit het geven van sessies/trainingen, het aanleveren van documentatie, het actief mee-organiseren en het promoten van de activiteiten in het veld. De SIG leden kunnen, vanuit hun positie, of door het betrekken van andere deskundigen uit het netwerk heel goed aangeven welke onderwerpen zich goed lenen om, ter vervolmaking van het expertisenetwerk, een bijeenkomst aan te wijden en spelen een belangrijke rol in de organisatie van bijeenkomsten. In de bijlage staan alle onderwerpen benoemd die op dit moment belangrijk worden gevonden als onderdeel van het expertisenetwerk. In de loop van de tijd kan deze lijst met inhoudelijke onderwerpen worden aangevuld met nieuwe uit te werken onderwerpen.

12

Werkwijze Onderwerpen en activiteiten waar de SIG aandacht aan meewerkt tot en met augustus 2012

● Het selecteren van toetssystemen (seminar is gepland op 13 september, i.s.m. SURFacademy en programmamanagement Toetsing en Toetsgestuurd leren)

● Digitale itemconstructie en toetsanalyse (masterclass, reeds gepland i.s.m. SURFacademy en programmamanagement Toetsing en Toetsgestuurd leren

● Seminar Toetstheorie, Toetsprocessen en Educatief beleid/Strategie m.b.t. Digitaal Toetsen (allen te organiseren in 2012)

● Bijeenkomst voor SIG DT leden (Onderwerp en sprekers is afhankelijk van de resultaten / uitkomsten van de enquête)

Doelkoppeling Kennis delen

Out-of-Pocketkosten Als SIG leden een rol vervullen bij het meewerken aan bijeenkomsten worden of aparte overeenkomsten afgesloten zoals bij de organisatie van de masterclass (inhuur trainers) of worden reiskosten vergoed, of wordt een specifieke opdrachtbeschrijving gemaakt op basis waarvan een vergoeding wordt verstrekt (bijv. dagvoorzitterschap). Er zijn totaalkosten gereserveerd per bijeenkomst (zie bijlage).

13

Congresinformatie Een manier om aan input te komen die verwerkt kan worden tot een nuttig naslagwerk op het expertisenetwerk is het bezoeken van een (internationaal) congres dat een onderwerp behandelt dat relevant is. Doel:

1. SIG leden informeren/uitnodigen over congressen die aansluiten bij het thema (congres agenda)

2. Kennisdissiminatie en verslaglegging (verslagen, white papers, weblectures, linken, presentaties, etc.)

Onderstaande conferenties sluiten aan bij de inhoudelijke onderwerpen waar het expertisenetwerk van het programma TTL informatie over wil ontsluiten. Concreet worden de volgende conferenties bezocht (planning 2011-2012) dit betekent echter niet dat per definitie deze conferenties elk jaar bezocht dienen te worden (ligt aan het thema en relevantie). Planning 2011-2012

Conferentie Inhoudelijke thema’s SURF

International Conference on Computer Aided Assessment (University of Southampton, UK): 5 en 6 juli 2011, http://caa.ecs.soton.ac.uk/

4. International Practices 5. Selectie/implementatie 6. Toetsvormen (portfolio, peerfeedback, MC, toets in beeld, adaptief, etc.) 7. Techniek (beveiliging, infra, toetszalen etc.) 10. Impact (en belangrijke bijeffecten: studiegedrag, samenwerking (boks), BPR) 13. Toetsprocessen, worksflow's 19. Educatief beleid/strategie mbt Digitaal Toetsen van een instelling

e-Assessment Scotland (University of Dundee, UK): 25 en 26 augustus 2011, http://www.e-assessment-scotland.org/

4. International Practices 5. Selectie/implementatie 6. Toetsvormen (portfolio, peerfeedback, MC, toets in beeld, adaptief, etc.) 7. Techniek (beveiliging, infra, toetszalen etc.) 10. Impact (en belangrijke bijeffecten: studiegedrag, samenwerking (boks), BPR) 13. Toetsprocessen, worksflow's 19. Educatief beleid/strategie mbt Digitaal Toetsen van een instelling

E-ATP (European conference of Association of Test Publishers), 28-30 sept 2011, Tsjechië, http://www.eatpconference.eu.com/

1. Toetssystemen 7. Techniek (beveiliging, infra, toetszalen etc.)

14

11. Toetsverwerking (alle activiteiten als de toets klaar is) 12. Longitidinaal meten van effecten en resultaten (toetsuitslagen) 14. Itemanalyse (naar het item zelf kijken) (zelfde als 16) 15. Effect van digitaal toetsen en van volgsystemen op korte en lange termijn, benchmarking en learning analytics 17. Normeren, standaarden opstellen (wanneer krijgt iemand een voldoende), kalibreren

ATP (Association of Test Publishers, Innovations in Testing), 26-29 feb 2012, Palm Springs, http://www.innovationsintesting.org/

1. Toetssystemen 7. Techniek (beveiliging, infra, toetszalen etc.) 11. Toetsverwerking (alle activiteiten als de toets klaar is) 12. Longitidinaal meten van effecten en resultaten (toetsuitslagen) 14. Itemanalyse (naar het item zelf kijken) (zelfde als 16) 15. Effect van digitaal toetsen en van volgsystemen op korte en lange termijn, benchmarking en learning analytics 17. Normeren, standaarden opstellen (wanneer krijgt iemand een voldoende), kalibreren

e-Assessment in Practice (Cranfield University, UK): 13 en 14 juni 2012, http://www.cranfield.ac.uk/cds/symposia/ea.html

International Conference on Computer Aided Assessment (University of Southampton, UK): 5 en 6 juli 2011, http://caa.ecs.soton.ac.uk/ 4. International Practices 5. Selectie/implementatie 6. Toetsvormen (portfolio, peerfeedback, MC, toets in beeld, adaptief, etc.) 7. Techniek (beveiliging, infra, toetszalen etc.) 10. Impact (en belangrijke bijeffecten: studiegedrag, samenwerking (boks), BPR) 13. Toetsprocessen, worksflow's 19. Educatief beleid/strategie mbt Digitaal Toetsen van een instelling

15

Werkwijze Bezoek van diverse congressen (5) door SIG DT leden. Iemand die een congres bezoekt krijgt als opdracht het verzamelen van wezenlijk interessante informatie voor het programma TTL in de vorm van een verslag. Dit verslag wordt beschikbaar gesteld aan een breder publiek en komt ter beschikking van het expertisenetwerk (Het verslag wordt gemaakt aan de hand van een vast format, vastgesteld door het kernteam en het programmamanagement vanuit SURF. Voor congresdeelname geldt dat vanuit het programma Toetsing en Toetsgestuurd Leren de kosten voor deelname aan de congressen door het programma worden vergoed (d.w.z.: reiskosten, overnachting en entreekaarten).

Doelkoppeling Kennis delen / verspreiden / genereren

Out-of-Pocketkosten Bezoeken van 3 conferenties door 1 lid van het kernteam: 3 * EUR 1000,- = EUR 3000

SIG DT Prijs Om te de bekendheid van digitaal toetsen te stimuleren stellen we als SIG DT een prijs ter beschikking. De TISeL prijs (Toetsen is Leuk prijs). Doel: Het vergroten van de bekendheid en acceptatie van digitale toetsing in NL. Initiatieven die voor de prijs in aanmerking kunnen zijn bijvoorbeeld bestaande werkwijzen waarmee aantoonbaar resultaat is verkregen, ideeën voor procesoptimalisatie, kwaliteitsverhoging, studenttevredenheid e.d. Kandidaten, practices of projecten kunnen zichzelf kenbaar maken bij de prijsorganisatie of de organisatie kan zelf een kandidaat zoeken. De ingezonden kandidaten, practices of projecten moeten bij voorkeur aan de volgende criteria voldoen:

● Het moet een bijdrage leveren aan het verminderen van studie-uitval en/of het verminderen van de werkdruk van de docenten.

● Het moet innovatief en creatief zijn en mag best leuk zijn ● Het moet gericht zijn op het verbeteren/verhogen van kwaliteit of kwantiteit van digitaal

toetsen binnen het onderwijs. ● Het moet reëel uitvoerbaar zijn of al ingevoerd. ● Het idee wordt ingebracht door een SIG DT lid (LinkedIn lid)

Wat zijn de randvoorwaarden;

1. De prijs is een bezoek aan één van de genoemde conferenties. 2. De bijdrage is eenmalig en moet gezien worden als een stimulans.

16

3. Tijdens de eerstvolgende SURF Onderwijsdagen wordt de prijs uitgereikt en het idee/practice/project gepresenteerd door de winnaar.

4. Over de uitslag kan niet worden gecorrespondeerd.

Werkwijze 1. Het SIG DT lid dient een oplossing in. (virtuele oplossingen/ideeënbus - via SURFsite) 2. Het indienen kan tot 1 jan 2012 3. Per lid mogen meerdere ideeën worden ingeleverd 4. Het intellectueel eigendomsrecht idee blijft eigendom van de inzender. 5. Het kernteam van de SIG DT krijgt hiervan een melding (geautomatiseerd) 6. Het kernteam van de SIG DT plaatst het idee op de website 7. Na 1 januari bepaald de jury de winnaar 8. De jury reikt op de jaarlijkse SURF OWD de prijs uit

De jury zal bestaan uit een wisselende samenstelling van 3 personen. De jury heeft 1 vast lid: Alexander Kremers (Voorzitter). De overige 2 leden worden gekozen uit het kernteam. Bij de keuze van de leden wordt er rekening gehouden met de herkomst van de indieners van het idee/oplossing.

Doelkoppeling Kennis bundelen

Out-of-Pocketkosten De SIG-DT prijs

Inzicht in impact van digitaal toetsen De invoering van digitaal toetsen in het Hoger Onderwijs kent vele veronderstellingen. Zo zou het de uitval onder studenten moeten terug dringen en zou het de werkdruk van docenten moeten verminderen. Het economisch voordeel dat hiermee te behalen zou zijn loopt in de miljoenen (Koopmans & Tevens, 2009). De prognoses die door Koopmans en Tevens worden gedaan zullen echter getoetst moeten worden. Tevens zijn er omtrent de implementatie van grootschalig digitaal toetsen veel vragen. Als evaluatie van het TTL programma en het vergroten van het inzicht omtrent implementatie stellen we voor om de brug te slaan tussen de wetenschap en de onderwijspraktijk. Door wetenschapsgebieden als pedagogiek, onderwijskunde, psychometrie en bijvoorbeeld management te informeren over de vragen die zich voor doen zouden we het onderzoek hieromtrent kunnen stimuleren. Vanuit het programma TTL wordt een evaluatieplan opgesteld om het effect van het programma te kunnen meten. De aanpak van deze evaluatie sluit idealiter aan op de aanpak van het Nulmeting onderzoek. Bij het opstellen van de opdrachtbeschrijving en de offerte om het

17

onderzoek uit te voeren sluiten de 2 activiteiten (onderzoek nulmeting en programma-evaluatie) op elkaar aan.

Nulmeting Marcel Penners en Silvester Draaijer hebben een plan ontwikkeld om een 0-meting te doen rondom de penetratiegraad van digitaal toetsen in het hoger onderwijs. Dit onderzoek geeft een fundatie voor een white paper over de kosten en opbrengsten van digitaal toetsen. Het programma TTL zal deze nulmeting in de vorm van een uit te voeren opdracht aanbieden. Het programmamanagement TTL treedt op als opdrachtgever. Er wordt een projectplan aangeleverd op basis waarvan het onderzoek kan starten en de white paper kan worden geschreven. De te behandelen onderwerpen daarbij zijn.

1. T.a.v. toetsen met gesloten vragen: welke toets- en itembanksystemen worden op dit moment ingezet in het Hoger Onderwijs.

2. T.a.v. andere toetsvormen: welke andere toetssystemen worden op dit moment ingezet in het Hoger Onderwijs.

3. Wat zijn typische kosten voor licenties, hardware, software en ondersteuning die gerekend worden bij deze systemen.

4. Wat is de bijbehorende opzet van de ondersteuningsorganisatie. 5. Wat is de omvang van de inzet van deze systemen in het onderwijs (aantallen

formatieve en summatieve toetsafnames, aantallen vragen in de itembanken). Hoe verhoud dat zich tot de totale hoeveelheden toetsafnames op deze instellingen.

6. Typische ontwikkelinspanning voor digitale toetsen en opbouwen itembanken. 7. Wat zijn de toekomstverwachtingen rondom digitaal toetsen bij deze instellingen. 8. Wat zijn de verwachte effecten rondom digitaal toetsen bij deze instellingen met

betrekking tot studiesucces, verminderen van werkdruk en kwaliteitsverhoging. Werkwijze

1. Nader literatuuronderzoek 2. Identificeren van belangrijkste stakeholders bij instellingen voor HO in NL. 3. Online vragenlijst ontwikkelen 4. Online vragenlijst uitzetten t.b.v. dataverzameling 5. Telefonisch interviews met power-users 6. Verwerken van data 7. Ontwikkelen van rapport

Doelkoppeling Kennis genereren Out-of-Pocket kosten

18

Er zal getracht worden om de financiering van dit project separaat te realiseren. Schatting van projectkosten: Ongeveer EUR 15.000

19

Integreren Portfolio en SIGMA In 2011 wordt onderzocht in hoeverre het onderwerp Portfolio’s aansluit bij het onderwerp digitaal toetsen, zoals dat is afgebakend door de SIG Digitaal Toetsen. Naar verwachting zijn er meerdere raakvlakken te vinden. Er bestaat momenteel een SIG die zich helemaal heeft toegelegd op portfolio’s (genaamd: NL Portfolio). De SIG NL Portfolio heeft een jaarplan voor 2011 opgesteld en de activiteiten daarin vastgelegd. Deze activiteiten zal de SIG NL Portfolio ook uitvoeren en Marcel Penners zal vanuit het kernteam van de SIG Digitaal toetsen als linking pin naar de SIG Porfolio functioneren. De SIG SIGMA, voorheen een onafhankelijke SIG, aangesloten bij SURF, is opgeheven. Gezien het feit dat SIGMA zich volledig had toegelegd op digitale toetsing met betrekking tot wiskunde was een opgaan in de nieuwe SIG Digitaal Toetsen een logische vervolgstap. Om het wiskundige en SIGMA gedachtegoed te waarborgen is een kernteamlid (in de persoon van Andre Heck) van SIGMA toegetreden tot het kernteam van de SIG Digitaal Toetsen. Belangrijkste punten van Sigma:

1. schakelmoment van VO naar HBO-WO → platform Wiskunde Nederland (hebben onderwijscommissies)

2. digitaal toetsgestuurd leren in het HO ondersteund en vormgegeven kan worden (NKBW, webspijkeren, onbetwist)

Belangrijkste punten van de SIG NL Portfolio:

1. In het jaarverslag van de SIG Portfolio staan de activiteiten benoemd 2. Voor de SIG DT is het van belang dat, via de linking-pin, de activiteiten van de SIG

Portfolio worden overgedragen aan de SIG DT

20

Jaarlijkse evaluatie activiteiten en planning De SIG DT is geschreven voor de periode juni 2011 t/m jan 2014. Het budget is aangevraagd en gereserveerd voor een periode van een jaar. Het plan wordt in juni 2011 ter goedkeuring aangeboden aan Surf. Nadat het plan is vastgesteld door Surf zal het kernteam de activiteiten jaarlijks evalueren en rapporteren aan de SIG DT leden en SURF. Indien door voortschrijdend inzicht nieuwe relevante en nuttige activiteiten nodig worden geacht dan wordt er een aanvullend plan geschreven voor 2012. Jaarlijks in juni wordt het SIG meerjarenplan opnieuw bekrachtigd door het programma TTL, en een eventuele aanvulling beoordeeld. In de bijlage zijn alle activiteiten weergegeven die vanuit het programma TTL georganiseerd worden en waarbij de SIG DT activiteiten aansluiten en/of een onderdeel zijn. Aan de SIG DT is gevraagd om bij alle SURFacademy activiteiten (3e kolom) de rol op zich te nemen van:

• Kwaliteitsbewaker met betrekking tot de inhoud • Leveren van sprekers/experts • Binnen eigen kring promoten van SURFacademy evenementen.

In de kolom inventarisatie/onderzoek/publicatie (4e kolom) zijn opdrachten beschreven die vanuit het programma TTL worden uitgezet. Vanuit de SIG bestaat de mogelijkheid deze opdrachten als uitvoerder aan te nemen. Indien een of meer leden uit de SIG een opdracht willen aannemen dan wordt door de uitvoerder een (beknopt) plan van aanpak op gesteld op basis waarvan het programmanagement TTL besluit om de opdracht daadwerkelijk te verlenen. Via de LinkedIn groep Digitaal Toetsen en via mogelijke andere kanalen worden de SIG leden attent gemaakt op de opdrachten die te vergeven zijn. Indien de SIG leden geen van allen gehoor geven aan de te vergeven opdracht dan benadert het programmamanagement andere personen om de opdracht alsnog te kunnen laten uitvoeren.

21

Begroting 2011

Verwachtte SIG kernteamkosten Activiteit Lobbyen 2100 euro Bijeenkomst leden 2500 euro Kosten SIG leden expertisenetwerk Whitepapers Stand van zaken onderzoek (Nulmeting) 15.000 euro Toetskwaliteit 3000 euro Toetsverwerking 1200 euro Bijeenkomsten (onder vlag SURFacademy) Seminar “Hoe selecteer ik een digitaal toetssysteem” 2500* euro Masterclass “Digitale toets- en itemconstructie en analyse” 4000* euro Werkgroep Realisatie Expertisenetwerk Vergoeding uren SIG-kernteamlid 6000 euro Activiteiten NL Portfolio 2000 euro Congresbezoeken SIG kernleden Int.Conf.on Comp Aided Assessment Southampton 1500 euro E-ATP (Praag) 1500 euro e-Assessment Scotland (Dundee) 0 euro* Totaal: 41.300 euro Toelichting *: dit zijn de totale kosten voor de gehele activiteit. Hiervan komt een deel ten goede aan de SIG leden die betrokken zijn bij de organisatie van de activiteit (De overige kosten gaan op aan logistiek, catering en overige organisatie. Hiervoor is SURF verantwoordelijk, niet de SIG). Voor het seminar “Hoe selecteer ik mijn toetssysteem geldt dat de SIG leden die in de werkgroep zitting nemen die het seminar voorbereid reiskosten worden vergoed en eventueel dagvoorzitterschap. Voor de masterclass digitale toetsconstructie geldt dat de kosten voor de participatie van 2 SIG kernteamleden worden vergoed (in totaal 3000 euro aan voorbereidingskosten en trainersvergoeding). Het e-Assesment Scotland congres wordt bezocht door de projectmanager van het programma TTL. Kosten hiervoor worden niet in de SIG kostenoverzichten in het jaarplan meegenomen.

22

Indien de te schrijven whitepapers door niet SIG-leden worden uitgevoerd dan vervalt dit budget voor de SIG en wordt het toegekend aan de opdrachtnemers die de whitepapers ook daadwerkelijk schrijven.

23

Bijlagen 1. Overzicht programma TTL incl. SIG DT activiteiten 2011

2. Voorgenomen SIG DT activiteiten 2012

3. Voorgenomen SIG DT activiteiten 2013

1. Overzicht programma TTL incl. SIG DT activiteiten 2011

Eindproduct SURF academy

activiteit

Inventarisatie/

onderzoek/ publicatie

Rol SIG Kosten

gemaakt door

SIG

Totaal

Toetssystemen lijsten met

productbeschrijvingen,

beschrijvingen van

ervaringen van

gebruikers, requirement

beschrijvingen, overzicht

van wat door welke

instelling wordt gebruikt

SURFacademy

seminar 13 sept

“Hoe Selecteer

ik mijn

toetssysteem”

Kwaliteitsbewaking

inhoud en

organisatie

seminar. PR en

communicatie mbt

seminar via

Linked-in

(internationale)

practises onderzoeksverslag

Opdracht; uitvoeren

stavaza in het

HO (zie voorstel

Silvester

Draaier /Marcel

Penners)

2 SIG kernleden

treden op als

trekker

kosten uitvoeren

onderzoek,

15.000 euro,

15.000

Selectie/implementatie projectplannen,

beschrijvingen van

ervaringen, overzichten

met tips&tricks, uit te

delen sjabloon

SURFacademy

seminar 13 sept

“Hoe Selecteer

ik mijn

toetssysteem”

Kwaliteitsbewaking

inhoud en

organisatie

seminar. PR en

communicatie mbt

seminar via

LinkedIn

Congres informatie Verslagen en publicaties

van congressen

Opdracht; Wordt verzorgd

door SIG

kernteam

Kosten congres bezoek

(3 in 2011)

kosten per

congres, per

persoon, 1000

euro

3000

Toetsvormen beschrijvingen van de

verschillende vormen.

Overzicht van wat waar

wordt gebruikt (welke

instelling), beschrijving

SURFacademy

masterclass 21

nov en 6 dec

“Digitale

toetsconstructie

Opdracht; literatuur

verzamelen,

inhuur trainers

masterclass

2 kernteamleden

treden op als

trainer.

Voorbereiden en

geven training,

ca 4000

4000

25

van toepasbaarheid van

elke vorm en analyse”

Toetskwaliteit publicatie op basis van

uitgevoerd onderzoek Opdracht;

schrijven

whitepaper

SIG neemt

opdracht aan,

schrijft projectplan

ter goedkeuring

voor

programmamnt en

schrijft

whitepaper.

Kosten schrijven

whitepaper

(uren)

3000

Toetsmateriaal voorbeeldtoetsen/demo's Opdracht;

toevoegen aan

prototype en def

versie

exp.netwerk. uit

te voeren door

werkgroep

realisatie exp.

netwerk

Uren werk groep

Toetsverwerking (alle

activiteiten als de

toets klaar is)

Opdracht;

Maken materiaal Maken

document

1200

Itemconstructie, het

schrijven van items Literatuur samenvatten,

handleidingen maken,

oefenopdrachten

(educatief materiaal),

syllabus masterclass

SURFacademy

masterclass 21

nov en 6

dec“Digitale

toetsconstructie

en analyse”

Opdracht; Maken materiaal

Maken

materiaal, is

onderdeel

masterclass 21

nov

Overdracht SIG

Portfolio aan SIG DT

Zie werkplan SIG

Porfolio

1 kernteamlid is

de Linking Pin

Overdracht en

kosten voor

reeds geplande

activiteiten

200200022

2000

Toetsanalyse Literatuur samenvatten,

handleidingen maken,

oefenopdrachten

SURFacademy

masterclass 21

nov en 6

Opdracht; Maken materiaal

Maken

materiaal, is

onderdeel

26

(educatief materiaal),

syllabus masterclass dec“Digitale

toetsconstructie

en analyse”

masterclass 21

nov

Maken vormgeving,

functioneel ontwerp en

prototype ex. netwerk

prototype Opdracht;

Maken prototype

1 kernteamlid

neemt zitting in

werkgroep die

prototype gaat

maken.

Uren werkgroep Lid; werkgroep

realisatie

expertisenetwerk

3000

2. Voorgenomen SIG DT activiteiten 2012

Eindproduct SURFacad

emy

activiteit

Bijeen- komst

Inventarisatie/ onderzoek/ Publicatie

Toetstheorie

(CAT, KTTH,

Psychometrie

IRT, etc.)

literatuur, overzicht

van cursussen,

handleidingen

te

organiseren

in 2012

literatuur verzamelen, seminar

voorbereiden

Toetsprocessen,

worksflow's beschrijvingen van

practises, modellen te

organiseren

in 2012

voor te bereiden voor seminar

Portfolio

Effect van

digitaal toetsen

en van

volgsystemen op

korte en lange

termijn,

benchmarking

en learning

publicatie op basis

van uitgevoerd

onderzoek

resultaten

presenteren

tijdens een

bijeenkomst

Opdracht: onderzoekspublicatie

27

analytics

Educatief

beleid/strategie

m.b.t. Digitaal

Toetsen van een

instelling

beschrijvingen van

business cases

(waarom DT),

publicatie over

strategische relatie

tussen DT en

educatief

instellingsbeleid

seminar

aan wijden

in 2012

Opdracht: schrijven white paper als vertrekpunt

voor seminar

3. Voorgenomen SIG DT activiteiten 2013

Eindproduct SURF academy

activiteit

Inventarisatie/ onderzoek/publicatie

Techniek

(beveiliging,

infra, toetszalen

etc.)

beschrijvingen van

practises, publicatie met tips

en tricks, lijsten met

producten, kostenmodellen,

organisatiemodellen,

leveranciersovereenkomsten

, scenariobeschrijvingen in-

outsourcen, handreiking

strategische keuze maken

(wat voor software ea)

Te

organiseren

in 2013

Opdracht: whitepaper over schrijven

Longitidinaal

meten van

effecten en

resultaten

(toetsuitslagen)

handleidingen en literatuur Opdracht: onderzoeksopdracht

28

Normeren,

standaarden

opstellen

(wanneer krijgt

iemand een

voldoende),

kalibreren

literatuur, overzicht van

cursussen, handleidingen Te

organiseren

in 2013

voor te bereiden voor seminar. Verzamelen

en inventariseren

Vraag en

antwoord dynamische functie van het

exp.netwerk Opdracht:

Werkgroep realisatie expertisenetwerk neemt

deze opdracht aan

Lijst met experts dynamische functie van het

exp.netwerk Opdracht:

Werkgroep realisatie expertisenetwerk neemt

deze opdracht aan

Maken

vormgeving en

functioneel

ontwerp exp.

Netwerk

prototype Opdracht: Werkgroep realisatie expertisenetwerk neemt

deze opdracht aan

Inrichten

exp.netwerk daadwerkelijk gerealiseerd

expertisenetwerk Opdracht:

Werkgroep realisatie expertisenetwerk neemt

deze opdracht aan

Maken duurzaam

onderhoudsplan

exp.netwerk

plan van aanpak

Programmamanagement i.s.m. SIG

kernteam