1

Format projectvoorstel Stimuleringsregeling Gezamenlijk gebruik van Toetssoftware 2013

Tentamenlade2.5

2

Tentamenlade2.5 Gegevens penvoerder Penvoerende instelling Universiteit van Amsterdam, FNWI (Faculteit der

Natuurwetenschappen, Wiskunde en Informatica) Correspondentieadres CvB/faculteit Postbus 94216, 1090 GE Amsterdam Contactpersoon secretariaat mevr. Lindy van der Vecht Telefoonnummer secretariaat 020 5257907 Projectleider Dr. Natasa Brouwer Instelling Universiteit van Amsterdam Adres Science park 904, Postbus Postbus 94214 1090 GE Amsterdam E-mail natasa.brouwer@uva.nl Telefoonnummer 020 525 7986 Mobiel telefoonnummer 0611044952 Deelnemende instellingen Partner 1 Instelling: Vrije Universiteit Amsterdam Partner 2 Instelling: Universiteit Leiden Partner 3 Instelling: Universiteit Utrecht Commerciële partner SOWISO Project informatie Titel Tentamenlade2.5 Start- en einddatum 1 september 2013 – 1 april 2014 Totale projectkosten 21.000 € Gevraagde subsidie 15.000 € Eigen bijdrage penvoerder 3.000 € Eigen bijdrage partner 1 1.000 € Eigen bijdrage partner 2 1.000 € Eigen bijdrage partner 3 1.000 €

3

Inhoudsopgave

Samenvatting ..................................................................................................... 41. Doelstelling en Doelgroep ................................................................................. 52. Onderbouwing en beoogd resultaat .................................................................... 73. Plan van aanpak .............................................................................................. 84. Kennisopbouw en -disseminatie ........................................................................ 105. Planning, kosten en organisatie ........................................................................ 10

5.1 Planning...................................................................................................... 105. 2 Kostenoverzicht ............................................................................................ 115. 3 Organisatie ................................................................................................. 11

6. Risicoanalyse en -management ........................................................................ 12Bijlage 1: Letters of Intent .................................................................................. 13

4

Samenvatting Het maken van goede tentamens is een tijdrovend proces want alle in een tentamen gestelde vragen moeten van goede kwaliteit zijn en het geheel moet goed aansluiten op de leerdoelen en leerprocessen van het vak. Voor een enkele docent is het ondoenlijk om een voldoende groot arsenaal van tentamenvragen aan te maken opdat hij of zij vragen kan hergebruiken bij tentamens of oefententamens. Hiervoor is een samenwerkende community van docenten van meerdere universitaire instellingen nodig. In afgelopen jaar is in een samenwerkingsproject van docenten Quantumfysica 1 en 2 voor het netwerk ICAB (Innovatiecentra Academisch Bètaonderwijs) een pilot applicatie Tentamenlade ontwikkeld voor het verzamelen en delen van open tentamenvragen en op een slimme en eenvoudige manier toetsen samen te stellen. Deze applicatie was ontwikkeld door de studenten bij een regulier bachelor Informatica vak. In het project Tentamelade2.5 wordt deze applicatie in samenwerking met de commerciële leverancier SOWISO duurzaam landelijk gewaarborgd en voor diverse vakken in universitaire opleidingen beschikbaar gesteld. De applicatie wordt hierdoor robuuster en daarbij worden enkele functionaliteiten verbeterd en verbreed. De Tentamenlade2.5 zal het mogelijk maken dat de samenwerkende docenten commentaar op elkaars tentamenvragen zullen kunnen geven. De Tentamenlade2.5 is bedoeld voor de hoger onderwijs docenten en faciliteert het samenwerken in het toetsontwikkelingsproces en versnelt en vereenvoudigt het samenstellen van open vragen toetsen ((tussen)tentamens) wat tijdwinst voor docenten betekent. Diverse functionaliteiten van Tentamenlade2.5 zijn bedoeld om meer greep te krijgen op de kwaliteit van het toetsen en meer inzicht in het didactisch gebruik van het toetsmateriaal door o.a. analytics tools te gebruiken. Onder andere door middel van het automatisch genereren van toetsmatrijsen zullen de docenten en instellingen meer inzicht kunnen krijgen in het gebruik van de vragen en in de samenstelling van de toetsen ((tussen)tentamens, formatieve toetsen, huiswerkopgaven). Met meer inzicht in didactische scenario’s kan Tentamelade2.5 op lange termijn zo de kwaliteit van toetsen bij een vak en op een instelling structureel verbeteren.

5

1. Doelstelling en Doelgroep Het maken van goede tentamens is een moeilijk en tijdrovend proces ongeacht of hiervoor open of meerkeuzevragen worden gebruikt. Alle bij tentamen gestelde vragen moeten van goede kwaliteit zijn en moeten goed aansluiten op de leerdoelen en leerprocessen van het vak. Bovendien is het nodig dat naar de studenten toe goed wordt gecommuniceerd wat ze bij het tentamen van het vak kunnen verwachten. In de laatste paar jaar wordt bij de instellingen veel aandacht besteed aan toetskwaliteit en is toetsbeleid er op gericht dat de leerdoelen, leerprocessen en toetsen een afgestemd geheel vormen (constructive alignement). In de Basiskwalificatie Onderwijs (BKO) is de competentie om te kunnen toetsen volgens afgesproken kaders opgenomen. Er wordt in het BKO ook aandacht besteed aan digitaal toetsen met meerkeuze vragen. In SURF kader is een drietal applicaties ontwikkeld die docenten ondersteunt bij het opzetten van en digitale toets en bij de toetsanalyse.1 Realiteit is evenwel dat de grote meerderheid van tentamens bij natuurwetenschapen op papier wordt afgenomen. Het is niet te verwachten dat op korte termijn dat zal veranderen. De meeste docenten stellen bij tentamens liever open vragen dan meerkeuzevragen. Bij de meeste opleidingen is het beantwoorden van open vragen een van de doelstellingen. Als de groep studenten niet al te groot is, is het corrigeren van open vragen die studenten op papier hebben ingeleverd wel te doen voor de docent. Hier is iedereen aan gewend en er is zo weinig of geen motivatie om over te stappen naar digitaal toetsen met meerkeuzevragen. In het proces van het samenstellen van tentamens is voor de kwaliteit van zowel afzonderlijke vragen als de toets als geheel het ontvangen van feedback van collega’s in het vak en op bepaalde momenten een toetsdeskundige heel belangrijk. Dit is bij de instellingen opgenomen in het toetsbeleid maar blijkt organisatorisch lastig omdat de tentamens vaak vlak voor dat ze nodig zijn worden ontworpen en dit is in de drukte voor de docenten extra moeilijk. Ook wordt het vragen naar peer-feedback vaak nog niet als iets vanzelfsprekends gezien door de docenten. In principe worden (open) tentamenvragen niet hergebruikt tenzij de verzameling waaruit ze worden geput groot genoeg is. Voor een gemiddelde docent die een paar jaar achter elkaar een vak geeft wordt de verzameling van vragen die hij of zij zelf bij tentamens stelt hiervoor doorgaans nooit groot genoeg. Het verzamelen van de tentamenvragen van een vak kan op langere termijn de mogelijkheid geven om de tentamenvragen wel te kunnen hergebruiken, zeker als dat in een samenwerkende community van de docenten van meerdere instellingen wordt gedaan. De mogelijkheden om commentaar op vragen te geven en ervaringen met de gebruikte vragen te verzamelen en deze toe te passen bij het hergebruik van de vragen zou de kwaliteit van het toetsen verhogen. Ongeacht of de tentamenvragen hergebruikt worden voor tentamens of niet is het altijd een goed idee om de gebruikte tentamenvragen in te zetten voor het oefenen, voor het formatief toetsen en als voorbeeldvragen. Het maken van soortgelijke vragen als in het tentamen voor deze doelen kost de docenten veel tijd. Uit het oplossen van oude tentamenvragen kunnen studenten veel leren, en bovendien wordt hierdoor bereikt dat de vragen goed zijn afgestemd met de leerprocessen en duidelijk maken voor studenten wat ze bij het vak moeten leren. De docenten Quantum Fysica van de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam die zich in een Nederlandse netwerk ICAB (Innovatiecentra Academisch Bètaonderwijs)2 verenigen met andere HO natuurkunde docenten in een landelijke netwerk hebben in een pilot project afgelopen jaar voor het ICAB netwerk een applicatie Tentamenlade.nl3 opgezet (figuur 1). De Tentamenlade is een applicatie voor open vragen en bijbehorende antwoordmodellen. De bedoeling van het ICAB pilot project was ook om uit te zoeken of de applicatie interessant is voor de ICAB partners om deze te gebruiken. Bij een positief uitkomst zou de tentamenlade opgeschaald en verduurzaamd kunnen worden.

1 Project qDNA, SURF 2012 http://www.surf.nl/nl/publicaties/Pages/TestAnalyseTool.aspx (laatst bezocht 29 juni 2013) 2 ICAB, www.icab.nl, (laatst bezocht 29 juni 2013) 3 Tentamenlade.nl www.tentamenlade.nl, (laatst bezocht 29 juni 2013)

6

Figuur 1: Tentamenlade.nl

De database Tentamenlade is ontworpen en geïmplementeerd door eerstejaars studenten Informatica bij de UvA in het kader van een regulier vak Webprogrammeren en databases in opdracht van de docenten Quantumfysica 1 en 2 van de UvA en VU.4 De wens van de natuurkundedocenten was om de tentamenvragen in het domein Quantumfysica in het ICAB netwerk digitaal te kunnen delen, te kunnen hergebruiken en commentaar op elkaars tentamenvragen te kunnen geven. De applicatie Tentamenlade maakt dit mogelijk en heeft een uitgebreide zoekmogelijkheid op metadata. De vragen kunnen geüpload worden in LaTex, waardoor alle problemen van gebruik van wiskundige formules in de vragen in een keer worden opgelost en aangesloten wordt op de bestaande manier van werken van docenten. De selectie van vragen die de docent in zijn cursus wil gebruiken, plaatst hij/zij in een tentamenlade, een soort “winkelmandje” waaruit vervolgens deze selectie als één pdf of LaTex bestand al dan niet met een antwoordmodel wordt gedownload naar de docent. De database van Tentamelade bevat nu meer dan 100 open vragen over Quantum fysica 1 en 2.

Naar verwachting zal het gebruik van een applicatie zoals Tentamenlade op langer termijn een positief effect hebben op de kwaliteit van de Quantumfysica tentamens en op het curriculum van dit vak. Hierdoor zal een verhoging van studiesucces bij de samenwerkende universiteiten bevorderd worden. Ook mag de tijdwinst voor docenten wanneer zij kunnen putten uit een breed arsenaal van tentamenvragen niet onderschat worden.

De Tentamenlade is gepresenteerd op de ICAB conferentie in mei 2013 in Nijkerk en heeft veel positieve reacties van aanwezige natuurkundedocenten ontvangen. Natuurkundedocenten van verschillende Nederlandse universiteiten hebben aangegeven dat ze gebruik willen maken van de Tentamenlade.

De Tentamelade was een pilot, een proof of concept. Deze is op dit moment beschikbaar, op een server van een onderzoeksgroep bij Informatiewetenschapen van de UvA, FNWI bij de docent van het vak waarbinnen de Tentamelade was ontwikkeld. De Tentamenlade is toegankelijk voor docenten in het ICAB netwerk en collega’s in het veld.5 Dat is zonder meer een veilige locatie wat betreft materiaal, geschikt om in een kleine gezelschap mee door te gaan en is prima als proof of concept. Voor een landelijk, groeiend en duurzaam gebruik is dit niet adequaat. Het is wenselijk om de functionaliteiten van Tentamenlade ook aan te bieden voor andere vakken dan Quantum fysica en voor andere disciplines dan natuurkunde. De huidige opzet laat dat niet toe, onder meer omdat de database niet voldoende robuust opgezet is voor een gebruik tot 1000 vragen en een grotere hoeveelheid van vragen niet aan kan.

Het doel van Tentamelade2.5 is een landelijke tentamenvragen applicatie voor docenten in SOWISO aan te bieden en de functionaliteiten van de Tentamenlade hiermee:

1) landelijk in de cloud aan te bieden in samenwerking met een leverancier (SOWISO) enhiermee robuuster te maken, dat wil zeggen in principe beschikbaar voor een onbeperktehoeveelheid vragen en te verduurzamen. Inlog voor alle docenten is via SURFconnext terealiseren.

2) te verbeteren en verbreden ten opzichte van de huidige Tentamenlade:a. Bij het uploaden van vragen/antwoordmodellen: (1) de mogelijkheid van de

tekstverwerking van de vragen uitbreiden naar Word en de applicatie zo ook voor niet-LaTex-gebruikers aantrekkelijk te maken, (2) metadateren van vragen verbeteren,

4Brouwer, N. “Eerstejaarsstudenten ontwerpen database voor onderwijsdoeleinden”, (2013) ICTO-FNWI Blog, http://ictofnwi.wordpress.com/2013/02/03/eerstejaarsstudenten-ontwerpen-database-voor-onderwijsdoeleinden/ (laatst bezocht 29 juni 2013)5 De Tentamenlade www.tentamenlade.nl test inlog: gebruikersnaam: icab, wachtwoord: conferentie

7

bijvoorbeeld voor het toekennen van sleutelwoorden en taxonomisch niveau van een vraag

b. format toevoegen aan de download functionaliteit (de lade) dat elektronisch beantwoordenvan vragen door de studenten mogelijk maakt (al was het maar een simpele upload vaneen digitaal antwoord)

3) uit te breiden om:a. meer inzicht te geven in het gebruik van de vragenb. communicatie tussen de gebruikers over de vragen binnen een doelgroep docenten

(bijvoorbeeld docenten van hetzelfde vak) te bevorderen doordat een vakdashboardbeschikbaar wordt gesteld.

c. meer scenario’s van gebruik mogelijk te makend. meer inzicht geven in didactische parameters van een toets en hiermee communicatie

over de kwaliteitsaspecten te stimuleren en toetskwaliteit te bevorderen4) aan te passen met het oog op inzicht krijgen in didactische scenario’s bij het gebruik door

docenten. Dit kan gerealiseerd worden door onder andere bestaande analytics tools aan tekoppelen m.b.t.:

a. werkelijk gebruik van de database door de docenten te volgen en te analyserenb. inzicht in gebruik van de vragenc. didactische scenario’s van het gebruik in kaart te brengen waardoor de applicatie

niet alleen van een technisch perspectief maar vanuit didactisch perspectiefverbeterd kan worden.

d. Inzicht in de samenstelling van de toetsen ((tussen)tentamens, formatieve toetsen,huiswerkopgaven) doormiddel van het automatisch genereren van toetsmatrijsen.

De Tentamelade2.5 is bedoeld voor de docenten in het hoger onderwijs.

De Tentamenlade2.5 bouwt een brug tussen de dagelijkse praktijk van het tentamineren met open vragen op papier door één individuele docent samengesteld naar digitale (formatieve) assessment in een samenwerkende groep docenten door (1) het samenwerken in het toetsontwikkelingsproces te faciliteren, (2) het samenstellen van open vragen toetsen ((tussen)tentamens) te versnellen en te vergemakkelijken (tijdwinst voor docenten), en (3) inzicht te krijgen in het didactisch gebruik van het toetsmateriaal door o.a. analytics tools te gebruiken. Met meer inzicht in didactische scenario’s kan Tentamelade2.5 op lange termijn zo de kwaliteit van toesten bij een vak en op een instelling structureel verbeteren.

2. Onderbouwing en beoogd resultaat

Nadat de Tentamenlade2.5 beschikbaar wordt gemaakt in samenwerking met de leverancier SOWISO (zie de nodige activiteiten hieronder in punt 3) worden drie experimenten uitgevoerd om de functionaliteiten in een brede context te beproeven en de effecten in kaart te brengen. De workflow van het project is gepresenteerd op figuur 2.

Figuur 2: workflow

Experiment 1: Doelgroep: Natuurkunde Studieonderdelen Quantum fysica 1 en 2 en een extra natuurkunde vak (bijvoorbeeld Klassieke Mechanica of Elektromagnetisme)

8

Partners in experiment: UvA, VU, Universiteit Leiden (Partners ICAB netwerk) Activiteiten: Voor de start van het vak - Tentamenlade2.5 aanvullen in samenwerking met de partners met ca. 200 natuurkunde vragen. Dat betekent het overzetten van de vragen met antwoordmodellen die nu in Tentamenladen zijn verzameld (Quantumfysica 1 en 2) en eventueel nog aanvullen met nieuwe vragen en ca 100 open vragen voor het extra natuurkunde vak. Gedurende het vak - bij minstens 3 vakken (Quantumfysica 1 en 2 en een extra natuurkunde vak) bij 3 instellingen maken docenten gebruik van toetsverzamelingen in de Tentamenlade2.5 bij enkele werkcolleges en huiswerk.

Experiment 2: Doelgroep: Scheikunde Partners in experiment: samenwerkende docenten bij het vak, bijvoorbeeld Thermodynamica of Quantumchemie bij de UvA, VU en U Utrecht (partners in ICAB netwerk) Voor de start van het vak - Tentamenlade2.5 aanvullen met ca 50-100 bestaande tentamenvragen met antwoord modellen van afgelopen jaren Gedurende het vak - volgens een didactisch ontwerp de toetsen inzetten bij een vak bij twee instellingen bij werkcolleges en huiswerk.

Experiment 3: Doelgroep: Biologie Partners in experiment: samenwerkende docenten bij het vak Bio-organische chemie, Biochemie & Celbiologie bij Biologie, UvA Voor de start van het vak - Tentamenlade2.5 aanvullen met minimaal 200 bestaande vragen van dit vak met antwoord modellen Gedurende het vak - volgens een didactisch ontwerp de toetsen inzetten bij het vak Bio-organische chemie, Biochemie & Celbiologie bij een aantal toetsmomenten.

Bij alle drie experimenten na afloop van het experiment in het onderwijs - analyse over het gebruik van Tentamenlade2.5 o.a. doormiddel van analytics tools op de aspecten: gebruik van vragen tijdens het vak (download, aanpassing-upload, doel inzet in het onderwijs) en onderlinge communicatie, toetsmatrijs - semi-gestructureerd interview met docenten-gebruikers over hun ervaring met de Tentamenlade2.5 op didactisch en technisch gebied.

In maart 2014 wordt een bijeenkomst georganiseerd om de ervaringen van de drie experimenten uit te wisselen en de resultaten van de analyse te presenteren en te bediscussiëren met de betrokken docenten.

Motivatie voor de keuze voor de cloud-service SOWISO6 is een jong bedrijf met veel kennis en al veel ervaring op het gebied van moderne technologieën die relevant zijn voor digitaal toetsen onder andere (X)HTML(5), XML, Java, Flash, Audio/video, SCORM, Tin Can. De SOWISO cloud-service is reeds beproefd in andere commerciële toepassingen bij SOWISO in het hoger onderwijs. SOWISO is een spin off van TU Eindhoven en is gespecialiseerd in het toetsen in wiskunde en natuurwetenschappen en beschikt over state of the art kennis op dit gebied. De SOWISO cloud-service heeft rapportagemogelijkheden voor docent en student. Door de Tentamenlade dienst aan SOWISO op te dragen, worden de problemen van continuïteit in onderhoud landelijk opgelost. Bovendien zal SOWISO gebruikt worden voor digitaal toetsen in een ander project bij de UvA. Een goede samenwerking met SOWISO heeft zich bij de UvA tot nu toe al bewezen in diverse projecten waar digitaal toetsen centraal stond. Dit gegeven en hun bereidwilligheid hun softwareomgeving naar onze wensen in te richten, rechtvaardigt de keuze dit experiment met de firma SOWISO aan te gaan. De samenwerking met SOWISO wordt geregeld op basis van contract.

3. Plan van aanpak

Dit project wordt onderverdeeld in 4 werkpakketen: WP1: Techniek en dataverzameling WP2: Experimenten in het onderwijs WP3: Data-analyse en evaluatie van ervaringen

6 SOWISO, http://www.sowiso.nl (Laatst bezocht 29-06-2013)

9

WP4: Disseminatie en projectmanagement WP1: Techniek en dataverzameling Doelen: - Tentamenlade2.5 operationeel maken in de werkomgeving van SOWISO en bestaande

functionaliteiten verbeteren en verbreden - Verzamelen van de data van gebruik door docenten vindt plaats binnen SOWISO. Er zijn

mogelijkheden en kennis hiervoor bij SOWISO en hiervoor is expertise opgedaan ook o.a. in het kader van het SURF Learning Analytics project COACH.

Aanpak en activiteiten • September 2013: overzetten van de Tentamenlade inclusief de content naar de SOWISO leeromgeving. Koppeling aan SURFconnext • Oktober 2013: verbeteren en verbreden van functionaliteit van Tentamenlade. Voorbereiding op onderwijsexperimenten: upload van nieuw inhoud – bestaande tentamenvragen of verzamelingen van tentamenvragen en testen door de student-assistenten. • November 2013: Een model vak dashboard per vak en per docent beschikbaar maken. Milestones M1: Tentamenlade2.5 onder SOWISO met een authenticatie via SURFconnext. Een online beschrijving van de functionaliteiten voor de gebruikers (waar relevant per doelgroep). Verbeterde metadatering-systeem t.o.v. de Tentamenlade, toegevoegd upload optie voor open vragen in Word formaat, informatie over de toepassing van vragen/toetsen, automatische aanmaak van de toetsmatrijsen en een eerste versie van vak- en docent dashboard. Medewerkers: Dr. Natasa Brouwer (UvA, coördinatie) twee studentassistenten software ontwikkelaars, Sander Latour (adviseur analytics tools), samenwerking met SOWISO. WP2: Experimenten in het onderwijs Doel: drie experimenten in het onderwijs uitvoeren bij drie vakken bij drie disciplines Aanpak en activiteiten • Oktober-November 2013: voorbereiding van de experimenten, uploaden van de tentamenvragen in het systeem en testen van de omgeving door de student-assistenten. Vastleggen van verwachte didactische scenario’s van het gebruik van de tentamenvragen uit de Tentamenlade2.5 volgens een gezamenlijke sjabloon dat wordt ontwikkeld voor dit project. • December 2013 – februari 2014: uitvoeren van de experimenten in het regulier onderwijs Milestones M2: verzamelingen van metadateerde tentamenvragen in de Tentamenlage2.5 M3: drie didactische scenario’s over het inzetten van de toetsvragen uit de Tentamenlade2.5 in het onderwijs, een per onderwijsexperiment. Medewerkers: Dr. Nataša Brouwer (UvA, coördinatie), docenten van de vakken die betrokken zijn bij de experiment, een student-assistent voor het uploaden en metadateren van de tentamenvragen, ondersteuning van de docenten en het testen van het systeem. Samenwerking en ondersteuning vanuit SOWISO. WP3: Data-analyse en evaluatie van ervaringen Doel: data-analyse over het gebruik van de Tentamenlade2.5 en evalueren van de ervaringen van de docenten, voorstel vak- en docentdashboard Aanpak en activiteiten • November 2013: op basis van de didactische scenario’s vraagstellingen formuleren om de data te analyseren en visualiseren. Opzet semigestructureerde interviews. • Februari – maart 2014: Data-analyse van de data van de activiteiten van de docenten in Tentamenlade2.5 en de visualisatie van de resultaten. Semigestructureerde interviews met de deelnemende docenten en uitwerking ervan. Opzetten lijst van voor de ontwikkeling van vak- en docent dashboards benodigheden (docent/vak dashboard requirements). MIlestones M4: evaluatie en data-analyse protocol (uitwerking aanpak en lijst en vraagstellingen voor de visualisatie en voor semi-gestructureerde interview) M5: uitwerking van de data en visualisatie ervan en uitwerking interviews. Lijst requirements voor de vak- en docentdashboards in Tentamenlade2.5. Medewerkers: Drs. Monique Diks (UvA, coördinatie), Dr. André Heck en een student-assistent voor de data-analyse en het afnemen van de semigestructureerde interviews, samenwerken met SOWISO.

10

WP4: Disseminatie en projectmanagement Doel: Coördinatie van het projectteam en werkpakketen, disseminatie van de resultaten, rapportages en contact met SURF Aanpak en activiteiten • Opstart (afspraken en samenwerking tussen de werkpakketen) • Periodieke teambijeenkomsten om de werkzaamheden te stroomlijnen • Dissemineren van de resultaten bij diverse onderwijsbijeenkomsten (presentaties, blogs en nieuwsbrief berichten) • Eindrapportage • Publicatie Milestones M6: eindrapportage met adviezen en aanbevelingen M7: concept publicatie over de resultaten Medewerkers: Dr. Nataša Brouwer (UvA, coördinatie), Drs. Monique Diks, Dr. André Heck, betrokken student-assistenten en contactpersonen van SOWISO.

4. Kennisopbouw en -disseminatie De disseminatie activiteiten zijn aangezien de doelgroep van de volgende aard: 1. Disseminatieactiviteiten lokaal bij de betrokken instellingen en via het ICAB netwerk (partners in

experimenten) 2. Disseminatie - uitwisseling met andere SURF projecten in deze tender 3. Disseminatie naar buiten Dit betreft: Presentaties om de resultaten van het project bekend te maken bij de instellingen voor de kennisuitwisseling en voor opschaling naar andere docenten, vakken en andere faculteiten en zo de groei al tijdens het project aan te zetten en na afloop van het project te kunnen versnellen en te versterken; o.a. de resultaten van de experimenten van dit project presenteren aan de docententeams van aansluitende vakken bij hun teamvergaderingen Presentaties/zichtbaarheid tijdens de bijeenkomsten van SURF, zoals tenderbijeenkomsten en Dé

Onderwijsdagen. Nieuwsberichten op de (blog)omgeving van de instelling: ICTO-FNWI blog, FNWI nieuwsbrief, UvA

ICTO nieuwsbrief, kanalen instellingen en kanalen van SURF en het ICAB netwerk Kennisuitwisseling met andere projecten in deze tender - publicaties in community van SURF, Publicatie in een vaktijdschrift om de resultaten breder bekend te maken.

5. Planning, kosten en organisatie

5.1 Planning

sep-13 okt-13 nov-13 dec-13 jan-14 feb-14 mrt-14

WP1 x x M1

WP2 x M2, M3 x x x

WP3 M4 x M5

WP4 x x x x x x M6, M7 M= mijlpaal

M1: Tentamenlade2.5 onder SOWISO met een authenticatie via SURFconnext. M2: verzamelingen van metadateerde tentamenvragen in de Tentamenlage2.5 M3: drie didactische scenario’s over het inzetten van de toetsvragen uit de Tentamenlade2.5 in het

onderwijs, een per onderwijsexperiment. M4: evaluatie en data-analyse protocol (uitwerking aanpak en lijst en vraagstellingen voor de

visualisatie en voor semi-gestructureerd interview) M5: uitwerking van de data en visualisatie ervan en uitwerking interviews. Lijst requirements voor de

vak- en docentdashboards in Tentamenlade2.5. M6: eindrapportage met adviezen en aanbevelingen M7: concept publicatie over de resultaten

11

5. 2 Kostenoverzicht

5. 3 Organisatie Het project is georganiseerd in 4 werkpakketen. Bij werkpakket 2 Experimenten in het onderwijs zijn een aantal docenten betrokken die zelfstandig hun pilots uitvoeren. Het projectteam: Dr. Natasa Brouwer (UvA) Drs. Monique Diks (UvA) Dr. André Heck (UvA) Sander Latour (UvA) 3 studentassistenten,7 in principe master studenten met brede kennis Minstens 2 docenten per samenwerkende instelling Dr. Nataša Brouwer (UvA, FNWI) is de projectleider van dit project en de aanspreekpunt van de WP1 Techniek en datavezameling, WP2 Experimenten in het onderwijs en WP4 Disseminatie en Projectmanagement . Zij werkt bij het Educational Service Center van de FNWI. Ze is gepromoveerd in scheikunde en heeft zich daarna verdiept in didactiek in natuurwetenschappen en ICT in het onderwijs. Ze is betrokken bij de docentprofessionalisering (BKO). Ze is de coördinator van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Ze coördineert de ICTO projecten die bij de FNWI lopen. Ze is lid van de Task forces Toetsen en Learning analytics, beide in oprichting van de UvA. Ze heeft landelijke SURF projecten en SURF Special Interest Group SIGMA geleid en diverse facultaire projecten over ICT in het onderwijs en in de docentprofessionalisering. Drs. Monique Diks (UvA, FNWI) is het aanspreekpunt van WP3 Datanalyse en evaluatie van ervaringen. Zij werkt bij het Educational Service Center van de FNWI en is de facultaire toetsdeskundige. Haar expertise ligt ook in de onderwijskwaliteitszorg. Dr. André Heck is bij dit project betrokken als adviseur. Hij is als docent werkzaam bij het Kortweg-de Vries Instituut voor Wiskunde. Hij is gepromoveerd op het gebruik van ICT in onderwijs van wiskunde en natuurwetenschappen. Hij was de afgelopen tien jaar betrokken bij vele SURF projecten over ICT in het onderwijs. Hij is teamlid van de SURF Special Interest Group Digitaal Toetsen. Hij is lid van de Task force Toetsen in oprichting van de UvA. Hij is lid van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Sander Latour is bij dit project betrokken bij WP1 als adviseur over de onderwerpen die te maken hebben met analytics tools. Hij is masterstudent Artifical Intelligence bij de FNWI en werkt nu aan zijn master thesis. Hij heeft al veel ervaring en expertise in software ontwikkeling opgebouwd, met name in de web development. Hij heeft veel kennis op het gebied van Learning Analytics en is de voorzitter van de SURF Special Interest Group Learning Analytics. Hij is lid van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Hij is betrokken bij diverse ICTO projecten bij de FNWI en is lid van de Task force Learning analytics in oprichting bij de UvA.

Drie studentassistenten worden later aan het team toegevoegd.

7 Een studentassistent kan bij meerdere werkpakketen ingezet worden. Dit verklaart waarom in principe drie studentassistenten aangezocht worden voor dit project en niet twee of vier.

12

6. Risicoanalyse en -management

Risico Kans (1-5)

Impact (1-5)

Beheersmaatregel Risico eigenaar

Het overzetten van functionaliteiten van Tentamenlade naar SOWISO werkomgeving vallen tegen.

1 5 Gelijkwaardige oplossingen in de SOWISO omgeving worden ingezet. Daarvoor is de expertise bij SOWISO aanwezig.

WP1

Een van de partners levert door interne problemen geen tentamenvragen.

1 2 Als dat gebeurt wordt een andere vak in dezelfde discipline gebruikt om de onderwijsexperimenten nog te kunnen uitvoeren.

WP1, WP2

De Tentamenlade2.5 met bijbehorend materiaal is niet op tijd klaar in de SOWISO werkomgeving om experimenten te kunnen uitvoeren

1 5 De kans is klein omdat het om een grotendeels bestaande applicatie gaat die verhuisd moet worden naar de omgeving die technisch gezien compatible is. De tentamenvragen die ingevoerd moeten worden in het systeem door student-assistenten bestaan al. Mochten performance problemen de kop opsteken wordt er voor gezorgd dat er terug gevallen kan worden op de huidige omgeving Tentamenlade.

WP2

Docenten die aan experimenten mee doen vallen uit

1 4 Docenten die meedoen aan dit project hebben zich gecommitteerd om een experiment uit te voeren. In het geval van uitval door overmacht (bijvoorbeeld ziekte) wordt een andere vakdocent ingezet.

WP2, WP3

De projectmedewerkers vallen uit

1 3 De medewerkers kunnen het werk van elkaar tijdelijk overnemen totdat een vervanging wordt gevonden. Dat geldt ook voor de studentassistenten.

WP4

13

Bijlage 1: Letters of Intent