1

W E E T

W A T

O N D E R W IJ S

W A A R D

I S

Onderwijscentrum VU

2

W E E T

W A T

O N D E R W IJ S

W A A R D

I S

Onderwijscentrum VU

wat is eXamine?

A. HartoogICTO contactpersonenoverleg 28-10-2008

3

eXamine overview

wat is eXamine:gereedschap om een persoon of groep personen op een geprogrammeerde manier te bevragen via internet. Dat wil zeggen:

• de manier waarop de respondent door de vragen wordt geleid is volledig programmeerbaar

• gegeven antwoorden en bewerkingen daarop kunnen on the fly worden gebruikt als parameter in een algoritme

• resultaten en conclusies kunnen direct worden getoond.

(het mechanisme is een web-interface – simpel gezegd is het online vragenlijst software)

4

voorbeelden

5

6

de rol van het Onderwijscentrummet betrekking tot eXamine

historisch (2005-2007, trekker Silvester Draaijer)

organisatie en formalisatie van de behoeftestelling binnen de VU voor gereedschap voor online dataverzamelen (2005)

trekker van het evaluatie/keuze-traject met eXamine als resultaat (2006)

realisatie van een pilot-omgeving voor eXamine (2006)

functionele ondersteuning van gebruik (2007) (in feite productie)

7

eXamine gebruik bij de VU

eXamine is een product van eXamine BVlicentie overeenkomst 2008-2009 dekt het gebruik voor:

alle medewerkers en studenten van de VU voor onderwijs en onderzoek

1e lijns gebruikersondersteuning: nu nog door Onderwijscentrum, op termijn: tbd

2e lijns technische ondersteuning: firma eXamine BV (en Kensas)

hosting: onder verantwoordelijkheid van Dienst IT bij SARA

8

eXamine momentopname oktober 2008

op de examine “productie”-omgeving van de VU

• staan op dit moment 205 actieve vragenlijsten,• zijn 3839 vragenlijsten gemaakt door 1256 ontwerpers,

schatting van verdeling: 80% studenten en 5% docenten 10% onderzoekers (rest is ondersteuning en testen)

• van die studenten/docenten is 90% van FSW• die onderzoekers hebben wel de meest complexe

vragenlijsten, en ook de meeste respondenten

(op basis van gegevens van 2/3 van de ontwerpers)

9

conclusies hieruit

• eXamine belangrijk onderwijsgereedschap (vooral voor vak methoden en technieken bij FSW)

• toenemend gebruik voor onderzoekopmerking: we weten niet echt hoe zich dit verhoudt in de eisen die aan het systeem worden gesteld

• consequenties voor systeemeigenaarschap

10

Hoe werkt dat nou, eXamine

kort exposé hoe met eXamine een online onderzoek kan worden

uitgevoerd

(sheets komen uit een cursus die op verzoek kan worden gegeven)

11

werkwijze

1.1. ProbleemstellingProbleemstelling

2.2. Plan van aanpak / UitvoeringsmogelijkhedenPlan van aanpak / Uitvoeringsmogelijkheden

3.3. Het ontwerpHet ontwerp

4.4. Invoeren vragenlijstInvoeren vragenlijst

5.5. Uitvoeren onderzoekUitvoeren onderzoek

6.6. Verwerking resultatenVerwerking resultaten

12

eXamine proces

probleemstelling

strategie

onderzoekdoor middel van

enquete

enqueteontwerp

resultatenanalyseren

enqueteopbouwen

enqueteuitvoeren

enqueteverwerken

domein van eXamine

13

1. enquete ontwerp: question

experimental design

questionaire

screens

questions

answer options

Types:text (short or long)numberdatee-mail adressdropdownlistradiobuttonscheckboxesscale

content:id, numbermandatory?typetext + explanationweight

score = points x weight

choice

14

voorbeelden

hoe zien die schermen en menu’s er uit?(eXamine versie 2.0)

15

gevulde lijst vragenlijst

16

17

details vragen typekeuze

18

voorbeeld: tekst vraag en radiobuttons:

19

voorbeeld: scale

20

2. enquete uitvoeren

regel 1: respondenten zijn “assets”, en verdienen een daarbijhorende behandeling.

– adequaat aanspreken,– uitleggen waarom, wat wanneer, hoe,– wat gebeurt met de resultaten (privacy),– zorgvuldigheid, niet voor de gek houden.

regel 2: testen, testen, testen, testen– de werking van de geprogrammeerde

vragenlijst– de benadering van respondenten– het downloaden van gegevens– het analyseren van gegevens

21

checkconsistency

click

22

checkstructure

click

23

2. enquete uitvoeren

• anoniem of persoonlijk• kies de stijl (layout)• maak “tekstblokken”

– e-mail tekst– colophon– help informatie– privacy statement– headers & footers

• stel lijst op van respondenten• stuur vragen, manage respondenten

24

25

eXamine studiedag 19 juni

probleemstelling

strategie

onderzoekdoor middel van

enquete

enqueteontwerp

resultatenanalyseren

enqueteopbouwen

enqueteuitvoeren

enqueteverwerken

domein van eXamine

26

3. enquete verwerken

download gegevens naar:Excel

– meestal voor quick scan, controle,– beperking door maximaal aantal rijen

SPSS– standaard analyse en report-tool– veel kennis voorhanden

XML– mogelijkheden “onbeperkt”– export naar eigen database of analysetools

27

de rol van het Onderwijscentrummet betrekking tot eXamine

Nu (2008, Silvester en Alfred)

vaststellen focus, vooral in licht van groei van onderzoekstoepassingen

consolidatie van gebruikersondersteuning regie van overgangstraject naar nieuwe versie (meer

grafische user-interface en uitbreiding met collaboration tools)

belegging van het systeem-eigenaarschap promotie van eXamine tot concernsysteem consolidatie van de relatie met de leverancier

28

tot slot:

vragen?meer weten?interesse in demo?behoefte aan cursus?