Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen: Van kennistoetsing naar assessment van competentiegroei

SURF Onderwijsdagen 2008

Faculty of Health, Medicine and Life Sciences

Voortgangstoetsing in geneeskunde onderwijs

• Achtergrond– 1976 Geneeskunde Maastricht– PGO– Zelfstandig leren en ontwikkelen van eigen

leerdoelen

Voortgangstoetsing

Faculty of Health, Medicine and Life Sciences

Wat is voortgangstoetsing

• totale kennisdomein basisartseindtermen (vgl. eindexamen)

• 4x per jaar afgenomen bij alle studenten

• beklijvende, functionele kennis

Faculty of Health, Medicine and Life Sciences

Voordelen VT• voorkomt toetsgestuurd studeren• beloont elke individuele studieactiviteit • meet functionele, beklijvende kennis• herhaalde meting van dezelfde kennis• aparte herkansing niet nodig• vroeg ontdekken uitblinkers• feedback aan studenten en docenten• veel onderzoeksmogelijkheden

- cross-sectioneel en longitudinaal design- sub-test vergelijkingen- curriculumonafhankelijk

Faculty of Health, Medicine and Life Sciences

Toepassingen VT

• Geneeskundefaculteiten:- Maastricht, Nijmegen, Groningen, Leiden

- VU- Gent, Berlijn, Tampere-Finland, Manchester- Pretoria- Missouri Kansas City, McMaster Hamilton

• Specialistenopleiding:- Huisarts- Kindergeneeskunde

Faculty of Health, Medicine and Life Sciences

Interuniversitaire voortgangstoets geneeskunde

• 200 meerkeuze vragen

– 17 Categorieën (ICD)– 19 Disciplines

• 4 maal per jaar• Alle geneeskunde studenten (jaar 1-6)

Faculty of Health, Medicine and Life Sciences

VOSYS systeem

• Itembanking unit • Itemtypes: goed/fout/? • Test constructie volgens Blauwdruk• Berekenen/Beheren

Item AnalyseScores en UitkomstenLongitudinale resultaten

Faculty of Health, Medicine and Life Sciences

VOSYS functionaliteit

Case admin (CAD)• Vraag admin

• classificaties• Auteurs• Literatuur

• Blueprint admin• Test admin

Result admin (RED)• Sessie admin• Import Student Data

(antwoorden)• Norm admin• Berekenen Scores

• Item Analyse• Resultaten berekenen• Aanpassen van

normen• Export Resultaten

Faculty of Health, Medicine and Life Sciences

Huidige feedback

• Papieren formulier• Alleen huidige toets• Tekst• Geen grafische weergave

Faculty of Health, Medicine and Life Sciences

Universiteit Maastricht ID-nummer: ******************************* * Gegevens verwerkt door de * Jaargroep: 4 * * * TAAKGROEP TOETSING * Voortgangstoets (M19901): September 1999 *******************************

________________________________________________________________________________________________________________________________ | | | RESULTATEN PER CATEGORIE (Procentueel) | |______________________________________________________________________________________________________________________________| | | | individueel | studiejaargroep (n=201) | | | aantal |----------------------------|--------------------------------------------------------| | Omschrijving | vragen | Goed Fout ? G-F | Goed std Fout std ? std G-F std | |------------------------------|---------|----------------------------|--------------------------------------------------------| | 1 Ademhalingsstelsel | 17 | 41 6- 53+ 35 | 45 14 14 10 41 17 31 16 | | 2 Bloed en lymfstelsel | 10 | 50+ 0-- 50 50++| 41 15 18 13 41 19 24 21 | | 3 Spier- en skeletst | 20 | 30 20+ 50 10- | 33 14 15 9 53 17 18 15 | | 4 Geestelijke gez zorg | 13 | 31-- 15 54+ 15- | 49 16 14 10 36 19 35 20 | | 5 Voortplantingsstelsel | 12 | 17-- 25+ 58+ -8--| 35 14 18 13 46 17 17 21 | | 6 Hart en vaatstelsel | 22 | 41 18 41 23 | 39 13 22 11 39 17 17 17 | | 7 Hormonen en metabol | 11 | 18- 9- 73++ 9 | 31 16 18 11 51 19 13 20 | | 8 Huid en bindweefsel | 14 | 0-- 7 93++ -7--| 29 16 11 11 60 21 18 18 | | 9 Pers en mtsch aspecten | 12 | 33- 8- 58++ 25 | 47 15 16 11 36 20 31 19 | | 10 Spijsverteringsstelsel | 17 | 12- 0-- 88++ 12 | 27 15 11 10 62 21 16 15 | | 11 Nieren en urinewegen | 15 | 0-- 7- 93++ -7--| 24 13 14 11 62 20 9 15 | | 12 Zenuwst en zintuigen | 24 | 25- 4- 71++ 21 | 37 13 15 11 49 19 22 16 | | 13 Mol en cellulaire asp | 8 | 13- 0-- 88++ 13+ | 26 16 26 17 48 21 0 24 | | 14 Wetenschapsl en method | 10 | 30-- 10- 60++ 20- | 52 20 19 13 29 22 33 25 | | 15 Levensfasen | 8 | 0-- 0- 100++ 0--| 37 21 12 13 51 25 25 24 | | 16 Kennis over vaardigh | 20 | 25-- 5- 70++ 20- | 42 13 11 8 47 16 31 15 | | 17 Prev gezondheidszorg | 9 | 33 0- 67+ 33 | 41 17 10 12 49 20 31 21 | |______________________________|_________|____________________________|________________________________________________________| ________________________________________________________________________________________________________________________________ | Totaal | 242 | 24-- 9- 67++ 16- | 37 9 15 7 48 14 22 8 | |______________________________|_________|____________________________|________________________________________________________|

- / -- / + / ++ / laag resp. hoog in vergelijking tot totale groep

De norm voor deze toets is: 14.46 Uw procentuele GOED - FOUT score is: 15.70 (Absoluut: 38) Dit resultaat is: VOLDOENDE

Niet opgenomen vragen: 1,8,9,53,130,133,138 en 201 Sleutelwijzigingen : 17,87,117,125,188,190 en 220

De gebruikte normen liggen ter inzage bij de onderwijsbalie.

Maastricht, 12 oktober 1999

Tegen deze uitslag kunt u, binnen 4 weken na dagtekening, beroep aantekenen bij het College van Beroep voor de Examens van de UM, Postbus 616, 6200 MD Maastricht

Faculty of Health, Medicine and Life Sciences

SURF-project Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen

• Feedback over toetsresultaten, geen items• Web georiënteerd• Vraaggestuurd / Student georiënteerd• Longitudinale / predictieve feedback

Faculty of Health, Medicine and Life Sciences

• Deelnemende universiteiten– Universiteit Maastricht– Universiteit Groningen– Universiteit Nijmegen– Universiteit Leiden

September 2007 - Augustus 2009

Faculty of Health, Medicine and Life Sciences

VerkenningZoekmethode• Er is naar literatuur over dit onderwerp gezocht

met behulp van Pubmed, Web of science (SSCI & SCI) en Eric. Trefwoorden:

– Progress test, Quarterly Profile Examination, Feedback, Assessment, Test Results, Test Scores, Progress review system, Formative, summative, Medical education

• Informatie over feedback van de VT bij verschillende universiteiten via Internet

• Contact met de universiteiten voor informatie over rapporteren van de VT resultaten.

Faculty of Health, Medicine and Life Sciences

Resultaten• Er is tot op heden weinig beschreven met betrekking

tot feedback van de voortgangstoets. • Verschillende media om de toetsresultaten aan hun

studenten te verstrekken.

• In de meeste gevallen feedback als tekstbestand

• Weinig aandacht voor grafische representatie van de (longitudinale) resultaten

Faculty of Health, Medicine and Life Sciences

Behoefte onderzoek

• Twee doelgroepen:– Studenten

>Uitgevoerd in Groningen en Leiden (Harro Medema)

– Onderwijsorganisatie>Uitgevoerd in Groningen, Nijmegen, Maastricht (Ilske

Timmermans)

Faculty of Health, Medicine and Life Sciences

Behoefteonderzoek-Conclusies

• Belangrijkste feedback is uitslag van de laatste toets

• Grafieken met toetsverleden en prognose (longitudinale feedback).

• Cumulatieve score voor detailscores • Waarschuwing naar de student en de

studie-adviseur bij structurele afwijking.

• Prognose over korte periode

Faculty of Health, Medicine and Life Sciences

Functionaliteit ProF systeem

• Feedback: kwantitatieve score-informatie voor totaal en subtoetsen

• Momentaan, longitudinaal en predictief

• Individueel en geaggregeerd

• Individuele score en referentie

• Gebaseerd op Vosys gegevens

Faculty of Health, Medicine and Life Sciences

Niet-functionele eisen

• Webgebaseerd• Flexibiliteit in het systeem t.a.v weergave

scores, meetmomenten etc.• Veel gebruikers tegelijk (4x per jaar)• Aggregatie over grote groepen kost veel

rekentijd

Faculty of Health, Medicine and Life Sciences

Uitdagingen

• Verschillende curricula• Uitzonderingen• Invoering ba-ma

Faculty of Health, Medicine and Life Sciences

Conceptueel ontwerp ProF

• Modulaire opbouw– Uitwisselbare modules voor prognoses,

cumulatie, etc.

• Berekeningen off-line• Datawarehouse aanpak• Schaalbare architectuur

Faculty of Health, Medicine and Life Sciences

Faculty of Health, Medicine and Life Sciences

• 1: Exportmodule– export gegevens uit vosys-database

• 2: Rekenmodule A en B– A: individuele prognoses– B: Geaggregeerde peergroepgegevens

• 3: Importmodule– Import in feedbackdatabase

• 4: Feedbackdatabase– Basis voor de visualisatieapplicatie

• 5: Visualisatieapplicatie– Presentatie gegevens in feedbackdatabase

• 6: Feedback portal/website– Achtergrondinformatie VT en feedback en Portal

Faculty of Health, Medicine and Life Sciences

student

1c. view userinfo

gebruiker

1a. login

1d. verander password

1b. logout

1e. view help

2a. view chronologischoverzicht toetsen

2c. view toetsscorestotaal / detail

staflid

3b. view per peergroeplongitudinaal

2b. view longitudinaleontwikkeling

local administrator

4a. view/sortusers

4b. view/changeuserinfo

4c. change user password

4f. create user

systemadministrator

4e. delete user

alleen adm instatorrollen

3a. bekijk studentresultaten

alleen m iddels intypenstudent-id

3e. momentane toetsscoresover peergroepen heen

(totaal/detail)

tabelvorm

lijngrafieken

zelfde als

switch tussentabel en staafdiagram m en

Use case diagram Vosys feedback portalversie 4, 25 september 2008

alle toetsen,niet alleen m eetm om enten

3d. momentane toetsscorespeergroep (totaal/detail)

alleen staff en studentrollenbinnen eigenuni

switch tussentabel en staafdiagram m en

lijngrafieken

switch tussentabel en staafdiagram m en?

3c. view over peergroepenlongitudinaal

loginid, em ailadres,authorisatie

bij inloggen kan ook om een em ail m et nieuw passwordworden gevraagd

2: Studentfuncties3: Staffuncties

1: algemene functies

4: beheerfuncties

Faculty of Health, Medicine and Life Sciences

Faculty of Health, Medicine and Life Sciences

Faculty of Health, Medicine and Life Sciences

Voorspelde Toetsresultaten Student 3.

Voortgangstoets

O1

O1

O2

O1

O3

O1

O4

O1

O1

O3

O2

O3

O3

O3

O4

O3

O1

O4

O2

O4

O3

O4

O4

O4

O1

O5

O2

O5

O3

O5

O4

O5

O1

O6

O2

O6

O3

O6

O4

O6

O1

O7

O2

O7

O3

O7

O4

O7

Go

ed

-Fo

ut

%

0

10

20

30

GoedVoldoendeOnvoldoendeGemiddelde score van je jaargroepToetsscore student 395% Betrouwbaarh. interval voorspelde score

GoedVoldoende (gemiddeld)Onvoldoende

Eigen score

Voorspelling toetsresultaten student i073784

Faculty of Health, Medicine and Life Sciences

Top 5%GoedVoldoendeOnvoldoendeLaagste 5%

Aantal vragen:189Score Correct-Incorrect%21,12:?:79Gemiddelde score:29,37

Toetsdatum: 23 september 2007

Studentnr: i073784

% correct-incorrect

Faculty of Health, Medicine and Life Sciences

Top 5%70%-95%50%-70 15% - 50%5%-15%Laagste 5%

Aantal vragen:189Score correct %26,12:Gemiddelde score:29,37

Toetsdatum: 23 september 2007

Studentnr: i073784

% correct

Faculty of Health, Medicine and Life Sciences

Correct-Incorrect %70% tot 95%mediaanLaagste 5% tot 15%Score

Ademhalingsstelsel

Bloed- en lymfestelsel

Spier- en skeletstelsel

Geestelijke gez. zorg

Voortplantingsstelsel

Hart- en vaatstelsel

Hormonen en metabolisme

Huid en bindweefsel

Persoonlijke en maatsch.

Spijsverteringsstelsel

Nieren en urinewegen

Zenuwstelsel en zintuigen

Levensfasen algemeen

Kennis over vaardigheden

Preventieve gez. zorg

48%

35%

61%

75%

47%

6%

41%

58%

82%

69%

27%

53%

60%

30%

37%

Faculty of Health, Medicine and Life Sciences

Faculty of Health, Medicine and Life Sciences

Voorspelde Toetsresultaten Student 3.

Voortgangstoets

O1O

1

O2O

1

O3O

1

O4O

1

O1O

3

O2O

3

O3O

3

O4O

3

O1O

4

O2O

4

O3O

4

O4O

4

O1O

5

O2O

5

O3O

5

O4O

5

O1O

6

O2O

6

O3O

6

O4O

6

O1O

7

O2O

7

O3O

7

O4O

7

Go

ed

-Fo

ut

%

0

10

20

30

GoedVoldoendeOnvoldoendeGemiddelde score van de jaargroep

GoedVoldoende (gemiddeld)Onvoldoende

Voorspelling toetsresultaten jaargroep 4

Faculty of Health, Medicine and Life Sciences

Cohort 01-02

Toets

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

G-F

0

5

10

15

20

25

30

35

40

MaastrichtNijmegenGroningenGemiddelde

Faculty of Health, Medicine and Life Sciences

Top 5%70%-95%50%-70 15% - 50%5%-15%Laagste 5%

Gemiddelde

Aantal vragen:189Score correct %26,12:Gemiddelde score:29,37

Toetsdatum: 23 september 2007

% correct

Universiteit Maastricht

Jaargroep 3

Faculty of Health, Medicine and Life Sciences

Correct-Incorrect %70% tot 95%mediaanLaagste 5% tot 15%Gemiddelde

Ademhalingsstelsel

Bloed- en lymfestelsel

Spier- en skeletstelsel

Geestelijke gez. zorg

Voortplantingsstelsel

Hart- en vaatstelsel

Hormonen en metabolisme

Huid en bindweefsel

Persoonlijke en maatsch.

Spijsverteringsstelsel

Nieren en urinewegen

Zenuwstelsel en zintuigen

Levensfasen algemeen

Kennis over vaardigheden

Preventieve gez. zorg

60%

58%

51%

63%

53%

50%

59%

58%

65%

69%

56%

60%

67%

70%

47%

Faculty of Health, Medicine and Life Sciences

0

20

40

60

80

100

1 2 3 4 5 6

Jaargroep

% G

-F goed

voldoende

onvoldoendeGemiddelde

Resultaten voortgangstoets september 2007 Maastricht

Faculty of Health, Medicine and Life Sciences

Faculty of Health, Medicine and Life Sciences

Technische keuzes

• Vosys: Oracle database• Export: Oracle SQL views• Rekenmodules: Matlab• Import en transformatie: Perl• Feedbackdatabase: MySQL• GUI: PHP

Faculty of Health, Medicine and Life Sciences

Werkwijze

• Ieder kwartaal:– Exporteer data uit VOSYS– Bereken cumulatie en prognose per

student (alle gewenste soorten)– Bepaal peergroepen– Bereken verdeling en prognose per

peergroep– Importeer data in ProF database

Faculty of Health, Medicine and Life Sciences

Huidige status

• Midterm-review 31 oktober• Ontwikkeling export-import gaande• Ontwerp GUI gereed, ontwikkeling start

binnenkort• Ontwikkeling gereed eerste kwartaal

2009• Test, pilot en evaluatie t/m Juli 2009

Faculty of Health, Medicine and Life Sciences

Conclusies

• Modulaire aanpak zorgt voor beheersbaarheid

• Flexibiliteit is essentieel gezien voortschrijdende inzichten