Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen; van kennistoetsing naar...

Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen: Van kennistoetsing naar assessment van competentiegroei

SURF Onderwijsdagen 2008

Faculty of Health, Medicine and Life Sciences

Voortgangstoetsing in geneeskunde onderwijs

• Achtergrond– 1976 Geneeskunde Maastricht– PGO– Zelfstandig leren en ontwikkelen van eigen

leerdoelen

Voortgangstoetsing


Wat is voortgangstoetsing

• totale kennisdomein basisartseindtermen (vgl. eindexamen)

• 4x per jaar afgenomen bij alle studenten

• beklijvende, functionele kennis


Voordelen VT• voorkomt toetsgestuurd studeren• beloont elke individuele studieactiviteit • meet functionele, beklijvende kennis• herhaalde meting van dezelfde kennis• aparte herkansing niet nodig• vroeg ontdekken uitblinkers• feedback aan studenten en docenten• veel onderzoeksmogelijkheden

- cross-sectioneel en longitudinaal design- sub-test vergelijkingen- curriculumonafhankelijk


Toepassingen VT

• Geneeskundefaculteiten:- Maastricht, Nijmegen, Groningen, Leiden

- VU- Gent, Berlijn, Tampere-Finland, Manchester- Pretoria- Missouri Kansas City, McMaster Hamilton

• Specialistenopleiding:- Huisarts- Kindergeneeskunde


Interuniversitaire voortgangstoets geneeskunde

• 200 meerkeuze vragen

– 17 Categorieën (ICD)– 19 Disciplines

• 4 maal per jaar• Alle geneeskunde studenten (jaar 1-6)


VOSYS systeem

• Itembanking unit • Itemtypes: goed/fout/? • Test constructie volgens Blauwdruk• Berekenen/Beheren

Item AnalyseScores en UitkomstenLongitudinale resultaten


VOSYS functionaliteit

Case admin (CAD)• Vraag admin

• classificaties• Auteurs• Literatuur

• Blueprint admin• Test admin

Result admin (RED)• Sessie admin• Import Student Data

(antwoorden)• Norm admin• Berekenen Scores

• Item Analyse• Resultaten berekenen• Aanpassen van

normen• Export Resultaten


Huidige feedback

• Papieren formulier• Alleen huidige toets• Tekst• Geen grafische weergave


Universiteit Maastricht ID-nummer: ******************************* * Gegevens verwerkt door de * Jaargroep: 4 * * * TAAKGROEP TOETSING * Voortgangstoets (M19901): September 1999 *******************************

________________________________________________________________________________________________________________________________ | | | RESULTATEN PER CATEGORIE (Procentueel) | |______________________________________________________________________________________________________________________________| | | | individueel | studiejaargroep (n=201) | | | aantal |----------------------------|--------------------------------------------------------| | Omschrijving | vragen | Goed Fout ? G-F | Goed std Fout std ? std G-F std | |------------------------------|---------|----------------------------|--------------------------------------------------------| | 1 Ademhalingsstelsel | 17 | 41 6- 53+ 35 | 45 14 14 10 41 17 31 16 | | 2 Bloed en lymfstelsel | 10 | 50+ 0-- 50 50++| 41 15 18 13 41 19 24 21 | | 3 Spier- en skeletst | 20 | 30 20+ 50 10- | 33 14 15 9 53 17 18 15 | | 4 Geestelijke gez zorg | 13 | 31-- 15 54+ 15- | 49 16 14 10 36 19 35 20 | | 5 Voortplantingsstelsel | 12 | 17-- 25+ 58+ -8--| 35 14 18 13 46 17 17 21 | | 6 Hart en vaatstelsel | 22 | 41 18 41 23 | 39 13 22 11 39 17 17 17 | | 7 Hormonen en metabol | 11 | 18- 9- 73++ 9 | 31 16 18 11 51 19 13 20 | | 8 Huid en bindweefsel | 14 | 0-- 7 93++ -7--| 29 16 11 11 60 21 18 18 | | 9 Pers en mtsch aspecten | 12 | 33- 8- 58++ 25 | 47 15 16 11 36 20 31 19 | | 10 Spijsverteringsstelsel | 17 | 12- 0-- 88++ 12 | 27 15 11 10 62 21 16 15 | | 11 Nieren en urinewegen | 15 | 0-- 7- 93++ -7--| 24 13 14 11 62 20 9 15 | | 12 Zenuwst en zintuigen | 24 | 25- 4- 71++ 21 | 37 13 15 11 49 19 22 16 | | 13 Mol en cellulaire asp | 8 | 13- 0-- 88++ 13+ | 26 16 26 17 48 21 0 24 | | 14 Wetenschapsl en method | 10 | 30-- 10- 60++ 20- | 52 20 19 13 29 22 33 25 | | 15 Levensfasen | 8 | 0-- 0- 100++ 0--| 37 21 12 13 51 25 25 24 | | 16 Kennis over vaardigh | 20 | 25-- 5- 70++ 20- | 42 13 11 8 47 16 31 15 | | 17 Prev gezondheidszorg | 9 | 33 0- 67+ 33 | 41 17 10 12 49 20 31 21 | |______________________________|_________|____________________________|________________________________________________________| ________________________________________________________________________________________________________________________________ | Totaal | 242 | 24-- 9- 67++ 16- | 37 9 15 7 48 14 22 8 | |______________________________|_________|____________________________|________________________________________________________|

- / -- / + / ++ / laag resp. hoog in vergelijking tot totale groep

De norm voor deze toets is: 14.46 Uw procentuele GOED - FOUT score is: 15.70 (Absoluut: 38) Dit resultaat is: VOLDOENDE

Niet opgenomen vragen: 1,8,9,53,130,133,138 en 201 Sleutelwijzigingen : 17,87,117,125,188,190 en 220

De gebruikte normen liggen ter inzage bij de onderwijsbalie.

Maastricht, 12 oktober 1999

Tegen deze uitslag kunt u, binnen 4 weken na dagtekening, beroep aantekenen bij het College van Beroep voor de Examens van de UM, Postbus 616, 6200 MD Maastricht


SURF-project Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen

• Feedback over toetsresultaten, geen items• Web georiënteerd• Vraaggestuurd / Student georiënteerd• Longitudinale / predictieve feedback


• Deelnemende universiteiten– Universiteit Maastricht– Universiteit Groningen– Universiteit Nijmegen– Universiteit Leiden

September 2007 - Augustus 2009


VerkenningZoekmethode• Er is naar literatuur over dit onderwerp gezocht

met behulp van Pubmed, Web of science (SSCI & SCI) en Eric. Trefwoorden:

– Progress test, Quarterly Profile Examination, Feedback, Assessment, Test Results, Test Scores, Progress review system, Formative, summative, Medical education

• Informatie over feedback van de VT bij verschillende universiteiten via Internet

• Contact met de universiteiten voor informatie over rapporteren van de VT resultaten.


Resultaten• Er is tot op heden weinig beschreven met betrekking

tot feedback van de voortgangstoets. • Verschillende media om de toetsresultaten aan hun

studenten te verstrekken.

• In de meeste gevallen feedback als tekstbestand

• Weinig aandacht voor grafische representatie van de (longitudinale) resultaten


Behoefte onderzoek

• Twee doelgroepen:– Studenten

>Uitgevoerd in Groningen en Leiden (Harro Medema)

– Onderwijsorganisatie>Uitgevoerd in Groningen, Nijmegen, Maastricht (Ilske

Timmermans)


Behoefteonderzoek-Conclusies

• Belangrijkste feedback is uitslag van de laatste toets

• Grafieken met toetsverleden en prognose (longitudinale feedback).

• Cumulatieve score voor detailscores • Waarschuwing naar de student en de

studie-adviseur bij structurele afwijking.

• Prognose over korte periode


Functionaliteit ProF systeem

• Feedback: kwantitatieve score-informatie voor totaal en subtoetsen

• Momentaan, longitudinaal en predictief

• Individueel en geaggregeerd

• Individuele score en referentie

• Gebaseerd op Vosys gegevens


Niet-functionele eisen

• Webgebaseerd• Flexibiliteit in het systeem t.a.v weergave

scores, meetmomenten etc.• Veel gebruikers tegelijk (4x per jaar)• Aggregatie over grote groepen kost veel

rekentijd


Uitdagingen

• Verschillende curricula• Uitzonderingen• Invoering ba-ma


Conceptueel ontwerp ProF

• Modulaire opbouw– Uitwisselbare modules voor prognoses,

cumulatie, etc.

• Berekeningen off-line• Datawarehouse aanpak• Schaalbare architectuur


• 1: Exportmodule– export gegevens uit vosys-database

• 2: Rekenmodule A en B– A: individuele prognoses– B: Geaggregeerde peergroepgegevens

• 3: Importmodule– Import in feedbackdatabase

• 4: Feedbackdatabase– Basis voor de visualisatieapplicatie

• 5: Visualisatieapplicatie– Presentatie gegevens in feedbackdatabase

• 6: Feedback portal/website– Achtergrondinformatie VT en feedback en Portal


student

1c. view userinfo

gebruiker

1a. login

1d. verander password

1b. logout

1e. view help

2a. view chronologischoverzicht toetsen

2c. view toetsscorestotaal / detail

staflid

3b. view per peergroeplongitudinaal

2b. view longitudinaleontwikkeling

local administrator

4a. view/sortusers

4b. view/changeuserinfo

4c. change user password

4f. create user

systemadministrator

4e. delete user

alleen adm instatorrollen

3a. bekijk studentresultaten

alleen m iddels intypenstudent-id

3e. momentane toetsscoresover peergroepen heen

(totaal/detail)

tabelvorm

lijngrafieken

zelfde als

switch tussentabel en staafdiagram m en

Use case diagram Vosys feedback portalversie 4, 25 september 2008

alle toetsen,niet alleen m eetm om enten

3d. momentane toetsscorespeergroep (totaal/detail)

alleen staff en studentrollenbinnen eigenuni

switch tussentabel en staafdiagram m en

lijngrafieken

switch tussentabel en staafdiagram m en?

3c. view over peergroepenlongitudinaal

loginid, em ailadres,authorisatie

bij inloggen kan ook om een em ail m et nieuw passwordworden gevraagd

2: Studentfuncties3: Staffuncties

1: algemene functies

4: beheerfuncties


Voorspelde Toetsresultaten Student 3.

Voortgangstoets

O1

O1

O2

O1

O3

O1

O4

O1

O1

O3

O2

O3

O3

O3

O4

O3

O1

O4

O2

O4

O3

O4

O4

O4

O1

O5

O2

O5

O3

O5

O4

O5

O1

O6

O2

O6

O3

O6

O4

O6

O1

O7

O2

O7

O3

O7

O4

O7

Go

ed

-Fo

ut

%

0

10

20

30

GoedVoldoendeOnvoldoendeGemiddelde score van je jaargroepToetsscore student 395% Betrouwbaarh. interval voorspelde score

GoedVoldoende (gemiddeld)Onvoldoende

Eigen score

Voorspelling toetsresultaten student i073784


Top 5%GoedVoldoendeOnvoldoendeLaagste 5%

Aantal vragen:189Score Correct-Incorrect%21,12:?:79Gemiddelde score:29,37

Toetsdatum: 23 september 2007

Studentnr: i073784

% correct-incorrect


Top 5%70%-95%50%-70 15% - 50%5%-15%Laagste 5%

Aantal vragen:189Score correct %26,12:Gemiddelde score:29,37


Studentnr: i073784

% correct


Correct-Incorrect %70% tot 95%mediaanLaagste 5% tot 15%Score

Ademhalingsstelsel

Bloed- en lymfestelsel

Spier- en skeletstelsel

Geestelijke gez. zorg

Voortplantingsstelsel

Hart- en vaatstelsel

Hormonen en metabolisme

Huid en bindweefsel

Persoonlijke en maatsch.

Spijsverteringsstelsel

Nieren en urinewegen

Zenuwstelsel en zintuigen

Levensfasen algemeen

Kennis over vaardigheden

Preventieve gez. zorg

48%

35%

61%

75%

47%

6%

41%

58%

82%

69%

27%

53%

60%

30%

37%


Voorspelde Toetsresultaten Student 3.

Voortgangstoets

O1O

1

O2O

1

O3O

1

O4O

1

O1O

3

O2O

3

O3O

3

O4O

3

O1O

4

O2O

4

O3O

4

O4O

4

O1O

5

O2O

5

O3O

5

O4O

5

O1O

6

O2O

6

O3O

6

O4O

6

O1O

7

O2O

7

O3O

7

O4O

7

Go

ed

-Fo

ut

%

0

10

20

30

GoedVoldoendeOnvoldoendeGemiddelde score van de jaargroep

GoedVoldoende (gemiddeld)Onvoldoende

Voorspelling toetsresultaten jaargroep 4


Cohort 01-02

Toets

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

G-F

0

5

10

15

20

25

30

35

40

MaastrichtNijmegenGroningenGemiddelde


Top 5%70%-95%50%-70 15% - 50%5%-15%Laagste 5%

Gemiddelde

Aantal vragen:189Score correct %26,12:Gemiddelde score:29,37


% correct

Universiteit Maastricht

Jaargroep 3


Correct-Incorrect %70% tot 95%mediaanLaagste 5% tot 15%Gemiddelde

Ademhalingsstelsel

Bloed- en lymfestelsel

Spier- en skeletstelsel

Geestelijke gez. zorg

Voortplantingsstelsel

Hart- en vaatstelsel

Hormonen en metabolisme

Huid en bindweefsel

Persoonlijke en maatsch.

Spijsverteringsstelsel

Nieren en urinewegen

Zenuwstelsel en zintuigen

Levensfasen algemeen

Kennis over vaardigheden

Preventieve gez. zorg

60%

58%

51%

63%

53%

50%

59%

58%

65%

69%

56%

60%

67%

70%

47%


0

20

40

60

80

100

1 2 3 4 5 6

Jaargroep

% G

-F goed

voldoende

onvoldoendeGemiddelde

Resultaten voortgangstoets september 2007 Maastricht


Technische keuzes

• Vosys: Oracle database• Export: Oracle SQL views• Rekenmodules: Matlab• Import en transformatie: Perl• Feedbackdatabase: MySQL• GUI: PHP


Werkwijze

• Ieder kwartaal:– Exporteer data uit VOSYS– Bereken cumulatie en prognose per

student (alle gewenste soorten)– Bepaal peergroepen– Bereken verdeling en prognose per

peergroep– Importeer data in ProF database


Huidige status

• Midterm-review 31 oktober• Ontwikkeling export-import gaande• Ontwerp GUI gereed, ontwikkeling start

binnenkort• Ontwikkeling gereed eerste kwartaal

2009• Test, pilot en evaluatie t/m Juli 2009


Conclusies

• Modulaire aanpak zorgt voor beheersbaarheid

• Flexibiliteit is essentieel gezien voortschrijdende inzichten

Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen; van kennistoetsing naar...

Education

Transcript of Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen; van kennistoetsing naar...