Download - Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Transcript
Page 1: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Bron Saxion Archeologie Fieldschool 2012-2013

Workshop Slimme toets-structurenVereniging Hogescholen12 december 2013

Page 2: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Onderwijskundig adviseur

• Zoëzi Opleidingsadvies

• http://www.zoezi.nl/

[email protected]

Hilde ter Horst Peter BlijlevenOnderwijskundig adviseur

• School of Business, Building & Technology

[email protected]

• www.saxion.nl/bbt

• www.saxion.nl/ar (Archeologie)

Voorstellen

Page 3: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

1. Introductie Saxion Archeologie.

2. Competentieontwikkeling binnen de opleiding.

3. PDCA: competentieanalyse a.d.h.v. piramide van Miller.

4. Activiteit: toetsplan duiden via piramide van Miller.

5. Terugkoppeling.

6. Opbrengsten en afronding.

Draaiboek

Page 4: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Achtergrondinformatie

• Enige HBO-bachelor Archeologie in Nederland.

• Opleiding gevestigd in Deventer.

• ±250 studenten (numerus fixus).

• Archeologie is specialistisch beroep:

– ± 30 docenten:

• Kernteam: 8 docenten

• Flexibele schil

– Gastdocenten

Bron Sax.nu (15 oktober „12).

Bron Saxion team Archeologie: Fieldschool.

Page 5: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Historie

• Start particulier initiatief, Saxion Next.

• In 2008 eerste accreditatie.

• In 2010 bij wet bepaald:

– Wo en hbo bachelorarcheoloog voor de wet gelijk.

• Sinds 2011 een bekostigde opleiding.

• Sinds mei 2013 stamopleiding Bachelor of Built Environment (BBE).

Bron Saxion team Archeologie: excursie Xanten

Bron Sax.nu (15 oktober „12).

Page 6: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Visie en uitgangspunten

• Aansluiting ontwikkelingen werkveld:– Wet archeologische monumentenzorg

(2007).

• Kwaliteitsnorm Nederlandse Archeologie (KNA)

– Kritische taken hbo bachelorarcheoloog

• Internationale oriëntatie:– Focus Nederlandse archeologie.

– Internationale samenwerking/stage.

• Competentiegericht

• Programma:– Wettelijke eisen (240ec, minor).

– Evenredige verdeling ECTS over jaren.

– Praktijkgericht (30 weken jaar 1/2/3).

KNA: kwaliteitsnorm archeologie (beroepstaken)

Bron Sax.nu (15 oktober „12).

Page 7: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Curriculum

• Stage/fieldschool

Page 9: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Curriculum

• Aanschouwelijk onderwijs: opgravingen bezoeken

Page 10: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: Curriculum

• Afstudeerproject WOII-erfgoed: V-I

Page 11: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Archeologie: competentieontwikkeling?

• Kaders van de opleiding staan, vraag is nu:– kunnen we garant staan voor kwaliteit?

– kunnen we die kwaliteit bij een accreditatie (18-10 „13) zichtbaar maken?

• Analysevragen geformuleerd:1. Dekt het toetsplan van de opleiding de toetsing van alle competenties af?

2. Is er sprake van toename complexiteit in toetsing van beheersing van competenties?

Page 12: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

PlanAnalyse via Piramide van Miller

• Plan voor analyse kritische toetsdocumenten:– Toetsplan, toetscatalogus en toetsen.

– Analyse op basis van piramide van Miller (1990).

• Aandachtspunten bij de analyse:– Is transparant of en waar alle competenties expliciet getoetst worden?

– “Bewandelen” de studenten door middel van de toetsen alle niveaus van Miller binnen een kwartiel, leerjaar en binnen hele opleiding?

– Is er sprake van een toename van complexiteit in toetsen?

– Is er sprake van een mix van toetsvormen en beoordelaars?

– Wat is het aandeel van individueel toetsen in summatieve toetsen?

Page 13: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

PlanAnalyse via Piramide van Miller

• Does: – toepassen geleerde in complexe praktijksituaties

(praktijk, stage, afstuderen).

• Shows how: – toepassen geleerde in gesimuleerde situaties

(practicumtoets, projecttoets).

• Knows how: – weten hoe kennis moet worden gebruikt

(casus, inzichtvragen kennistoets).

• Knows: – basiskennis waarover een student

moet beschikken (kennistoets).

Bron: Miller GE. (1990). The assessment of clinical skills/competence/performance. Academic Medicine, 65, S63-S67 Available: http://winbev.pbworks.com/f/Assessment.pdf [2013, december].

Does

Shows how

Knows how

Knows

Page 14: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

DOUitvoeren analyse toetsplan

• Voorbeeld:– Resultaat duiding m.b.v. piramide van Miller.

Page 15: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

CHECKijken en borgen bevindingen

• Check tijdens analyse: docenten– Tijdens analyse voortdurend in gesprek met docenten

over de toets, de competenties en de duiding van deniveaus Miller.

• Check na afronding van analyse: eindoordeel– Beantwoorden van de analysevragen.

– Vaststellen totale analyse met opleidingsteam.

– Vaststellen competentieontwikkeling bij Examencommissie.

Page 16: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

CheckConclusies

• Het bestaande toetsplan was niet volledig.

• Leerjaar 1/2/3: – Alle competenties minimaal 2 keer getoetst in jaar.

• Complexiteit toetsing stijgt tijdens studie:– Meer „knows how‟ niveau in kennistoetsen leerjaar 3.– Complexiteit van toetsing stage stijgt.

• Propedeuse: oriëntatiefase:– Alle competenties (ten minste) op „knows how‟ niveau getoetst.– Toetsing op „Does‟ niveau in fieldschool (kwartiel 4).

• Eind jaar 3: alle competenties op „does‟-niveau getoetst.

• Leerjaar 4: focus op toetsing hbo-competenties

Page 17: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

ACTVervolgacties

• Nieuw toetsplan:– Opleiding heeft toetsplan aangescherpt o.b.v. de

analyseresultaten.

• Bijgestelde toetsplan is vastgesteld door de examencommissie.

• Zichtbaar maken competentieontwikkeling via een poster.

• Accreditatie (oktober 2013):– Poster en nieuwe toetsplan zijn succesvol gepresenteerd bij de externe

visitatie door Hobéon.

Page 18: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Opdracht:Oefenen met Miller

Werk de volgende 2 vragen uit:

1. Maak de duidingen volgens Miller af voor kwartiel 2,3 en 4.

– Vervang de kruisjes door K („knows‟) KH („knows how‟) SH („shows how‟) D („does‟).

2. Analyseer je „score‟ en beantwoord de volgende deelvragen:

– Worden alle competenties evenwichtig getoetst?

– Worden alle niveaus van Miller doorlopen binnen een kwartiel enbinnen de gehele propedeuse?

Does

Shows

how

Knows how

KnowsNB. Linkerkolom: Vijf competenties, C1 tot en met C5.

Rechterkolommen: Toetsvormen verdeeld over 4 kwartielen

Page 19: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

OpdrachtResultaten & conclusies

REACTIES

conclu

sie

s

bevindingen

uitkomsten

bijzonderheden

Page 20: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Tot besluitOpbrengsten analyse

• Accreditatie: – Docenten kunnen competentieontwikkeling in opleiding beter uitleggen.

• Verbeteren toetsmatrijzen kennistoetsen:– Voorstel voor opnemen niveaus Miller in sjabloon toetsmatrijzen.

• Verbintenis met Saxion didactische training:– Feedback docenten tijdens de analysefase dat ook in Saxion didactische

training aandacht wordt besteed aan de piramide van Miller.

– Goed voor de communicatie, docenten pakken werkwijze snel op.

Page 21: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Opbrengsten

• Tijd:– Analyse is in betrekkelijk korte tijd te doen.

– Archeologie: analyse in 2 maanden uitgevoerd (incl. ontwerp).

• Communicatie:– Benutting Poster tijdens open dagen.

• Onderwijsontwikkeling:– Poster helpt curriculumcommissie bij maken keuzes onderwijsherziening

(o.a. relatie toetsvormen, niveaus van Miller, behouden wat goed is, etc.).

• Aanbeveling:– Gesprek met docent is absoluut noodzakelijk.

– Analyse maakt inzichtelijk of het toetsplan de competenties afdekt.

– Uitspraken over eindniveau (competent zijn) hangen af van het hele toetskwaliteitssysteem (examen-/toetscommissie, toetscontrole, scholing).

Page 22: Vereniging van Hogescholen: workshop slimme toetsstructuren - competentieanalyse via Miller's Triangle (1990)

Bedankt voor uw aandacht!

? ? ?