Post on 14-Jun-2015
Evalueren bij afstuderen
OOF Bachelortoets
Intro
Voorbeeld
• Teams van studenten• (Onderzoeks-)project• Aangeleverd door externen uit het vakgebied• Begeleid door docenten en externe opdrachtgevers • Rapporteren conclusies/ product
• Paper• Presentatie voor medestudenten, externen en docenten
Voorbeeld
• Herkent u aspecten uit deze toets?MMA
Maar ook: VPK, SW, CH, SPIZ, SO, VD…
• Welke competenties kan u beoordelen met dergelijke toets?
Voorbeeld MMA
• Kritische ingesteldheid• Flexibiliteit• Nauwkeurigheid• Professionaliteit• Leergierigheid• Goede omgang met feedback • Timemanagement• Planningsvaardigheden• Samenwerkingsvaardigheden• Schrijfvaardigheden
Project - inhoud
1
2
3
tijd
Inho
ud,
nive
au,
inte
grat
ie
TOETSVORM Scriptie - afstudeerwerkOveralltoetsProject - sfstudeerprojectPortfolioStage(verslag)…
Eindtoets Bachelor
Verloop workshop
• Intro Voorbeeld
• Kader Project
• Work (shop) World café
• Kader• Theoretisch kader• Assessment instrument
• (Work) Shop Voorbeeld
• Vragen
Kader
Project - aanleiding
Bachelor
Bologna (1999)
EQF (2008)
Decreet op kwalificatiestructuur
(2009)
Domeinspecifieke leerresultatenkaders
Toets
NVAO visitatie- en accreditatie
Nieuw visitatie- en accreditatiekader
(2010) – standaard 3
Kwaliteitsvolle toetsing=
Bewijslast voor eindniveau
Sturend effect
Project - aanleiding
Assessmentinstrumenten voor eindevaluatie (divergent assessment):
• Verschillende opleidingen (TI, IZSP,…)• Verschillende vormen en procedures• Verschillende (beroepsspecifieke) focus• Verschillende context• Gelijkaardige evaluatiecriteria/ standaarden
Project - Algemene competenties
• Denk- en redeneervaardigheid• Verwerven en verwerken van informatie• Kritische reflectie• Projectmatig werken• Creativiteit• Uitvoeren eenvoudige leidinggevende taken• Communiceren • Levenslang leren
Project - Algemeen beroepsgerichte competenties
• Teamgericht werken• Oplossingsgericht werken• Maatschappelijke verantwoordelijkheid
samenhangend met de beroepspraktijk
Project - doelstellingen
• Gevalideerde associatiebreed inzetbaar
• Set evaluatiecriteria kwaliteit: betrouwbaarheid/ transparantie
• Minimumcriteria concretisering van niveau 6• Uitbreidingscriteria differentiatie
• Sjabloon toetsinstrument
Project - timing
WP1: Kaders
WP2: Ontwerp
WP3: Validering
WP4: Implementatie
WP5: Disseminatie
Adviesraad Adviesraad AdviesraadIntern seminarie
Intern seminarie
Work
World Café
3 groepen – 3 thema’s – 1 toets (SPIZ)– Bruikbaarheid criteria– Eindniveau– Scoren
Per thema:– Argumenten – Zorgen– Condities voor goede praktijk
Doorschuiven en ‘verder borduren’
World Café – toets bruikbaarheid criteria
Argumenten• Transparant• Correct• Objectief
Zorgen• Verschillende interpretatie• Contextspecificiteit• Globaal oordeel moet mogelijk blijven
Kader
Project – divergent assessment
Evaluatiecriteria/ standaarden• Resultaten van studenten• Expertise van assessoren• Proces van beoordelen
Assessment designRating purpose(s)Rating form/ scaleProcedures
RaterExpertisePerformance theoryBeliefsMoodAffectGoals…
Organizational contextNorm, valuesAccountabilityFeedback cultureResources (time, training,…)…
Ratee performance
Rater Information Processing Private judgement
Public decision makingScoreFeedback
Model of performance assessment process (adapted by M. Govaerts, 2011 from DeNisi, 1996)
Holistisch Analytisch
Intu
ïtiev
e cr
iteria
Globale
crite
ria
Brede
crite
ria
Specif
ieke
crite
ria
Gedetailleerd
e crite
ria
Project - Evaluatiecriteria
ZorgenVerschillende interpretatie Contextspecificiteit Globaal oordeel moet mogelijk blijven
Een goed evaluatiecriterium is:
Betrouwbaar
Valide
Transparant
Gelinkt aan competenties (~gelinkt aan evaluatievorm)
Niet te algemeen, niet te specifiek geformuleerd
Overlapt niet met andere criteria
Plaatsen in beoordelingsrooster: kwaliteit verhoogt
Project - Evaluatiecriteria
Project – gebruik evaluatiecriteria
• Gevalideerde associatiebreed inzetbaar
• Set evaluatiecriteria kwaliteit: betrouwbaarheid/ transparantie
• Minimumcriteria concretisering van niveau 6• Uitbreidingscriteria differentiatie
• Sjabloon toetsinstrument
Flexibel gebruik • Selectie criteria• ‘Semi-’ generieke criteria• Bijkomende beroepsspecifieke criteria
Inventaris Criteria
Inventaris Competenties
Inventaris toetsvormen
Structuur opmaken
Criteria opvragen
• Criteria labelen
• Opgevraagde criteria – AC/ABC• Literatuur AC/ ABC
• Differentiatie per toetsvorm
Project – gebruik evaluatiecriteria
Project - sharepoint
http://intra.khleuven.be/OnderzoekInnovatie/Projecten/GnT/PWO_OOFBATO_12/Pages/Default.aspx
Shop
Structuur
Generieke competenties Schalen
Criteria Toetsvormen/niveau
Structuur
Generieke competenties Schalen
Criteria Toetsvormen/niveau
AC1 Denk- en redeneervaardigheidAC2 Verwerven en verwerken van informatieAC3 Kritische reflectieAC4 Projectmatig werkenAC5 CreativiteitAC6 Uitvoeren eenvoudige leidinggevende takenAC7 Communiceren AC8 Levenslang lerenABC1 Teamgericht werkenABC2 Oplossingsgericht werkenABC3 Maatschappelijke verantwoordelijkheid samenhangend met beroepspraktijk
Structuur
Generieke competenties Schalen
Criteria Toetsvormen/niveau
De student kan relevante gegevens verzamelen, selecteren en structurerenDe student kan de verworven informatie kritisch verwerken en beschrijven…
Structuur
Generieke competenties Schalen
Criteria Toetsvormen/niveauProbleemstelling formuleren
Bronnen selecterenGestructureerd kader schetsen
Structuur
Generieke competenties Schalen
Criteria Toetsvormen/niveau
Het vermogen tot het verwerven en verwerken van informatie De student kan relevante gegevens verzamelen, selecteren en structureren
Probleemstelling formuleren
Oefening
2 documenten SPIZ - MMA• Opdrachtbeschrijving• Evaluatiecriteria
Gelijkenissen?
Basis Uitbreiding
Scriptie
• De probleemstelling wordt duidelijk omschreven
• De belangrijkste bronnen worden geselecteerd en er wordt correct naar verwezen
• Recente ontwikkelingen van en inzichten over het thema zijn correct beschreven en voldoende uitgewerkt
• Het conceptueel en contextueel kader wordt duidelijk geschetst
• Gestructureerde en overzichtelijke opbouw
• Duidelijk, bondig omschreven, goed afgebakende en verantwoorde probleemstelling
• Voldoende, relevante, ook internationale referenties
• Relevante visuele ondersteuning door figuren
Project
• Het praktijkvraagstuk, de opdrachtgever en de nodige middelen worden duidelijk omschreven
• De literatuurkeuzes worden duidelijk omschreven en verantwoord vanuit het praktijkvraagstuk
• De belangrijkste bronnen worden gebruikt• Gestructureerde en overzichtelijke opbouw
• Het praktijkvraagstuk is duidelijk, bondig omschreven en afgebakend, kritisch verantwoord
• De geraadpleegde literatuur is verscheiden, bekend binnen het werkveld en toonaangevend
• Recente ontwikkelingen van en inzichten over het thema zijn opgenomen en correct beschreven en voldoende uitgewerkt
Stage
• De juiste personen (cliënt/patiënt/collega) worden op een gepaste wijze bevraagd
• De relevante informatie kan uit het verhaal van de cliënt/patiënt worden onderscheiden, om deze te gebruiken voor verdere stappen of analyse
• De student kan ook in complexe, niet-vertrouwde situaties of contexten de juiste informatie selecteren
• Vernieuwing en recente ontwikkelingen in het vakgebied worden opgevolgd
• Gerichte, objectieve vragen worden aan de cliënt/patiënt/collega gesteld om efficiënt de juiste informatie te verkrijgen
• De informatie wordt op een kritische manier en kan dit wordt procesmatig verduidelijkt
• De verworven informatie van de cliënt/patiënt wordt vergeleken en geïntegreerd met eerdere informatie
• Vakliteratuur wordt gericht geraadpleegd met als doel informatie over en voor de praktijkcontext te verzamelen
Vragen
Bedankt!
Jetske.strijbos@khleuven.be
Greet.fastre@khlim.be
Hilde.schrooten@khk.be