EVC- kennisnetwerk 17 juni 2014

EVC-kennisnetwerk 17 juni 2014Het gebruik van standaarden en de kwaliteit van

assessmentinstrumenten

Programma :

10.00-10.30u ‘Principes en uitgangspunten EVC-standaarden’ (Ingrid Vanhoren-AKOV)

10.15u-10.45u ‘Overzicht van assessmentinstrumenten en methodologie van de standaarden’ (Robin Vanderelst-AKOV)

10.45u-11.15u ‘Ervaringen vanuit de ervaringsbewijzen en visie op toekomstige standaarden’ (Mark Troch-VDAB)

11.15-12.00u: ‘Ervaringen met EVC vanuit het volwassenenonderwijs en plannen voor de toekomst’ (Monique De Ridder-Stuurgroep volwassenenonderwijs)

VIP-RUIMTE CONSCIENCEGEBOUW

12-13u middagpauze met broodjes

BOUDEWIJNGEBOUW

13.00-14.30u: Workshops 1, 2 en 3

1. Het gebruik van criteriumgericht interview in een EVC-procedure (Karine Janssens)

LOKAAL 5 E02.

2. De portfoliobeoordeling binnen een EVC-procedure (Robbie Van Kippersluis-CINOP en kenniscentrum EVC Nederland)

LOKAAL 3 E12

3. Het opstellen en afnemen van een praktijkproef: Good practice vanuit de ervaringsbewijzen (Wim Van Ammel-vzw Web, WEB-consult)

LOKAAL 2 E01

14.30u- 16.00u: Parallelle workshops

Principes en uitgangspunten EVC-

standaarden

INGRID VANHOREN AKOV

• Bronnen• IDEA Consult studie 2011: EVC in het volwassenenonderwijs• IDEA Consult studie 2014: EVC vanuit bedrijfsperspectief• Jaarrapport Ervaringsbewijzen 2013

• Vaststellingen• Gescheiden EVC-praktijken onderwijs en arbeidsmarkt• Beperkt civiel effect en uitwisselbaarheid• Beperkte bekendheid en gebruik van ervaringsbewijs bij

ondernemingen• Nood aan formalisering en standaardisatie van EVC-procedures en

instrumenten binnen onderwijs• Ontbreken van kwaliteitsborging: competentiegerichte standaarden,

betrouwbaarheid en validiteit van instrumenten, deskundigheid begeleiders en beoordelaars

1. InleidingVaststellingen EVC-praktijk

• Ontbreken van competentiegerichte standaarden met civiel effect

VKS als uniek referentiekader

• Nood aan formalisering en standaardisatie van EVC-procedures in onderwijs

Gemeenschappelijke modulaire trajecten

• Ontbreken van kwaliteitsborging EVC-standaarden

1. InleidingAntwoorden op vaststellingen

• VKS (beroeps- en onderwijskwalificaties) = referentiekader voor opleidingen en voor EVC

• Ontwikkeling van gemeenschappelijk modulaire opleidingstrajecten• Ontwikkeling van EVC-standaarden

• Leidt tot twee vormen van EVC• Onderwijs: in functie van vrijstellingen• Arbeidsmarkt: in functie van certificering en kwalificering

1. InleidingRelatie VKS en EVC

• Vlaamse kwalificatiestructuur als nieuw referentiekader = uniek moment voor afstemming tussen opleidingsverstrekkers in aanbod van beroepsgerichte opleidingen

• Meerwaarde voor lerende• Transparant aanbod• Flexibele trajecten• Uitwisselbaar

• Methode succesvol gehanteerd voor opleidingsprofiel/-structuren secundair volwassenenonderwijs en leren en werken (hout en bakkerij)

2. Modulaire trajecten:Doelstelling en meerwaarde

• Modularisering op basis van erkende beroepskwalificatie(s)

• Hanteren van algemene methode

• Inbreng van alle partners in de ontwikkeling van modulaire opleidingstrajecten

• Instellingsoverschrijdend en onderwijsniveauoverschrijdend opleidingsprofiel

• Uitwisselbaarheid modules

2. Modulaire trajecten: Proces

2.Modulaire trajecten:Beroepenclusters

Hout Ruwbouw Bakkerij Logistiek (magazijn)

Slagerij Kleding en confectie

Koeling en warmte

Beroepencluster houtHoutbewerking - Schrijnwerk - Interieur

BeroepskwalificatiedossierHoutbewerking - Schrijnwerk - Interieur

Opbouw beroepskwalificatiedossierHoutbewerking - Schrijnwerk - Interieur

BeroepskwalificatiedossierHoutbewerking - Schrijnwerk - Interieur

2. Modulaire trajecten:Cluster: hout

2. Modulaire trajectenCluster: hout

• EVC in functie van vrijstellingen en verkorte opleidingstrajecten• Automatische vrijstellingen op basis van reeds gevolgde (modules van)

opleidingen • Bij opleidingsverstrekkers met gemeenschappelijke modulaire

opleidingstrajecten in formeel onderwijs: volwassenenonderwijs, leren en werken (DBSO), BuSO OV3

• Uitbreiding naar VDAB en Syntra Vlaanderen (leertijd)

2. Modulaire trajecten:Consequenties voor EVC

• Omschrijving van beroep, vereiste competenties en context• Vaardigheden als concreet oberveerbare gedragscriteria• Kennis als concrete kennis, specifiek voor de beroepen waar de standaard

voor beschreven is

• Omschrijving van hanteerbare mix van assessmentmethoden (per standaard of per module)

• Omschrijving van richtlijnen voor het afnemen van assessment (context van het beroep, locatie en voorzieningen)

3. EVC-standaarden: Inhoud

• Kwaliteitskader voor het toepassen en ontwikkelen van assessmentmethoden en –instrumenten

• Standaardisering van format en methodologie voor EVC-standaarden• Voorwaarden voor kwaliteitsborging• Basis voor professionalisering

• Meerwaarde voor de EVC-aanbieder• Transparant EVC-kader• Vereenvoudiging van procedures• Handvaten voor EVC-praktijk

3. EVC-standaarden: Doelstelling en meerwaarde

• Op basis van erkende beroepskwalificaties en opleidingsprofielen

• Hanteren van algemene methode

• Inbreng van alle partners in de ontwikkeling van EVC-standaarden

• Beleidsdomein- en onderwijsniveauoverschrijdend

3. EVC-standaarden: Proces

• Certificering van competenties BK: kwalificatiebewijs

• Certificering van competenties modules OP: delen van kwalificatiebewijzen?

• Certificering van competenties activiteitenblokken BK: bewijzen van competenties?

3. EVC-standaarden: Consequenties

Overzicht van assessmentmethodes en de

methodologie van standaarden

ROBIN VANDERELSTAKOV

• Uit hoeveel vragen moet een meerkeuzetoets minstens bestaan om voldoende betrouwbaar te zijn?

a) 30b) 40c) 50d) 60

• Wanneer je minstens 3 van de 40 antwoorden niet weet bij een meerkeuzetoets, vanaf wanneer kan je statistisch gezien dan best gokken?

a) Altijdb) Wanneer je één antwoord kan uitsluitenc) Wanneer je twee antwoorden kan uitsluitend) Nooit

Een kleine test…

Achtergrond• Nood aan formalisering en standaardisatie van EVC-

procedures en instrumenten binnen onderwijs• Ontbreken van kwaliteitsborging: competentiegerichte

standaarden, betrouwbaarheid en validiteit van instrumenten, deskundigheid begeleiders en beoordelaars

Waarom dit project?• Besparing van tijd en middelen

• Vergemakkelijken van de uitwisselbaarheid van modules tussen de verschillende partners door vertrouwen te scheppen

Project ‘Ontwikkelen standaarden’

• Mogelijkheid om expertise te verhogen en de kwaliteit van instrumenten te verhogen

• Vergroten van civiel effect door vertrouwen tussen partners en door samenwerking met sectoren

Verloop1. Vergelijkende landenanalyse2. Inhoud en format standaard3. Richtlijnen4. Assessmentmethodes5. Ontwikkelen kwaliteitskit

Project ‘Ontwikkelen standaarden’

• Finland• Lange traditie in erkennen van ervaring• Studieloopbaan en arbeidsmarktloopbaan lopen door elkaar• Aansturing vanuit ministerie van onderwijs is sterk aanwezig

• Schotland• Initiatief, ontwerp en opstellen gebeurt door sectoren• Centrale coördinatie verzekerd door centrale Scottish Qualification

Authority

1. Vergelijkende landenanalyse

• Frankrijk• Lange traditie in erkenning• Sterke aansturing en specifieke aanpak per beleidsdomein

• Nederland• Traditioneel vertrekt initiatief vanuit sectoren• Vanaf 2005 met kwaliteitscode EVC gecoördineerd door overheid• Grote vrijheid qua initiatief, format en invulling van standaarden

1. Vergelijkende landenanalyse

• Minimum opgenomen: omschrijving van het beroep, kennis, vaardigheden, context

• Vaardigheden en kennis worden concreet omschreven:• Vaardigheden als concreet oberveerbare gedragscriteria• Kennis als concrete kennis, specifiek voor de beroepen waar de

standaard voor beschreven is

• Finland en Schotland, net als Vlaanderen (ervaringsbewijs), nemen concrete richtlijnen op rond het afnemen van assessment betreffende locatie, voorzieningen en context van het beroep. Dit is niet het geval in Nederland

1. Vergelijkende landenanalyseInhoud standaarden buitenland

• Finland en Schotland: concrete instrumenten opgenomen in standaard:

• Omschrijven welk instrument voor welke activiteit/module gebruikt wordt • Omschrijven context, locatie, voorzieningen voor de test• Beoordelingshandleiding voorzien voor assessor in de standaard

• Nederland en Frankrijk: concrete instrumenten worden niet opgenomen in standaarden

• Wel methodes per activiteit omschreven • Vb. praktijkonderzoek, portfolio, …

1. Vergelijkende landenanalyse:Inhoud standaarden buitenland

• Wenselijk om een format te voorzien om duidelijkheid, vergelijkbaarheid en uitwisselbaarheid te garanderen

• Activiteiten uit de BK’s overnemen in standaarden

• Vaardigheden letterlijk overnemen. Wel bewaken dat ze steeds concreet observeerbaar zijn

• Kennis expliciet apart opnemen in de standaarden

2. Inhoud en format standaard: Vlaanderen

• Hoe wordt cesuur bepaald? Moet er een voldoende zijn voor alle activiteiten om te slagen? Moeten er per activiteit voldaan zijn aan alle beoordelingscriteria?

• Concrete richtlijnen rond locatie, voorzieningen en context bij het afnemen van een assessment opnemen?

• Standaarden geven per activiteitenblok aan welke assessmentmethode gehanteerd wordt? Of in het geheel van de standaard?

3. Richtlijnen: Methodologische vragen

• Observatie in authentieke setting

• Observatie in gesimuleerde setting

• Rollenspel

• Productproef

• Interview: semigestructureerd, gesloten, criteriumgericht

• Portfolio

• Kennistoets: essayvragen, meerkeuzevragen

4. Assessmentmethodes: Overzicht

• Uitleg instrument

• Toepassingsgebied

• Aandachtspunten in de ontwikkeling van het instrument

• Aandachtspunten in het gebruik van het instrument

• Gevolgen voor een standaard

4. Assessmentmethodes: Inhoud

• Een simulatie van een interpersoonlijke beroepssituatie • Met een van tevoren vastgestelde rol, volgens een bepaald

scenario en met standaardreacties

• De kandidaat dient gepaste acties tentoon te spreiden

• Veelal een specifieke beroepsgerelateerde casus: een specifiek probleem, exemplarisch voor het beroep, wordt omschreven. Vb begeleider buitenschoolse kinderopvang

4. AssessmentmethodesRollenspel

Toepassingsgebied

• Afhankelijk van het probleem of de situatie die in de specifieke casus omschreven wordt

• Afhankelijk van de rol die de kandidaat in de casus dient aan te nemen

• Nadruk op beslissingen nemen, analyse en

probleemoplossende vaardigheden

• Maar ook sociale vaardigheden en commerciële vaardigheden

4. Assessmentmethodes:Rollenspel

• Kennis komt onrechtstreeks aan bod.

• Kennis kan rechtstreeks getoetst worden door het onderwerp van de betreffende casus goed te kiezen en het scenario zorgvuldig uit te schrijven

Aandachtspunten bij de ontwikkeling

Validiteit• Belangrijk om een authentieke context te creëren

• Sluit het scenario aan bij de realiteit van het werkveld?


• Worden relevante taken opgenomen?

• Worden alle vaardigheden die relevant zijn voor de competentie via de taak/opdracht gemeten?

• Rollenspel is casusspecifiek : de kandidaat werkt in een rollenspel aan een enkele casus.

• Beperkte predictieve validiteit


Betrouwbaarheid

• Nood aan een gestandaardiseerd scenario: de simulant dient in elke afgenomen proef op dezelfde wijze te reageren op dezelfde stimulansen van kandidaten

• Nood aan een goed uitgeschreven scenario • Nood aan een training van de simulant

• De opdrachten, taken moeten helder zijn voor alle betrokkenen


• Het werken met authentieke taken maakt het voorspellen van de taakuitvoering lastig

• Door assessoren te trainen interpretaties in dezelfde richting laten gaan

• Meestal met vrij globale scoringsrubrieken gewerkt en wordt aan de assessor overgelaten in welke rubriek een gedragsaspect gescoord dient te worden


Aandachtspunten gebruik

• Voorbereiding en uitvoering vragen tijd en werk van beoordelaar en kandidaat

• Een verhoogd niveau van aandacht en een goede training van de simulant

• Observeren en beoordelen van de gestelde acties van de kandidaat en de interactie met de simulant, vraagt een verhoogde aandacht van de assessor

• Nood aan voldoende middelen om een testomgeving te creëren en om de nodige tijd en personeelsuren vrij te maken


Gevolgen voor de standaard

• Duidelijke criteria beschikbaar zijn voor het scoren van gedrag

• Er dient al een basisscenario te worden opgenomen in de standaard

• Eventueel de setting opnemen in de standaard

• Het scenario dient verder uitgeschreven te worden


• BK’s dmv descriptorelementen toegewezen aan VKS-niveau

• Descriptorelementen opgedeeld in vb. probleemoplossende vaardigheden, motorische,…

• Deze koppelen aan het toepassingsgebied van assessmentmethodes

• Opstellen evaluatiematrix, geen exacte wetenschap!

4. Assessmentmethodes:Koppeling aan BK’s

4. Assessmentmethodes:Evaluatiematrix

Kennis Descriptorelementen beslissingsboom

Obs

erva

tie:

auth

entie

k

Obs

erva

tie:

gesim

ulee

rd

rolle

nspe

l

prod

uctp

roef

sem

iges

truc

ture

erd

in

terv

iew

Geslo

ten in

terv

iew

Crite

rium

geric

ht

inte

rvie

w

portf

olio

essa

ytoe

ts

mee

rkeu

zeto

ets

1 Materialen, informatie, begrippen en regels herkennen

toegepaste, praktische kennis: herkennen, begrijpen, onderscheiden

2 Informatie, begrippen en procedures begrijpen

3 Informatie, begrippen, wetten, formules , methodes begrijpen en hoofd- en bijzaken onderscheiden

4 Concrete en abstracte gegevens (informatie en begrippen) interpreteren

Toegepaste, praktische maar ook theoretische kennis, analyse, inzicht

5 Informatie met concrete en abstracte gegevens uitbreiden of met ontbrekende gegevens aanvullen, begrippenkaders hanteren, bewust zijn van de reikwijdte van de kennis. Kennis transfereren en procedures flexibel en inventief aanwenden

6 Kennis en inzichten uit een specifiek domein kritisch evalueren en combineren

7 Kennis en inzichten integreren en herformuleren

Hoge theoretische kennis: integreren,

8 Bestaande kennis uitbreiden of herdefiniëren

• Voorbeeld BK binnenschrijnwerker

• Erkend en ingeschaald op niveau 3

• Vooral praktische kennis

• Gesloten interview, meerkeuzetoets

4. Assessmentmethodes:Voorbeeld

• Verdergaand op handleiding standaarden

• Ontwikkelen kwaliteitskit voor het ontwikkelen van assessmentinstrumenten op basis van:

– Verder verloop project: ontwikkelen testdossiers met sectoren– Samenwerking met ESF-projecten– Wetenschappelijke onderbouwing door studenten KUL olv professor

Dochy

5. Ontwikkelen kwaliteitskit

Agentschap voor Kwaliteitszorg in Onderwijs en Vorming (AKOV)

Afdeling projecten: EVC - Curriculum - KwalificatiesKoning Albert II-laan 15

1210 Brussel

http://www.ond.vlaanderen.be/wegwijs/akov/

Nieuwe website VKS en EVC vanaf september 2014 !

Meer informatie?



EVC- kennisnetwerk 17 juni 2014

Documents

Transcript of EVC- kennisnetwerk 17 juni 2014