De Rubrics app

De kunst van eenvoudig

feedback geven en objectief

beoordelen

Joris Remmers / Sonia Gómez Puente

Even voorstellen

Sonia Gómez Puente

• Beleidsmedewerker onderwijsontwikkeling

Technische Natuurkunde en Electrotechniek

Joris Remmers

• Universitair Docent Werktuigbouwkunde

• O.a. verantwoordelijk docent 1e jaars OGO casus

OGO = Ontwerp Gericht Onderwijs

De Rubrics app

Professionele Vaardigheden

De Rubrics app

De ontwikkeling van de professionele vaardigheden

wordt bijgehouden in een studenten eDossier.

• Omgaan met informatie

• Presenteren

• Reflecteren

• Vergaderen

• Samenwerken

• Schrijven

Beoordeling professionele vaardigheden

De ontwikkeling van de professionele vaardigheden

wordt bijgehouden in een studenten eDossier.

• Hoe kunnen we de ontwikkeling van de professionele

vaardigheden op een objectieve manier meten?

• Hoe kunnen we die bevindingen op een eenvoudige

wijze vastleggen in het eDossier?

• Hoe kunnen we docenten motiveren (en faciliteren)

om de professionele vaardigheden op dezelfde

manier te meten en vast te leggen?

De Rubrics app

Beoordeling professionele vaardigheden

De ontwikkeling van de professionele vaardigheden

wordt bijgehouden in een studenten eDossier.

• Hoe gaan we beoordelen?

• Hoe vullen we het eDossier?

• Hoe motiveren en faciliteren we docenten?

De Rubrics app

Oplossing: rubrics

Een rubric is een standaard voor het beoordelen van

vaardigheden (moeilijk meetbare grootheden).

Eerste gebruik: 1970s (geestelijke gezondheidszorg).

Belangrijkste doel (voor ons): een objectieve

beoordeling van de vaardigheden van studenten.

Voorbeelden: het beoordelen van

• presentaties;

• verslagen, projecten.

De Rubrics app

Oorsprong van de term ‘Rubric’

• Uit het latijn: ‘Rubrica’

betekent ‘Rood kleuren’.

• Methode om in handschriften

nieuw onderdeel aan te geven.

• In onbruik geraakt met de

uitvinding van de boekdrukkunst.

• Moderne afleidingen:

• Rubriek (Nederlands)

• Rubric (Engels)

De Rubrics app

Een rubric is een verzameling rubrieken

De onderdelen van een rubric

• Criteria (rubrieken)

• Niveaus

• Beschrijvingen

Gebruikelijke notatie in matrix formaat

• De rijen zijn de criteria.

• De kolommen zijn de niveaus.

• De inhoud van de matrix wordt gevormd

door de beschrijvingen.

De Rubrics app

Voorbeeld: presentatie

Onvoldoende

< 5

Matig

6

Goed

7 / 8

Uitstekend

9 / 10

Vorm De slides zijn

rommelig, bevatten

veel fouten, geen

eenduidige lay-out.

De slides zijn

rommelig, zijn niet

mooi opgemaakt

De slides zien er

verzorgd uit, maar

bevatten wat foutjes

De slides zien er

verzorgd uit.

Inhoud Er zit geen structuur

in de presentatie.

De inleiding of het

slot ontbreekt of is

niet duidelijk.

De samenhang

tussen de inleiding,

kern en slot

ontbreekt.

De presentatie heeft

een duidelijke

inleiding, kern en slot.

Spreker Spreker is niet in

staat om het verhaal

te vertellen. Geeft

geen blijk van

voldoende kennis van

de materie.

De presentatie is

moeilijk te volgen.

Te veel details. De

grote lijn ontbreekt.

Uitleg is niet zo

helder. De spreker

laat af en toe een

steekje vallen.

Heldere uitleg. De

spreker heeft kennis

van zaken en weet

dat goed over te

brengen.

De Rubrics app

Criteria

Niveaus

Beschrijvingen

Onvoldoende

< 5

Matig

6

Goed

7 / 8

Uitstekend

9 / 10

Vorm De slides zijn

rommelig, bevatten

veel fouten, geen

eenduidige lay-out.

De slides zijn

rommelig, zijn niet

mooi opgemaakt

De slides zien er

verzorgd uit, maar

bevatten wat foutjes

De slides zien er

verzorgd uit.

Inhoud Er zit geen structuur

in de presentatie.

De inleiding of het

slot ontbreekt of is

niet duidelijk.

De samenhang

tussen de inleiding,

kern en slot

ontbreekt.

De presentatie heeft

een duidelijke

inleiding, kern en slot.

Spreker Spreker is niet in

staat om het verhaal

te vertellen. Geeft

geen blijk van

voldoende kennis van

de materie.

De presentatie is

moeilijk te volgen.

Te veel details. De

grote lijn ontbreekt.

Uitleg is niet zo

helder. De spreker

laat af en toe een

steekje vallen.

Heldere uitleg. De

spreker heeft kennis

van zaken en weet

dat goed over te

brengen.

Voorbeeld: presentatie

De Rubrics app

Rubrics

• Formalisatie van bestaande beoordelingen.

• Ontwerp vergt een aantal iteraties.

Het aantal criteria is belangrijk

• Te veel criteria:

• Eindeloze invul oefening

• Tijdrovend

• Te weinig criteria:

• Te veel ruimte voor eigen interpretatie

• Minder objectief

De Rubrics app

Andere voordelen

• Feedback van de beoordeling naar de studenten

• Studenten krijgen een kort en bondig overzicht van de

goede en slechte punten.

• Achteraf, maar ook tijdens het vak.

• Eventueel kan het dienen als checklist

• Studenten weten waar ze op beoordeeld worden.

• Hulpmiddel bij het schrijven van verslagen /

voorbereiden van presentaties (vooral eerste jaar).

De Rubrics app

Rubrics als input voor eDossier

• De beoordeling is objectief en volledig.

• De beoordeling bevat automatisch een toelichting /

feedback op de beoordeling.

• Echter, de hoeveelheid informatie kan

enorm groot worden.

De Rubrics app

Eigen ervaringen met Rubrics

• Nakijken van verslagen van een eerstejaars OGO

casus bij de faculteit W in oktober 2012.

• In totaal 224 studenten, opgesplitst in 112 koppeltjes

• De beoordeling zelf verliep uitstekend

• Objectiviteit is onderzocht door Sonia Gomez

• Echter, de verwerking van 112 handgeschreven

formulieren was een ramp…

De Rubrics app

De Rubrics app

De Rubrics app

De Rubrics app

De Rubrics app

De Rubrics app

De Rubrics app

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

De Rubrics app

De Rubrics app

De Rubrics app

• Beoordelen van

• Vergaderingen

• Presentaties

• Verslagen

• Projecten

• Eenvoudig in het gebruik

• Alles is digitaal

• Deelnemers importeren uit de

centrale studentenadministratie

• Resultaten exporteren naar

studentenadministratie

De Rubrics app

De ‘ForAllRubrics’ app / website

• Web gebaseerd.

• Platform onafhankelijk (html 5).

• Voldoet grotendeels aan onze wensen.

• Mogelijkheid om verzameling Rubrics aan te leggen.

• Inlezen van studentengegevens (als csv bestand).

• Exporteren van resultaten (als pdf).

• Amerikaans initiatief (Chicago, IL).

• Gratis te gebruiken voor individuele docenten.

• Verschillende licentie overeenkomsten mogelijk.

De Rubrics app

ForAllRubrics workflow

De Rubrics app

Stap 1: Het voorbereiden van de beoordeling

• Aanmaken / importeren van

een ‘Roster’ (groep studenten).

• Ophalen van bestaande

Rubric uit een bibliotheek.

• Aanpassen van de Rubric.

Synchronisatie

De Rubrics app

Synchronisatie

ForAllRubrics workflow

De Rubrics app

Stap 2: de beoordeling

• Geen internet verbinding nodig

• Verschillende studenten en

klassen kunnen door elkaar

beoordeeld worden.

• Verschillende docenten kunnen dezelfde groep

studenten beoordelen.

Synchronisatie

De Rubrics app

Synchronisatie

ForAllRubrics workflow

De Rubrics app

Stap 3: Verwerking van de resultaten

• Analyseren van resultaten

• Exporteren van cijfers

(als CVS bestand)

• Exporteren van Rubrics

(als PDF bestand)

Een oefening: een beoordeling

• Ga naar: www.forallrubrics.com

• Maak een account aan of,

• Log in als: onderwijsdag@home.nl

Wachtwoord is: default

• Zet alles klaar voor de beoordeling van:

• Roster: Presentatie Rubrics App

• Rubric: Presenteren (kort)

• Beoordeel Sonia en Joris

De Rubrics app

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

Presentatie Rubrics App

/ PICTO: Project Rubrics

Presentatie Rubrics App

/ PICTO: Project Rubrics

Presentatie Rubrics App

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

Presentatie Rubrics App

/ PICTO: Project Rubrics

Presentatie Rubrics App

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

/ PICTO: Project Rubrics

Presentatie Rubrics App

/ PICTO: Project Rubrics

Presentatie Rubrics App

/ PICTO: Project Rubrics

Presentatie Rubrics App

/ PICTO: Project Rubrics

Presentatie Rubrics App

Een oefening: een beoordeling

• Ga naar: www.forallrubrics.com

• Maak een account aan of,

• Log in als: onderwijsdag@home.nl

Wachtwoord is: default

• Zet alles klaar voor de beoordeling van:

• Roster: Presentatie Rubrics App

• Rubric: Presenteren (kort)

• Beoordeel Sonia en Joris

De Rubrics app

Conclusie

• De app is uitermate geschikt voor het beoordelen

van grote groepen studenten.

• Meerdere docenten kunnen simultaan studenten

beoordelen.

• Een goede integratie met bestaande onderwijs

systemen is noodzakelijk.

• Informatie wordt opgeslagen op Amerikaanse

servers. Gevolgen voor privacy.

• Website niet altijd even goed bereikbaar.

• De ontwikkeling van een eigen platform heeft

wellicht de voorkeur.

De Rubrics app

Conclusie

• Veel docenten zijn onbekend met rubrics als

beoordelingstechniek

• Investeer eerst in de ontwikkeling van goede rubrics

en maak docenten hiermee vertrouwd.

• Het gebruik van de app is dan een logische

vervolgstap.

De Rubrics app

S

De Rubrics app

De Rubrics app

De kunst van eenvoudig feedback geven en

objectief beoordelen

Joris Remmers / Sonia Gómez Puente

e-mail: J.J.C.Remmers@tue.nl

web: http://icto.tue.nl/