Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion
39
Challenge the future Delft University of Technology Peer Review versie 3: Teamprestaties meten, volgen, toetsen Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion
description
Presentatie van het digitale peer evaluatie instrument dat door de TU Delft wordt gebruikt voor team evaluatie.
Transcript of Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion
Challenge the future
Delft University of Technology
Peer Review versie 3:
Teamprestaties meten, volgen, toetsen
Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion
2
Context
• 2000+ studenten in BSc en MSc
• In BSc wordt veel gebruikt gemaakt van
Projectonderwijs (ca. 35 ECTS)
• Studenten werken in groepen van 8 – 10
studenten aan zeer diverse
projecten
Faculteit Luchtvaart- en
Ruimtevaarttechniek
3
Probleem: Beoordeling
• Onder docenten grote behoefte aan assistentie
bij beoordelen
• Grootste problematiek:
• Wie heeft wat gedaan?
• Hoe groot is de individuele bijdrage geweest?
• Wat is de kwaliteit van de bijdrage?
• Hoe heeft een persoon bijgedragen aan het
groepsproces?
4
Werken in een project
Tijd
Formulering
Project doel
Project
resultaat
Evaluatie
5
Werken in project onderwijs projecten
Tijd
Formulatie
Project doel
Project
resultaat
Leer
resultaat
6
Oplossing: Peer & Zelf
evaluaties
Peer evaluatie:
Het beoordelen van leden van het eigen project
team op hun bijdrage tot het project en de manier
waarop die bijdrage tot stand is gekomen.
Zelfevaluatie:
Het beoordelen van de eigen bijdrage tot het
project en de manier waarop die bijdrage tot
stand is gekomen.
7
Type peer evaluaties
Drie types peer evaluatie:
1. Ranking (van beste tot slechtste)
2. Pot verdelen (een pot punten of geld door het
team onderling laten verdelen)
3. Rubrics (aan de hand van opgestelde criteria
studenten elkaar laten beoordelen)
Voor projectonderwijs in het HO is op LR ervaren
dat optie 3 het beste werkt.
8
Uitvoering
• Gekozen voor een bestaande set rubrics zoals
gebruikt op de United States Air Force
Academy in their project
• Een Rubric is een scoringsvorm waarbij je
iemand punten geeft gebaseerd op van te
voren opgestelde criteria
9
Criteria
Op L&R aan de TU Delft worden 5 criteria
gebruikt:
• Job performance
• Attitude
• Initiative
• Communication
• Management of Resources
10
Job Performance Attitude Leadership/Initiative Management of
Resources
Communication
Consistently does more than
required. Work is of
exceptional quality.
Positive and professional
attitude which favorably
influences other company
members.
Takes initiative to seek out
work, concerned with getting
the job done. Very involved in
the technical project.
Uses time effectively in and out
of group and works to get
others to do the same. All tasks
completed on or ahead of
schedule.
Oral and written skills
excellent. Very effective
within the group and to
reviewers.
Sometimes does more than
required. Work is of high
quality. A producer.
Positive attitude toward
project and the team.
Readily accepts tasks,
sometimes seeks more work.
Gets involved in the project.
Uses time effectively in and of
group. Completes all tasks on
time.
Usually effective.
Performs all assigned tasks.
Quality of work is acceptable.
Neutral attitude. Gets involved enough to
complete tasks. Does his/her
share.
Wastes some time in group, but
works hard when a deadline is
near. Most tasks completed on
time.
Generally gets the point
across. Tries to improve in
weak areas.
Performs all assigned tasks.
Work must be redone or
repaired to meet standards.
Negative attitude toward
project and/or project.
Tends to watch others work.
Gets involved only when
necessary. Volunteers to help
when it will look good.
Wastes most of group time.
Seldom seen doing productive
work. Some tasks completed
late.
Skills ineffective. Makes an
effort to improve.
Performs some assigned
tasks. Work must be redone
by others to meet standards.
Negative attitude which
adversely affects other
company members or project.
Lets others do the work; does
the minimum he/she thinks is
needed to get by.
Does little useful work in group
or out; wastes his/her time and
others. Work is constantly late.
Skills ineffective. Makes
little or no effort to
improve.
11
Criteria: Job Performance
++ + 0 - --
Consistently
does more
than
required.
Work is of
exceptional
quality
Sometimes
does more
than
required.
Work is of
high quality.
A producer
Performs all
assigned
tasks.
Quality of
work is
acceptable.
Performs all
assigned
tasks. Work
must be
redone or
repaired to
meet
standards
Performs
some
assigned
tasks. Work
must be
redone by
others to
meet
standards.
12
Criteria: Attitude
++ + 0 - --
Positive and
professional
attitude,
which
favourably
influences
other team
members.
Positive
attitude
toward
project and
the team
Neutral
attitude.
Negative
attitude
toward team
and/or
project.
Negative
attitude
which
adversely
affects other
team
members or
project.
13
Criteria: Initiative
++ + 0 - --
Takes
initiative to
seek out
work,
concerned
with getting
the job done.
Very involved
in the
technical
project.
Readily
accepts
tasks,
sometimes
seeks more
work. Gets
involved in
the project.
Gets involved
enough to
complete
tasks. Does
his/her
share.
Tends to
watch others
work. Gets
involved only
when
necessary.
Volunteers to
help when it
will look
good.
Lets others
do the work;
does the
minimum
he/she thinks
is needed to
get by.
14
Criteria: Management of Resources
++ + 0 - --
Uses time
effectively in
and out of
group and
works to get
others to do
the same. All
tasks
completed on
or ahead of
schedule.
Uses time
effectively in
and of group.
Completes all
tasks on
time.
Wastes some
time in
group, but
works hard
when a
deadline is
near. Most
tasks
completed on
time.
Wastes most
of group
time. Seldom
seen doing
productive
work. Some
tasks
completed
late.
Does little
useful work
in group or
out; wastes
his/her time
and others.
Work is
constantly
late.
15
Criteria: Communication
++ + 0 - --
Oral and
written skills
excellent.
Very effective
within the
group and to
reviewers.
Usually
effective.
Generally
gets the
point across.
Tries to
improve in
weak areas.
Skills
ineffective.
Makes an
effort to
improve.
Skills
ineffective.
Makes little
or no effort
to improve.
16
IT systeem implementatie eisen
• Web based, systeem onafhankelijk
• Exporteerbare files
• Batch enroll functie
• Neutrale interface
• Criteria kunnen aangepast en aangevuld worden
• Ratings zijn niet terug te voeren op individuen
• Docent is regisseur en beslist wat er met de data gebeurt
17
Hoe in te vullen?
• Per teamlid en voor zichzelf het meest van toepassing zijnde
hokje invullen voor iedere categorie
• Mogelijkheid tot het geven van een toelichting via commentaar
box
• Commentaar kan “private” of “public” worden gegeven
18
Data beheer
• Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem.
• Alle studenten loggen in met NetID
• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 2 niveaus voor publicatie: • de hele groep • de staf
19
Ervaringen met Peer evaluaties
• Om optimaal gebruik te kunnen maken van peer
evaluaties moeten ze min. twee keer per
project worden uitgevoerd (halverwege en
aan het eind)
• Commentaar functie wordt als zeer nuttig ervaren
• Omdat de resultaten niet in een cijfer wordt
omgezet wordt het systeem door studenten
geaccepteerd als eerlijk
• Een goede IT infrastructuur is onontbeerlijk om de
administratieve lasten voor docenten te
beperken
20
Gebruik tot nu toe
• Vanaf 2000 met eigen systeem gewerkt
gemaakt door student assistenten
• Aantal gebruikers van systeem groeide hard
• Steeds moeilijker systeem in eigen beheer te
houden en te updaten: continuïteit kwam in
gevaar
• Eind 2009 is besloten om met externe partner
in zee te gaan: Parantion
• Vanaf september 2011: Zeer succesvolle TU
brede implementatie
21
Parantion: Scorion
Bidirectionele API
22
Scorion
Faciliteren en visualiseren van leer- en ontwikkelprocessen.
• Vorm
• Modulair
• Beheer:
• Itembank
• Formulieren
• Groepen
• Toepassing:
• 360⁰ feedback
• Beoordelen
• Voortgang
• Portfolio
23
Vorm/ modulair
24
Beheer: Itembank
25
Beheer: Formulieren
26
Beheer: Groepen
27
Toepassing: 360⁰ feedback
28
Toepassing: Beoordelen
29
Toepassing: Voortgang
30
Toepassing: Portfolio
31
Self
Peer
Group
Self
Peer
Peer evaluaties in Scorion
Aantal vragenlijsten: 2x2
32
Hoeveel vragenlijsten zou….8
33
Dus: L&R voor één vak
• Projectonderwijs L&R
• 46 groepen
• 8 studenten per groep
• X 8 vragenlijsten
2944
34
Demo/screenshots
35
Demo/ screenshots
36
Demo/ screenshots
Self
Peer
37
Feedback
38
Conclusies
• Peer evaluaties zijn een hele nuttige tool bij het beoordelen van
individuele bijdrages in projectonderwijs
• IT-infrastructuur voor dit type projecten moet professioneel
worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te
garanderen
• Met hulp van het Scorion systeem van Parantion hebben we dit
bereikt
39
Vragen?
• www.tudelft.nl
• Dr. Ir. Gillian N. Saunders-Smits ([email protected])
• www.parantion.nl
• Drs. R.A. Smabers ([email protected])
• Drs. R.J. Smeenk ([email protected])
