Challenge the future

Delft University of Technology

Peer Review versie 3:

Teamprestaties meten, volgen, toetsen

Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion

2

Context

• 2000+ studenten in BSc en MSc

• In BSc wordt veel gebruikt gemaakt van

Projectonderwijs (ca. 35 ECTS)

• Studenten werken in groepen van 8 – 10

studenten aan zeer diverse

projecten

Faculteit Luchtvaart- en

Ruimtevaarttechniek

3

Probleem: Beoordeling

• Onder docenten grote behoefte aan assistentie

bij beoordelen

• Grootste problematiek:

• Wie heeft wat gedaan?

• Hoe groot is de individuele bijdrage geweest?

• Wat is de kwaliteit van de bijdrage?

• Hoe heeft een persoon bijgedragen aan het

groepsproces?

4

Werken in een project

Tijd

Formulering

Project doel

Project

resultaat

Evaluatie

5

Werken in project onderwijs projecten

Tijd

Formulatie

Project doel

Project

resultaat

Leer

resultaat

6

Oplossing: Peer & Zelf

evaluaties

Peer evaluatie:

Het beoordelen van leden van het eigen project

team op hun bijdrage tot het project en de manier

waarop die bijdrage tot stand is gekomen.

Zelfevaluatie:

Het beoordelen van de eigen bijdrage tot het

project en de manier waarop die bijdrage tot

stand is gekomen.

7

Type peer evaluaties

Drie types peer evaluatie:

1. Ranking (van beste tot slechtste)

2. Pot verdelen (een pot punten of geld door het

team onderling laten verdelen)

3. Rubrics (aan de hand van opgestelde criteria

studenten elkaar laten beoordelen)

Voor projectonderwijs in het HO is op LR ervaren

dat optie 3 het beste werkt.

8

Uitvoering

• Gekozen voor een bestaande set rubrics zoals

gebruikt op de United States Air Force

Academy in their project

• Een Rubric is een scoringsvorm waarbij je

iemand punten geeft gebaseerd op van te

voren opgestelde criteria

9

Criteria

Op L&R aan de TU Delft worden 5 criteria

gebruikt:

• Job performance

• Attitude

• Initiative

• Communication

• Management of Resources

10

Job Performance Attitude Leadership/Initiative Management of

Resources

Communication

Consistently does more than

required. Work is of

exceptional quality.

Positive and professional

attitude which favorably

influences other company

members.

Takes initiative to seek out

work, concerned with getting

the job done. Very involved in

the technical project.

Uses time effectively in and out

of group and works to get

others to do the same. All tasks

completed on or ahead of

schedule.

Oral and written skills

excellent. Very effective

within the group and to

reviewers.

Sometimes does more than

required. Work is of high

quality. A producer.

Positive attitude toward

project and the team.

Readily accepts tasks,

sometimes seeks more work.

Gets involved in the project.

Uses time effectively in and of

group. Completes all tasks on

time.

Usually effective.

Performs all assigned tasks.

Quality of work is acceptable.

Neutral attitude. Gets involved enough to

complete tasks. Does his/her

share.

Wastes some time in group, but

works hard when a deadline is

near. Most tasks completed on

time.

Generally gets the point

across. Tries to improve in

weak areas.

Performs all assigned tasks.

Work must be redone or

repaired to meet standards.

Negative attitude toward

project and/or project.

Tends to watch others work.

Gets involved only when

necessary. Volunteers to help

when it will look good.

Wastes most of group time.

Seldom seen doing productive

work. Some tasks completed

late.

Skills ineffective. Makes an

effort to improve.

Performs some assigned

tasks. Work must be redone

by others to meet standards.

Negative attitude which

adversely affects other

company members or project.

Lets others do the work; does

the minimum he/she thinks is

needed to get by.

Does little useful work in group

or out; wastes his/her time and

others. Work is constantly late.

Skills ineffective. Makes

little or no effort to

improve.

11

Criteria: Job Performance

++ + 0 - --

Consistently

does more

than

required.

Work is of

exceptional

quality

Sometimes

does more

than

required.

Work is of

high quality.

A producer

Performs all

assigned

tasks.

Quality of

work is

acceptable.

Performs all

assigned

tasks. Work

must be

redone or

repaired to

meet

standards

Performs

some

assigned

tasks. Work

must be

redone by

others to

meet

standards.

12

Criteria: Attitude

++ + 0 - --

Positive and

professional

attitude,

which

favourably

influences

other team

members.

Positive

attitude

toward

project and

the team

Neutral

attitude.

Negative

attitude

toward team

and/or

project.

Negative

attitude

which

adversely

affects other

team

members or

project.

13

Criteria: Initiative

++ + 0 - --

Takes

initiative to

seek out

work,

concerned

with getting

the job done.

Very involved

in the

technical

project.

Readily

accepts

tasks,

sometimes

seeks more

work. Gets

involved in

the project.

Gets involved

enough to

complete

tasks. Does

his/her

share.

Tends to

watch others

work. Gets

involved only

when

necessary.

Volunteers to

help when it

will look

good.

Lets others

do the work;

does the

minimum

he/she thinks

is needed to

get by.

14

Criteria: Management of Resources

++ + 0 - --

Uses time

effectively in

and out of

group and

works to get

others to do

the same. All

tasks

completed on

or ahead of

schedule.

Uses time

effectively in

and of group.

Completes all

tasks on

time.

Wastes some

time in

group, but

works hard

when a

deadline is

near. Most

tasks

completed on

time.

Wastes most

of group

time. Seldom

seen doing

productive

work. Some

tasks

completed

late.

Does little

useful work

in group or

out; wastes

his/her time

and others.

Work is

constantly

late.

15

Criteria: Communication

++ + 0 - --

Oral and

written skills

excellent.

Very effective

within the

group and to

reviewers.

Usually

effective.

Generally

gets the

point across.

Tries to

improve in

weak areas.

Skills

ineffective.

Makes an

effort to

improve.

Skills

ineffective.

Makes little

or no effort

to improve.

16

IT systeem implementatie eisen

• Web based, systeem onafhankelijk

• Exporteerbare files

• Batch enroll functie

• Neutrale interface

• Criteria kunnen aangepast en aangevuld worden

• Ratings zijn niet terug te voeren op individuen

• Docent is regisseur en beslist wat er met de data gebeurt

17

Hoe in te vullen?

• Per teamlid en voor zichzelf het meest van toepassing zijnde

hokje invullen voor iedere categorie

• Mogelijkheid tot het geven van een toelichting via commentaar

box

• Commentaar kan “private” of “public” worden gegeven

18

Data beheer

• Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem.

• Alle studenten loggen in met NetID

• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 2 niveaus voor publicatie: • de hele groep • de staf

19

Ervaringen met Peer evaluaties

• Om optimaal gebruik te kunnen maken van peer

evaluaties moeten ze min. twee keer per

project worden uitgevoerd (halverwege en

aan het eind)

• Commentaar functie wordt als zeer nuttig ervaren

• Omdat de resultaten niet in een cijfer wordt

omgezet wordt het systeem door studenten

geaccepteerd als eerlijk

• Een goede IT infrastructuur is onontbeerlijk om de

administratieve lasten voor docenten te

beperken

20

Gebruik tot nu toe

• Vanaf 2000 met eigen systeem gewerkt

gemaakt door student assistenten

• Aantal gebruikers van systeem groeide hard

• Steeds moeilijker systeem in eigen beheer te

houden en te updaten: continuïteit kwam in

gevaar

• Eind 2009 is besloten om met externe partner

in zee te gaan: Parantion

• Vanaf september 2011: Zeer succesvolle TU

brede implementatie

21

Parantion: Scorion

Bidirectionele API

22

Scorion

Faciliteren en visualiseren van leer- en ontwikkelprocessen.

• Vorm

• Modulair

• Beheer:

• Itembank

• Formulieren

• Groepen

• Toepassing:

• 360⁰ feedback

• Beoordelen

• Voortgang

• Portfolio

23

Vorm/ modulair

24

Beheer: Itembank

25

Beheer: Formulieren

26

Beheer: Groepen

27

Toepassing: 360⁰ feedback

28

Toepassing: Beoordelen

29

Toepassing: Voortgang

30

Toepassing: Portfolio

31

Self

Peer

Group

Self

Peer

Peer evaluaties in Scorion

Aantal vragenlijsten: 2x2

32

Hoeveel vragenlijsten zou….8

33

Dus: L&R voor één vak

• Projectonderwijs L&R

• 46 groepen

• 8 studenten per groep

• X 8 vragenlijsten

2944

34

Demo/screenshots

35

Demo/ screenshots

36

Demo/ screenshots

Self

Peer

37

Feedback

38

Conclusies

• Peer evaluaties zijn een hele nuttige tool bij het beoordelen van

individuele bijdrages in projectonderwijs

• IT-infrastructuur voor dit type projecten moet professioneel

worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te

garanderen

• Met hulp van het Scorion systeem van Parantion hebben we dit

bereikt

39

Vragen?

• www.tudelft.nl

• Dr. Ir. Gillian N. Saunders-Smits (G.N.Saunders@tudelft.nl)

• www.parantion.nl

• Drs. R.A. Smabers (roel.smabers@parantion.nl)

• Drs. R.J. Smeenk (robert.smeenk@parantion.nl)