Challenge the future

DelftUniversity ofTechnology

Peer evaluatie: dé manier om van elkaar iets te leren

Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion

2

Context

• 2000+ studenten in BSc en MSc • In BSc wordt veel gebruikt gemaakt van Projectonderwijs (ca. 35 ECTS)

• Studenten werken in groepen van 8 – 10 studenten aan zeer diverse projecten

Faculteit Luchtvaart- en Ruimtevaarttechniek

3

Probleem: Beoordeling

• Onder docenten grote behoefte aan assistentie bij beoordelen

• Grootste problematiek:• Wie heeft wat gedaan?• Hoe groot is de individuele bijdrage

geweest?• Wat is de kwaliteit van de bijdrage?• Hoe heeft een persoon bijgedragen aan het

groepsproces?

4

Werken in een project

Tijd

FormuleringProject doel

Projectresultaat

Evaluatie

5

Werken in project onderwijs projecten

Tijd

FormulatieProject doel

Projectresultaat

Leer resultaat

6

Oplossing: Peer & Zelf evaluaties

Peer evaluatie:

Het beoordelen van leden van het eigen project team op hun bijdrage tot het project en de manier waarop die bijdrage tot stand is gekomen.

Zelfevaluatie:

Het beoordelen van de eigen bijdrage tot het project en de manier waarop die bijdrage tot stand is gekomen.

7

Type peer evaluaties

Drie types peer evaluatie:

1. Ranking (van beste tot slechtste)

2. Pot verdelen (een pot punten of geld door het team onderling laten verdelen)

3. Rubrics (aan de hand van opgestelde criteria studenten elkaar laten beoordelen)

Voor projectonderwijs in het HO is op LR ervaren dat optie 3 het beste werkt.

8

Uitvoering

• Gekozen voor een bestaande set rubrics zoals gebruikt op de United States Air Force Academy in their project

• Een Rubric is een scoringsvorm waarbij je iemand punten geeft gebaseerd op

van te voren opgestelde criteria

9

Criteria

Op L&R aan de TU Delft worden 5 criteria gebruikt:

• Job performance• Attitude• Initiative• Communication• Management of Resources

10

Job Performance Attitude Leadership/Initiative Management of

Resources

Communication

Consistently does more than required. Work is of exceptional quality.

Positive and professional attitude which favorably influences other company members.

Takes initiative to seek out work, concerned with getting the job done. Very involved in the technical project.

Uses time effectively in and out of group and works to get others to do the same. All tasks completed on or ahead of schedule.

Oral and written skills excellent. Very effective within the group and to reviewers.

Sometimes does more than required. Work is of high quality. A producer.

Positive attitude toward project and the team.

Readily accepts tasks, sometimes seeks more work. Gets involved in the project.

Uses time effectively in and of group. Completes all tasks on time.

Usually effective.

Performs all assigned tasks. Quality of work is acceptable.

Neutral attitude. Gets involved enough to complete tasks. Does his/her share.

Wastes some time in group, but works hard when a deadline is near. Most tasks completed on time.

Generally gets the point across. Tries to improve in weak areas.

Performs all assigned tasks. Work must be redone or repaired to meet standards.

Negative attitude toward project and/or project.

Tends to watch others work. Gets involved only when necessary. Volunteers to help when it will look good.

Wastes most of group time. Seldom seen doing productive work. Some tasks completed late.

Skills ineffective. Makes an effort to improve.

Performs some assigned tasks. Work must be redone by others to meet standards.

Negative attitude which adversely affects other company members or project.

Lets others do the work; does the minimum he/she thinks is needed to get by.

Does little useful work in group or out; wastes his/her time and others. Work is constantly late.

Skills ineffective. Makes little or no effort to improve.

11

Criteria: Job Performance

++ + 0 - --

Consistently does more than required. Work is of exceptional quality

Sometimes does more than required. Work is of high quality. A producer

Performs all assigned tasks. Quality of work is acceptable.

Performs all assigned tasks. Work must be redone or repaired to meet standards

Performs some assigned tasks. Work must be redone by others to meet standards.

12

Criteria: Attitude

++ + 0 - --

Positive and professional attitude, which favourably influences other team members.

Positive attitude toward project and the team

Neutral attitude.

Negative attitude toward team and/or project.

Negative attitude which adversely affects other team members or project.

13

Criteria: Initiative

++ + 0 - --

Takes initiative to seek out work, concerned with getting the job done. Very involved in the technical project.

Readily accepts tasks, sometimes seeks more work. Gets involved in the project.

Gets involved enough to complete tasks. Does his/her share.

Tends to watch others work. Gets involved only when necessary. Volunteers to help when it will look good.

Lets others do the work; does the minimum he/she thinks is needed to get by.

14

Criteria: Management of Resources

++ + 0 - --

Uses time effectively in and out of group and works to get others to do the same. All tasks completed on or ahead of schedule.

Uses time effectively in and of group. Completes all tasks on time.

Wastes some time in group, but works hard when a deadline is near. Most tasks completed on time.

Wastes most of group time. Seldom seen doing productive work. Some tasks completed late.

Does little useful work in group or out; wastes his/her time and others. Work is constantly late.

15

Criteria: Communication

++ + 0 - --

Oral and written skills excellent. Very effective within the group and to reviewers.

Usually effective.

Generally gets the point across. Tries to improve in weak areas.

Skills ineffective. Makes an effort to improve.

Skills ineffective. Makes little or no effort to improve.

16

IT systeem implementatie eisen

• Web based, systeem onafhankelijk

• Exporteerbare files

• Batch enroll functie

• Neutrale interface

• Criteria kunnen aangepast en aangevuld worden

• Ratings zijn niet terug te voeren op individuen

• Docent is regisseur en beslist wat er met de data gebeurt

17

Hoe in te vullen?

• Per teamlid en voor zichzelf het meest van toepassing zijnde hokje invullen voor iedere categorie

• Mogelijkheid tot het geven van een toelichting via commentaar box

• Commentaar kan “private” of “public” worden gegeven

18

Data beheer

• Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem.

• Alle studenten loggen in met NetID

• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 3 niveaus voor publicatie:

• de hele groep• de staf• de administrator

19

Ervaringen met Peer evaluaties

• Om optimaal gebruik te kunnen maken van peer evaluaties moeten ze min. twee keer per

project worden uitgevoerd (halverwege en aan het eind)

• Commentaar functie wordt als zeer nuttig ervaren

• Omdat de resultaten niet in een cijfer wordt omgezet wordt het systeem door studenten geaccepteerd als eerlijk

• Een goede IT infrastructuur is onontbeerlijk om de administratieve lasten voor docenten te

beperken

20

Gebruik tot nu toe

• Vanaf 2000 met eigen systeem gewerkt

• Gemaakt door student assistenten

• Aantal gebruikers van systeem groeit hard

• Steeds moeilijker systeem in eigen beheer te houden en te updaten: continuïteit komt in gevaar

• Eind 2009 is besloten om met externe partner in zee te gaan: Parantion

21

Parantion

22

Scorion: voorbeelden van modules

• Ontwikkeling zichtbaar maken• Reflectie (360 graden feedback)• Formatief toetsen• Matchen• Formulier gedreven portfolio• Peer Evaluatie

Dus: Faciliteert en visualiseert leer- en ontwikkelprocessen

23

Voortgang

24

360 graden feedback

25

Formatief toetsen (evt. competenties)

26

Matchen Matching student competenties en competenties te behalen in project.

Student kiest project en solliciteert.

27

(Medisch) Portfolio:formulier gestuurd: maart 2011

28

Self

Peer

Group

Self

Peer

Peer evaluaties in Scorion

Aantal vragenlijsten:2x2

29

Hoeveel vragenlijsten zou….8

30

Dus: L&R voor één vak

• Projectonderwijs L&R• 80 groepen• 8 studenten per groep• X 8 vragenlijsten

4096

31

Demo/screenshots

32

Self

Peer

33

Feedback

34

Koppelingen

35

Toekomstplannen

• Succesvolle implementatie bij TUDelft eind 2010

• Kwalitatieve en kwantitatieve ontwikkeling op alle niveaus

36

Conclusies

• Peer evaluaties zijn een hele nuttige tool bij het beoordelen van individuele bijdrages in projectonderwijs

• IT-infrastructuur voor dit type projecten moet professioneel worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te garanderen

• Met hulp van het Scorion systeem van Parantion kan dit bereikt worden

37

Vragen?

• www.tudelft.nl• Dr. Ir. Gillian N. Saunders-Smits (G.N.Saunders@tudelft.nl)

• www.parantion.nl• Drs. R.A. Smabers (roel.smabers@parantion.nl)• Drs. R.J. Smeenk (robert.smeenk@parantion.nl)