Mario Gielen_Presentatie Verdediging_Linkedin

The impact of structuring peer feedback in a

wiki-based CSCL environment on

performance and feedback content

Doctorandus: Mario Gielen

Promotor: Prof. dr. Bram De Wever

Verdediging proefschrift Mario Gielen – 13 juni 2016


Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie

De impact van het structureren van peer feedback in een wiki-gebaseerde CSCL omgeving op de prestatie en de inhoud van de feedback.



Start

opdracht

Einde

opdracht

Score &

feedback

PRODUCT

PROCES



Start

opdracht

Einde

opdracht

Score &

feedback

PRODUCT

PROCES

Geven en ontvangen

van peer feedback

PEER ASSESSMENT for LEARNING (Dysthe, 2004)

Peer assessment (PA) Waardevol voor zowel assessor (beoordelaar) en assessee

(beoordeelde) (Topping, 1998)

Voorbeeld van een complexe leertaak (Weinberger et al. 2007)

Implementatie van PA praktijken PA praktijken optimaliseren ifv

leerproces? (Strijbos & Sluijsmans, 2010; Sadler, 2010)



DE KRACHT VAN PEER FEEDBACK (Cho & MacArthur, 2010)

Peer feedback (PFB) Feedback moet bestaan uit verificaties en elaboraties (Narciss, 2008)

Liefst beide elementen (eg. Coll, Rochera, & De Gispert, 2014).

Effectieve PFB

Bepaald door de inhoud, vorm en functie 3 essentiële vragen beantwoorden: (Hattie & Timperley, 2007)

Wat zijn de doelen? (feed up) Welke vooruitgang heb ik geboekt? (feed back) Wat moet ik doen om nog te verbeteren? (feed forward)

Hoe kunnen we kwaliteitsvolle feedback nastreven?



VRAGEN NAAR FEEDBACK

GEVEN VAN FEEDBACK

EVALUEREN ONTVANGEN FEEDBACK

(MEERDERE ITERATIES?)

HET STRUCTUREREN VAN PEER FEEDBACK

Peer feedback proces Nood aan ondersteuning en structuur! Belang van feedback dialoog (Carless, 2015)

Hoe PFB proces optimaliseren i.f.v het leerproces?

Onderzoek Focus voornamelijk op rol van

de beoordelaar(Gielen et al., 2010)

Beoordeelde actief betrekken Creëren van PFB dialoog



OD 3: (a) Het ontwikkelen en (b) implementeren van een inhoudsanalyseschema om de inhoud van de PFB berichten te bestuderen.

OD 1: Het onderzoeken van de impact van een verschillend niveau van structurering van het PFB proces op de prestatie van de lerende.

OD 2: Het onderzoeken van de impact van een verschillend niveau van structurering in het PFB proces op de PFB kwaliteit van de lerende, gemeten door de Feedback Quality Index (Prins, et al., 2006).


CONTEXT

Context Quasi-experimenteel onderzoeksdesign Authentieke en real-life situaties In wiki-gebaseerde CSCL omgeving 1e Bachelor studenten Pedagogische

Wetenschappen

Opleidingsonderdeel ‘Onderwijskunde’ (7ECTS - Prof Dr. Martin Valcke): Studenten (N>125) gerandomiseerd in groepen van 5 Online schrijfopdrachten: draft en finale versie Online PFB binnen de groep Verplicht praktisch gedeelte (8/20)



38 groepenN = 179

Repeated measuresANOVAIndependent-samples t-test

9 groepenN = 41123 PFB berichten 4717 segmenten

Content analysisAN(C)OVAMAN(C)OVA

2011 - 2012 2012 - 2013 2012 - 2013 2013 - 2014 2013 - 2014

Studie 1

Wel of geen

structuur in een

PFB template

Impact op:

• de prestatie

• het leereffect

• de perceptie

Studie 2

De mate van

aangeboden

structuur in een

PFB template

Impact op:

• de prestatie

• PFB kwaliteit

(FQI, 2006)

Studie 3

De mate van

aangeboden

structuur in een

PFB template

Impact op:

specifieke inhoud

van PFB berichten

(CA schema)

Studie 4

Structureren van

de rol van assessor

en assessee in het

PFB proces

Impact op:

• de prestatie

• PFB kwaliteit

(FQI, 2006)

Studie 5

Structureren van

de rol van assessor

en assessee in het

PFB proces

Impact op:

specifieke inhoud

van PFB berichten

(CA schema)


37 groepenN = 1683 Meetmomenten

Multilevel Analyse

27 groepenN = 1253 Meetmomenten

Multilevel Analyse

16 groepenN = 79237 PFB berichten 8440 segmenten

Content analysis

Multilevel Analyse

INTERVENTION 1 INTERVENTION 2 INTERVENTION 3


INTERVENTION3

2013-2014

INTERVENTION2

2012-2013

Study1:

Peerassessmentinawiki:

Productimprovement,

students’learningand

perceptionregarding

peerfeedback

(Chapter2)

Study2:

StructuringthePAProcess:

AMultilevelApproachforthe

ImpactonProduct

ImprovementandPeer

FeedbackQuality

(Chapter3)

Study5:Theaddedvalueofstructuringtheroleofbothassessorandassesseeforstudents’peer

feedbackcontent(Chapter6)

Generalintroduction

(Chapter1)

Generalconclusion

anddiscussion

(Chapter7)

Study4:

ScriptingtheRoleofAssessor

andAssesseeenPeer

Assessment:ImpactonPeer

FeedbackQualityand

ProductImprovement

(Chapter5)ntent

INTERVENTION1

(RO3)

2011-2012

Study3:

StructuringPeerAssessment:

ComparingtheImpactofthe

DegreeofStructureonthe

PeerFeedbackContent

(Chapter4)

(RO1,RO2)OD1

OD2

OD3

STUDIE 2

Het onderzoeken van de impact van een verschillend niveau van structurering in het PFB proces op de kwaliteit van de prestatie en peer feedback.

Impact van de mate van aangeboden structuur in een PFB template

Geen structuur: enkel lijst met criteria Basis structuur: lijst met criteria met 2 richtvragen Uitgebreide structuur: lijst met criteria gegroepeerd volgens principes van

feed up – feedback – feed forward

Draft en finale score van abstracten – scoring rubric PFB score op basis van Feedback Quality Index (Prins et al., 2006)



OD1/OD2

DOEL

CONDITIES

FOCUS


CONDITIES

OD1: Het onderzoeken van de impact van een verschillend niveau van structurering in het PFB proces op de prestatie van de lerende.



RESULTATEN


RESULTATEN

OD2: Het onderzoeken van de impact van een verschillend niveau van structurering in het PFB proces op de PFB kwaliteit van de lerende.



RESULTATEN

Time 1 Time 2 Time 3

30

40

50

60

70

Time

Me

an

Pe

er

Fee

db

ack

Sco

re

No structureBasic structureElaborate structure


RESULTATEN


INTERVENTION3

2013-2014

INTERVENTION2

2012-2013

Study1:

Peerassessmentinawiki:

Productimprovement,

students’learningand

perceptionregarding

peerfeedback

(Chapter2)

Study2:

StructuringthePAProcess:

AMultilevelApproachforthe

ImpactonProduct

ImprovementandPeer

FeedbackQuality

(Chapter3)

Study5:Theaddedvalueofstructuringtheroleofbothassessorandassesseeforstudents’peer

feedbackcontent(Chapter6)

Generalintroduction

(Chapter1)

Generalconclusion

anddiscussion

(Chapter7)

Study4:

ScriptingtheRoleofAssessor

andAssesseeenPeer

Assessment:ImpactonPeer

FeedbackQualityand

ProductImprovement

(Chapter5)ntent

INTERVENTION1

(RO3)

2011-2012

Study3:

StructuringPeerAssessment:

ComparingtheImpactofthe

DegreeofStructureonthe

PeerFeedbackContent

(Chapter4)

(RO1,RO2)

OD3

STUDIE 2 STUDIE 5


Theoretisch kader – Onderzoeksvragen – Methodologie – Resultaten – Conclusie

Draft versie

Geven van PFB

Finale versie

Draft versie

Vragen naarPFB

Voorbereiden van PFB

Geven van PFB

Finale versie

Evalueren van ontvangenPFB

STUDIE 5Het ontwikkelen en implementeren van een inhoudsanalyseschema

Impact van het structureren van de rol van assessor en assessee op de specifieke inhoud van PFB berichten

Controle conditie Request conditie Checklist conditie Combinatie conditie



OD3

DOEL

CONDITIES

n

FOCUSh

Inhoudscategorieën PFB stijl PFB type en focus PFB instemming en implementatie



RESULTATEN STUDIE 5CAT: PEER FEEDBACK STIJL• Vrij gebalanceerde proportie verificaties en elaboraties• in het algemeen iets meer elaboraties (45/55)

CAT: PEER FEEDBACK TYPE & FOCUS• Verificaties:

• Hoofdzakelijk positieve verificaties• minder negatieve verificaties over de tijd

• Elaboraties:• Vrij gebalanceerde proportie informatieve en suggestieve elaboraties• in het algemeen iets meer suggestieve elaboraties (60/40)• Vragen naar feedback: meer informatieve elaboraties – ‘justifications’

• PFB template – criterium niveau

CAT: INSTEMMING & IMPLEMENTATIE• Hoofdzakelijk akkoord met ontvangen PFB• De helft wordt daadwerkelijk geïmplementeerd

CONCLUSIE

Nood aan interventies om PFB proces te optimaliseren in functie van het leerproces van de student

Bevindingen Kwaliteit van prestatie en PFB stijgt significant over de tijd Belang van extra structuur versus meer oefengelegenheden

Belang van geoptimaliseerde en gestructureerde PFB template Feedback request: stijging van informatieve elaboraties



IMPLICATIES

Onderzoek Interventies om rol van beoordeelde te belichten Verder bouwen op ontwikkeld inhoudsanalyseschema

Praktijk Gebruiksvriendelijke PFB template Weldoordachte ‘structurering’ – MIX!

Aanbieden van ondersteuning voor alle actoren Integreren meerdere oefenmomenten Stimuleren van feedbackdialoog



SUGGESTIES VOOR VERVOLGONDERZOEK

Populatie Andere opleidingen / vakken Verschillende expertise van studenten Longitudinaal onderzoek: meer iteraties

PFB inhoud Welke aspecten zijn vooral belangrijk voor de taakherwerking? Wat is de relatie tussen de gevraagde feedback en de

ontvangen feedback met de bijhorende evaluatie?



The impact of structuring peer feedback in a

wiki-based CSCL environment on

performance and feedback content

Doctorandus: Mario Gielen

Promotor: Prof. dr. Bram De Wever


Mario Gielen_Presentatie Verdediging_Linkedin

Documents

Transcript of Mario Gielen_Presentatie Verdediging_Linkedin