Hoe kunnen we de kwaliteit en effectiviteit van

supervisie bij praktijkgericht onderzoek

verhogen?

Rudie van de Kolk

HGZO congres 23 maart 2017

Proces van praktijkgericht onderzoek

• Supervisors met meer jaar ervaring verzorgen kwalitatief

betere/ meer effectieve supervisie?

• Hoe hoger het opleidingsniveau (Bc/ Msc/ Phd) van de

supervisor, hoe hoger de kwaliteit en effectiviteit van de

supervisie?

• Het geslacht van de supervisor/ student is van invloed op

de perceptie van kwaliteit/ effectiviteit van supervisie?

• Wie denkt dat hij/ zij al zijn/ haar studenten effectief

superviseert?

Stelling:

Instructiemodel praktijkgericht onderzoek

4

• ‘Cognitive apprenticeship learning’

Brannagan, 2012

• Supervisor

- Kennis van inhoud

- Kennis van methodologie

- Kennis van statistiek

- Netwerkkennis

- Kennis van toepassing

motivatietechnieken/ coaching/

scaffolding technieken

- Inspirerend zijn

- Voldoende vrijheid, maar ook

voldoende sturing geven

- Eigenaardigheden

- Beschikbaarheid in tijd

- Persoonlijke omstandigheden

- Eigen ervaring uit verleden

m.b.t begeleiding

- Eigen voorkeur voor werkstijl

- Perfectionistisch (of niet)

- …. Etc….. Etc….

5

• Student

- Voorkennis van onderwerp

- Interesse in onderwerp

- Interesse in het doen van

onderzoek

- Persoonlijke omstandigheden

- Verantwoordelijkheidsgevoel

- Financiële middelen (evt. veel

bijbaantjes)

- Motivatie voor studie

- Voorkeur voor werkstijl

- Voorkeur voor

begeleidingswijze

- Eerdere ervaringen in

projectonderwijs

- Faalangst

- Relatie met medestudenten

- Dyslexie?

- ……..etc…… etc……

• Welke factoren van onderzoeksbegeleiding zijn van invloed

op de kwaliteit van het onderzoek, studenttevredenheid,

productiviteit van de student en studievertraging?

Systematisch literatuur onderzoek

• Instrumentele begeleiding

• Psychosociale begeleiding/ emotionele afstand tussen de

student en supervisor

• Mate van sturing

• Communicatie van verwachtingspatronen en de wijze van

geven van feedback

• Geslacht, etniciteit en cognitieve stijl (intuïtief/ analytisch)

Factoren gerelateerd aan ‘kwaliteit/

tevredenheid/ studievertraging/

zelfredzaamheid’

• ‘Supervision - the most variable of all variables’ (Mc

Alpine, 2012)

• ‘Adaptive research supervision’ (Kleijn, 2014)

• Open en effectieve communicatie voorwaardelijk, maar

klaarblijkelijk moeilijk vanwege:

– afhankelijkheidspositie student (Deuchar, 2008)

– autoriteit (Armstrong, 2004)

– interactiepatronen (de Jong, 2006)

8

Complexiteit supervisie

• Leidt het gebruik van een communicatie-instrument, om

eventuele discrepanties in behoefte en ervaren supervisie

transparant en bespreekbaar te maken tijdens een

onderzoeksperiode, tot een hogere kwaliteit en effectiviteit

van supervisie bij onderzoek?

Experimenteel onderzoek

Theoretisch model

Behoefte/ verwachtingen supervisie vanuit student perspectief

Ervaren supervisie vanuit student perspectief

SUPERVISIE

Instrumentele begeleiding

Mate van sturing

Wijze van feedback

Psychosociale begeleiding en interpers. aansluiting

Instrumentele begeleiding

Mate van sturing

Wijze van feedback

Psychosociale begeleiding en interpers. aansluiting

Kwaliteit van supervisie:

Overeenkomst

tussen behoefte en ervaren supervisie

Doel van supervisie:

• Het ondersteunen van een student in zijn handelen en

het bevorderen van de transitie naar een bedreven

professional/ onderzoeker die zelfstandig kan handelen

(Brown, Daly, & Leong (2009)

Kwaliteit van supervisie:

• Kwaliteit ontwikkelt zich wanneer het supervisieproces

wordt aangepast aan de idiosyncratische behoefte van

de student in kwestie (Kam, 1997)

Effectiviteit:

• Mate waarin beoogd doel word bereikt

11

Definities

• Semester najaar 2015 en voorjaar 2016

• Interventie bij de 5 opleidingen binnen FPH

• Conditionele toewijzing supervisors op ‘werkzaam bij

opleiding’

• Interventiegroep: 3 keer gebruik gemaakt van

communicatie instrument

• Analyse: bi-variaat/ multi-variaat/ multi-level (supervisor

als groepskenmerk)

Onderzoeksontwerp

Het communicatie-instrument

Zeer

weinig

Weinig Gemiddeld Veel Zeer

veel

Mate van instrumentele

begeleiding

Behoefte 1 2 3 4 5

Ervaren 1 2 3 4 5

Denk bij mate van instrumentele begeleiding aan:

-

Procesbegeleiding Behoefte 1 2 3 4 5

Ervaren 1 2 3 4 5

Denk bij mate van procesbegeleiding aan:

-

Mate van sturing Behoefte 1 2 3 4 5

Ervaren 1 2 3 4 5

Denk bij mate van sturing aan:

-

Wijze van feedback Behoefte 1 2 3 4 5

Ervaren 1 2 3 4 5

Denk bij wijze van feedback aan:

-

• Student neemt meer verantwoordelijkheid voor het

begeleidingsproces

• Student durft eerder wensen of eventuele problemen in

de begeleiding kenbaar te maken

• Student ervaart meer tijd/ aandacht en bereidheid van

de supervisor om het begeleidingsproces aan te passen

Verwachting mechanisme gebruik

instrument

14

15

Kwaliteit supervisie: Meetinstrument

OBE (overeenkomst behoefte-ervaren superv.) Vragenlijst student

Effectiviteit supervisie:

Thesiscijfer Studentadministratie

Perceptie bijdrage leerproces supervisor (PBSL) Vragenlijst student

Studenttevredenheid Vragenlijst student

Perceptie zelfredzaamheid onderzoek (ZO) Vragenlijst student

Duur van onderzoek Studentadministratie

Mediërende variabelen

TFI-D/ TFI-V/ TFI-T Vragenlijst student en supervisor

Controle variabelen:

Opleiding Studentadministratie

Geslacht student/ supervisor Studentadministratie

Vooropleiding student Vragenlijst student

Hoe aan project gekomen Vragenlijst student

Type onderzoeksdesign Vragenlijst student

Aantal jaar ervaring supervisor Vragenlijst supervisor

Opleidingstitel supervisor Vragenlijst supervisor

• Post-hoc power analyse: 0,45 (1-β)

• Responspopulatie vergeleken op kenmerken

Resultaten totale en responspopulatie

STUDENT N totale populatie N respons populatie % Respons

Controle 175 128 73%

Interventie 176 108 61%

Totaal 351 236 67%

SUPERVISOR

Controle 32 30 94%

Interventie 24 20 83%

Totaal 56 50 89%

• OBE (kwaliteit): Geen verschil in kwaliteit supervisie

(Adj. R2=0,09 / ICC= 0,35)

• Studenttevredenheid: Geen verschil in studenttevredenheid

(Adj. R2=0,08 / ICC= 0,39)

• PSBL: Geen verschil in perceptie bijdrage supervisor

leerproces

(Adj. R2=0,06 / ICC= 0,20)

• Zelfredzaamheid (ZO): Geen verschil in zelfredzaamheid

(Adj. R2=0,06 / ICC= 0,13)

• Thesiscijfer: Geen verschil thesiscijfer

(Adj. R2=0,01 / ICC= 0,08)

• Duur van onderzoek: Geen verschil in kans op vertraging

(Nagelkerke R2=0,22)

Samenvatting resultaten

• TFI-D: Studenten durven niet meer bespreekbaar te maken

(Adj. R2 =0,09 / ICC= 0,33)

• TFI-V: Studenten vinden supervisor meer verantwoordelijk

voor bespreken supervisieproces

(B= 0,25; p= 0,08/ Adj. R2=0,09 / ICC= 0,03)

• TFI-T: Studenten ervaren niet meer aandacht/ tijd voor

supervisieproces en bereidheid voor aanpassen

(Adj. R2=0,10 / ICC= 0,27)

Samenvatting resultaten

19

Aanvullende analyses

Aantal keer supervisieproces

besproken

0 1 2 ≥3 Totaal

Controle (%) 18 (14) 38 (30) 34 (26) 38 (30) 128 (100)

Interventie (%) 0 (0) 18 (16) 45 (42) 45 (42) 108 (100)

Aantal studenten en supervisors in de interventie- en controlegroep dat

een bepaald aantal keer het supervisieproces heeft besproken

Aanvullende analyses Model met

Model 2 OLS Model 3 Multi–level random effects

afh. variabele

B Std. fout B Std. fout

OBE Constante -1,42 0,44*** -1,28 0,53**

Drie of meer keer superv. bespr. 0,42 0,13*** 0,38 0,13***

TFI-D Constante -0,83 0,43* -0,73 0,18

Drie of meer keer superv. bespr. 0,51 0,13*** 0,43 0,13***

TFI-T Constante -1,32 0,43*** -1,22 0,49**

Drie of meer keer superv. bespr. 0,55 0,13*** 0,52 0,13***

SS Constante 5,05 0,77*** 5,26 0,93***

Drie of meer keer superv. bespr. 0,74 0,24*** 0,56 0,23*

PBSL Constante -1,21 0,45*** -1,16 -0,50**

Drie of meer keer superv. bespr. 0,36 0,14** 0,34 0,14*

TFI-T super. a Constante -2,49 0,26

Drie of meer keer superv. bespr. 1,89 0,61** TFI-V super. a Constante 3,30 1,58

(item 3) Drie of meer keer superv. bespr. 3,08 0,77**

Noten: schatter is OLS; in model 2 en 3 zijn de controlevariabelen interventie, opleiding, geslacht student en

supervisor, vooropleiding student, hoe aan project gekomen, type onderzoeksdesign, aantal jaar ervaring

supervisor, opleidingstitel supervisor en dummy 3 of meer keer supervisieproces besproken meegenomen;

N=233, significantie niveau:*p= <,10; **p=<0,05; ***p=<0,01; a = N 27.

• Communicatie-instrument alléén lijkt niet voldoende om

interactie te verbeteren

• Gebrek aan power (post-hoc analyse 0,45 (1-β)

• Statistisch model onvoldoende geschikt om variantie te

verklaren

• Rol supervisor is aanzienlijk, verschil in perceptie van

kwaliteit onder studenten ook!

• Instructiemodel ‘cognitive apprenticeship’ is sterk, maar ook

risicovol.

• Supervisieproces gesprekken t.b.v. adaptieve

begeleidingsstrategieën is een relevant onderdeel om te

komen tot kwaliteit en deels effectiviteit van supervisie

Conclusie

• Supervisors laten leren van elkaar (samen

begeleidingsbijeenkomsten verzorgen en intervisie gericht

op proces)

• Bespreek in supervisie op welke wijze het

begeleidingsproces met de student te bespreken/ hoe

adaptieve begeleidingsstrategie vorm te geven

• Attitude als supervisor dient adaptief?

• ‘Communicatie-instrument kan een handig hulpmiddel zijn

Aanbevelingen

22

23

Tot slot

• Armstrong, S.J., Allinson, C. W. & Hayes, J. (2004). The Effects of Cognitive Style on Research

Supervision: A Study of Student-Supervisor Dyads in Management Education. Academy of

Management Learning & Education, 3(1), 41–63.

• Kam, B.H., (1997). Style and Quality in Research Supervision: The Supervisor Dependency

Factor. Higher Education, 34(1), 81–103.

• Brown, R.T., Daly, B.P. & Leong, F.T.L. (2009). Mentoring in research: A developmental

approach. Professional Psychology: Research and Practice, 40(3), 306–313.

• Dillon, M. J. & Malott, R.W. (1981). Supervising Masters Theses and Doctoral Dissertations.

Teaching of Psychology, 8(4), 195–203.

• Drennan, J. & Clarke, M. (2009). Coursework master’s programmes: the student’s experience of

research and research supervision. Studies in Higher Education, 34(5), 483–500.

• Garcia, M.E., Malott, R.W. & Brethower, D. (1988). A System of Thesis and Dissertation

Supervision: Helping Graduate Students Succeed. Teaching of Psychology, 15(4), 186–192.

• Green, S. G. & Bauer, T. N. (1995). Supervisory Mentoring By Advisers: Relationships With

Doctoral Student Potential, Productivity, and Commitment. Personnel Psychology, 48(3), 537–

562.

• Haksever, A. M. & Manisali, E. (2000). Assessing supervision requirements of PhD students: The

case of construction management and engineering in the UK. European Journal of Engineering

Education, 25(1), 19–32.

• Kleijn, R.A.M., Mainhard, M.T., Meijer, P.C., Pilot, A. & Brekelmans, M. (2012). Master’s thesis

supervision: relations between perceptions of the supervisor–student relationship, final grade,

perceived supervisor contribution to learning and student satisfaction. Studies in Higher

Education, 37(8), 925–939.

Referenties

• Kleijn, R.A.M., Meijer, P. C., Pilot, A. & Brekelmans, M. (2014). The relation between feedback

perceptions and the supervisor–student relationship in master’s thesis projects. Teaching in

Higher Education, 19(4), 336–349.

• Noy, S. & Ray, R. (2012). Graduate Students’ Perceptions of Their Advisors: Is There Systematic

Disadvantage in Mentorship? The Journal of Higher Education, 83(6), 876–914.

• Overall, N.C., Deane, K.L. & Peterson, E.R. (2011). Promoting doctoral students’ research self-

efficacy: combining academic guidance with autonomy support. Higher Education Research &

Development, 30(6), 791–805.

• Paglis, L.L., Green, S.G. & Bauer, T.N. (2006). Does adviser mentoring add value? A longitudinal

study of mentoring and doctoral student outcomes. Research in Higher Education, 47(4), 451–

476.

• Platow, M.J. (2012). PhD experience and subsequent outcomes: a look at self-perceptions of

acquired graduate attributes and supervisor support. Studies in Higher Education, 37(1), 103–

118.

• Sirriyeh, R., Lawton, R., Gardner, P. & Armitage, G. (2012). Reviewing studies with diverse

designs: the development and evaluation of a new tool. Journal of Evaluation in Clinical Practice,

18(4), 746–752.

• Tenenbaum, H.R., Crosby, F.J. & Gliner, M.D. (2001). Mentoring Relationships in Graduate

School. Journal of Vocational Behavior, 59(3), 326–341.

Referenties