Enkele Determinanten van Peer Review

Presentatie werkstuk Geert Wissink

Universiteit van Amsterdam, 13 januari 2003

Enkele Determinanten van Peer Review

Geert Wissink

SupervisieDrs. Maarten SpeekenbrinkProf. Dr. Johan Hoogstraten

Onderzoek

Welke eigenschappen van een manuscript zijn van belang bij de beoordeling van het manuscript?

Achtergrond

• Publiceren erg belangrijk voor wetenschap en wetenschappers• Impact factor belangrijke maat voor status tijdschrift• Geen verband tussen impactfactor en kwaliteit artikel (Hoogstraten & Van Wijk, 1998)

Achtergrond

• Meeste tijdschriften hanteren peer review met 2 of 3 reviewers

• Lage betrouwbaarheid tussen reviewers

Factoren die van invloed zijn op beoordeling

Gottfredson (1978)1. De Don’ts

2      Inhoudelijke Do’s

3.       Stylistische Do’s

4.       Originaliteit

5.       Trivialiteit

6.       Suggesties voor verder onderzoek

7.       Beschrijving van de data

8.       Aha-onderzoek

9. Grootte van het probleem

Factoren die van invloed zijn op beoordeling

• Gilliland & Cortina (1997) – Geschiktheid researchdesign– Operationalisatie van constructen– Theoretische ontwikkeling

Factoren die van invloed zijn op beoordeling

• Mahoney (1977)– Experimentele uitkomst van invloed op oordeel– Lage interbetrouwbaarheid

• Rowney en Zenisek (1980)– Reputatie auteur– Significantie resultaten– Replicatieonderzoek minder waardevol

• Hoogstraten & Jacobs (1981)– Twee versies manuscript aangeboden, meer nadruk

op theorie en meer nadruk op methoden

Vraagstelling 1

In hoeverre wordt de beoordeling van een wetenschappelijk manuscript beïnvloed door het al dan niet aanwezig zijn van significante resultaten?

Perceptie

• Toepassen objectieve criteria gebeurt vaak subjectief

• Perceptie van het oordeel van anderen betrouwbaardere maat?

Vraagstelling 2 & 3

• Wat is de perceptie van het oordeel van andere proefpersonen?

• Welke eigenschappen zijn van invloed op het oordeel over kwaliteit en publiceerbaarheid?

Hypotheses

1. Effect significantie: Niet-significant manuscript zal negatiever worden beoordeeld dan significant manuscript

2. Perceptie: Perceptie van het oordeel van anderen vertoont minder spreiding en is milder dan eigen oordeel

Exploratief bekijken we welke eigenschappen van het manuscript van invloed zijn op beoordeling

METHODE

Onafhankelijke variabele

Artikel “Pretesting as Determinant of Attitude Change in Evaluation Research” (Hoogstraten, 1979)

• Versie met significante resultaten die hypotheses bevestigen

• Versie zonder significante resultaten

Afhankelijke variabelen

• Waardering voor het manuscript– Voorbeeld vraag methoden:

De opzet van het onderzoek (design) geeft in voldoende mate de mogelijkheid tot beantwoording van de vraagstelling

• Mate van publiceerbaarheid• Perceptie van het oordeel van

anderen

Onderzoeksdesign

Niet-significante

conditie

Significante conditie

Studenten N=32 N=33

Wetenschappers N=15 N=18

Proefpersonen

Groep 1: 65 eerstejaars studenten

Gemiddelde leeftijd M (sd)

Sexe % (aantal) vrouw

Sexe % (aantal) man

Niet-significante conditie (n=32 )

20.77 (0.49)

62.5 % (20) 37.5 % (12)

Significante conditie (n= 33 )

20.50 (0.61)

87.9 % (29) 12.1 % (4)

Proefpersonen

Groep 2: 33 wetenschappers

Gemiddelde leeftijd M (sd)

Sexe % (aantal) vrouw

Sexe % (aantal) man

Niet-significante conditie (n=15 )

34.26 (13.78)

60 % (9) 40 % (6)

Significante conditie (n= 18 )

37.78 (14.48)

27.8 % (5) 72.2 % (13)

Resultaten

Resultaten

Betrouwbaarheid vragenlijst

• Cronbachs alpha – tussen 0.60 (studenten) en 0.83

(wetenschappers)

Resultaten

Studenten (n=65)Niet-significantM (SD)

SignificantM (SD)

Waardering voor manuscript

3.24 (0.47) 3.36 (0.36

Mate van publiceerbaarheid

2.66 (0.79) 2.79 (0.55)

Perceptie van het oordeel van anderen

3.30 (0.38) 3.38 (0.38)

Resultaten

Wetenschappers (n=33)

Niet-significantM (SD)

SignificantM (SD)

Waardering voor manuscript

2.93 (0.54) 3.02 (0.59)

Mate van publiceerbaarheid

1.93 (0.88) 2.22 (0.65)

Perceptie van het oordeel van anderen

3.03 (0.57) 3.00 (0.55)

Beantwoording vraag 1. Effect significantie

Verschil tussen condities

– Geen verschil in beoordeling significant en niet-significant manuscript binnen groep studenten en binnen de groep wetenschappers

Beantwoording vraag 1. Effect significantie

Wel verschil tussen groepen

– Wetenschappers beoordelen manuscript negatiever op alle drie afhankelijke variabelen: waardering, publiceerbaarheid en perceptie van het oordeel van anderen.

Beantwoording vraag 2. Perceptie

• Alleen verschil bij groep studenten op publiceerbaarheid. Hogere score voor perceptie dan voor eigen mening

• Op item-niveau– Studenten: hogere scores op schrijfstijl

en kwaliteit voor perceptie vragen– Wetenschappers: hogere score op

schrijfstijl voor perceptie vraag.

Beantwoording vraag 3. Eigenschappen manuscript

• Hoge correlaties tussen afhankelijke variabelen binnen groepen

Beantwoording vraag 3. Eigenschappen manuscript

Studenten• Bij afwezigheid van significante resultaten zijn de

algemene eigenschappen schrijfstijl en originaliteit van belang voor oordeel op publiceerbaarheid

• Bij significante resultaten is de uiteindelijke beoordeling meer afhankelijk van de beschrijving van het onderzoeksdesign

Beantwoording vraag 3. Eigenschappen manuscript

Wetenschappers• Theoretische inbedding van het manuscript en de mate

van originaliteit bepaalt voor een groot deel eindoordeel op kwaliteit

• Schrijfstijl is van invloed op publiceerbaarheid

Exitvragen

Effect van leeftijd• Studenten: hoe ouder hoe negatiever• Wetenschappers: hoe ouder hoe milder

Discussie

Discussie

• Geen effect significantie – Goed nieuws!

• Groepsverschil studenten wetenschappers– Eerstejaars studenten minder kritisch, mogelijk

sneller onder de indruk van een artikel

Discussie

Perceptie– Score op perceptie van het oordeel van

anderen alleen hoger voor publiceerbaarheid bij studenten

– Vragen werden als lastig beschouwd– Perceptie geen meerwaarde voor

oordeel

Discussie

Methodologische aspecten onderzoek

– Recenter artikel met meer grafieken– Coverstory vanuit tijdschriftredactie meer

impact, beter voor manipulatie

Discussie

Proefpersonen– Makkelijk studenten te werven– Zeer lastig wetenschappers bereid te

vinden mee te werken

Conclusie

• Wetenschappers doen het goed in dit onderzoek in tegenstelling tot eerder onderzoek. Sterke eensgezindheid in afwijzing van manuscript en geen invloed significantie.

Vervolg onderzoek

• Worden criteria anders gehanteerd?

• Vergelijkend onderzoek naar reviews nu en twintig jaar geleden