Enkele Determinanten van Peer Review Presentatie werkstuk Geert Wissink Universiteit van Amsterdam,...
-
Upload
heidi-brander -
Category
Documents
-
view
212 -
download
0
Transcript of Enkele Determinanten van Peer Review Presentatie werkstuk Geert Wissink Universiteit van Amsterdam,...
Enkele Determinanten van Peer Review
Presentatie werkstuk Geert Wissink
Universiteit van Amsterdam, 13 januari 2003
Enkele Determinanten van Peer Review
Geert Wissink
SupervisieDrs. Maarten SpeekenbrinkProf. Dr. Johan Hoogstraten
Onderzoek
Welke eigenschappen van een manuscript zijn van belang bij de beoordeling van het manuscript?
Achtergrond
• Publiceren erg belangrijk voor wetenschap en wetenschappers• Impact factor belangrijke maat voor status tijdschrift• Geen verband tussen impactfactor en kwaliteit artikel (Hoogstraten & Van Wijk, 1998)
Achtergrond
• Meeste tijdschriften hanteren peer review met 2 of 3 reviewers
• Lage betrouwbaarheid tussen reviewers
Factoren die van invloed zijn op beoordeling
Gottfredson (1978)1. De Don’ts
2 Inhoudelijke Do’s
3. Stylistische Do’s
4. Originaliteit
5. Trivialiteit
6. Suggesties voor verder onderzoek
7. Beschrijving van de data
8. Aha-onderzoek
9. Grootte van het probleem
Factoren die van invloed zijn op beoordeling
• Gilliland & Cortina (1997) – Geschiktheid researchdesign– Operationalisatie van constructen– Theoretische ontwikkeling
Factoren die van invloed zijn op beoordeling
• Mahoney (1977)– Experimentele uitkomst van invloed op oordeel– Lage interbetrouwbaarheid
• Rowney en Zenisek (1980)– Reputatie auteur– Significantie resultaten– Replicatieonderzoek minder waardevol
• Hoogstraten & Jacobs (1981)– Twee versies manuscript aangeboden, meer nadruk
op theorie en meer nadruk op methoden
Vraagstelling 1
In hoeverre wordt de beoordeling van een wetenschappelijk manuscript beïnvloed door het al dan niet aanwezig zijn van significante resultaten?
Perceptie
• Toepassen objectieve criteria gebeurt vaak subjectief
• Perceptie van het oordeel van anderen betrouwbaardere maat?
Vraagstelling 2 & 3
• Wat is de perceptie van het oordeel van andere proefpersonen?
• Welke eigenschappen zijn van invloed op het oordeel over kwaliteit en publiceerbaarheid?
Hypotheses
1. Effect significantie: Niet-significant manuscript zal negatiever worden beoordeeld dan significant manuscript
2. Perceptie: Perceptie van het oordeel van anderen vertoont minder spreiding en is milder dan eigen oordeel
Exploratief bekijken we welke eigenschappen van het manuscript van invloed zijn op beoordeling
METHODE
Onafhankelijke variabele
Artikel “Pretesting as Determinant of Attitude Change in Evaluation Research” (Hoogstraten, 1979)
• Versie met significante resultaten die hypotheses bevestigen
• Versie zonder significante resultaten
Afhankelijke variabelen
• Waardering voor het manuscript– Voorbeeld vraag methoden:
De opzet van het onderzoek (design) geeft in voldoende mate de mogelijkheid tot beantwoording van de vraagstelling
• Mate van publiceerbaarheid• Perceptie van het oordeel van
anderen
Onderzoeksdesign
Niet-significante
conditie
Significante conditie
Studenten N=32 N=33
Wetenschappers N=15 N=18
Proefpersonen
Groep 1: 65 eerstejaars studenten
Gemiddelde leeftijd M (sd)
Sexe % (aantal) vrouw
Sexe % (aantal) man
Niet-significante conditie (n=32 )
20.77 (0.49)
62.5 % (20) 37.5 % (12)
Significante conditie (n= 33 )
20.50 (0.61)
87.9 % (29) 12.1 % (4)
Proefpersonen
Groep 2: 33 wetenschappers
Gemiddelde leeftijd M (sd)
Sexe % (aantal) vrouw
Sexe % (aantal) man
Niet-significante conditie (n=15 )
34.26 (13.78)
60 % (9) 40 % (6)
Significante conditie (n= 18 )
37.78 (14.48)
27.8 % (5) 72.2 % (13)
Resultaten
Resultaten
Betrouwbaarheid vragenlijst
• Cronbachs alpha – tussen 0.60 (studenten) en 0.83
(wetenschappers)
Resultaten
Studenten (n=65)Niet-significantM (SD)
SignificantM (SD)
Waardering voor manuscript
3.24 (0.47) 3.36 (0.36
Mate van publiceerbaarheid
2.66 (0.79) 2.79 (0.55)
Perceptie van het oordeel van anderen
3.30 (0.38) 3.38 (0.38)
Resultaten
Wetenschappers (n=33)
Niet-significantM (SD)
SignificantM (SD)
Waardering voor manuscript
2.93 (0.54) 3.02 (0.59)
Mate van publiceerbaarheid
1.93 (0.88) 2.22 (0.65)
Perceptie van het oordeel van anderen
3.03 (0.57) 3.00 (0.55)
Beantwoording vraag 1. Effect significantie
Verschil tussen condities
– Geen verschil in beoordeling significant en niet-significant manuscript binnen groep studenten en binnen de groep wetenschappers
Beantwoording vraag 1. Effect significantie
Wel verschil tussen groepen
– Wetenschappers beoordelen manuscript negatiever op alle drie afhankelijke variabelen: waardering, publiceerbaarheid en perceptie van het oordeel van anderen.
Beantwoording vraag 2. Perceptie
• Alleen verschil bij groep studenten op publiceerbaarheid. Hogere score voor perceptie dan voor eigen mening
• Op item-niveau– Studenten: hogere scores op schrijfstijl
en kwaliteit voor perceptie vragen– Wetenschappers: hogere score op
schrijfstijl voor perceptie vraag.
Beantwoording vraag 3. Eigenschappen manuscript
• Hoge correlaties tussen afhankelijke variabelen binnen groepen
Beantwoording vraag 3. Eigenschappen manuscript
Studenten• Bij afwezigheid van significante resultaten zijn de
algemene eigenschappen schrijfstijl en originaliteit van belang voor oordeel op publiceerbaarheid
• Bij significante resultaten is de uiteindelijke beoordeling meer afhankelijk van de beschrijving van het onderzoeksdesign
Beantwoording vraag 3. Eigenschappen manuscript
Wetenschappers• Theoretische inbedding van het manuscript en de mate
van originaliteit bepaalt voor een groot deel eindoordeel op kwaliteit
• Schrijfstijl is van invloed op publiceerbaarheid
Exitvragen
Effect van leeftijd• Studenten: hoe ouder hoe negatiever• Wetenschappers: hoe ouder hoe milder
Discussie
Discussie
• Geen effect significantie – Goed nieuws!
• Groepsverschil studenten wetenschappers– Eerstejaars studenten minder kritisch, mogelijk
sneller onder de indruk van een artikel
Discussie
Perceptie– Score op perceptie van het oordeel van
anderen alleen hoger voor publiceerbaarheid bij studenten
– Vragen werden als lastig beschouwd– Perceptie geen meerwaarde voor
oordeel
Discussie
Methodologische aspecten onderzoek
– Recenter artikel met meer grafieken– Coverstory vanuit tijdschriftredactie meer
impact, beter voor manipulatie
Discussie
Proefpersonen– Makkelijk studenten te werven– Zeer lastig wetenschappers bereid te
vinden mee te werken
Conclusie
• Wetenschappers doen het goed in dit onderzoek in tegenstelling tot eerder onderzoek. Sterke eensgezindheid in afwijzing van manuscript en geen invloed significantie.
Vervolg onderzoek
• Worden criteria anders gehanteerd?
• Vergelijkend onderzoek naar reviews nu en twintig jaar geleden