Wanneer is onderzoek goed: de kwaliteitscriteria

42
Management, finance en recht Congres ‘Praktijkgericht onderzoek in het HBO’ Amersfoort, 11 december 2012 Daan Andriessen Hogeschool Inholland Wanneer is onderzoek goed: de kwaliteitscriteria De verwarring voorbij Naar hernieuwd zelfvertrouwen

description

Wanneer is onderzoek goed: de kwaliteitscriteria. De verwarring voorbij. Naar hernieuwd zelfvertrouwen. Congres ‘Praktijkgericht onderzoek in het HBO’ Amersfoort, 11 december 2012 Daan Andriessen Hogeschool Inholland. Het Nederlandse accreditatiestelsel. Standaard 1: - PowerPoint PPT Presentation

Transcript of Wanneer is onderzoek goed: de kwaliteitscriteria

Page 1: Wanneer is onderzoek goed:  de kwaliteitscriteria

Management, finance en recht

Congres ‘Praktijkgericht onderzoek in het HBO’Amersfoort, 11 december 2012Daan AndriessenHogeschool Inholland

Wanneer is onderzoek goed: de kwaliteitscriteria

De verwarring voorbijNaar hernieuwd zelfvertrouwen

Page 2: Wanneer is onderzoek goed:  de kwaliteitscriteria

2

Het Nederlandse accreditatiestelsel

Standaard 1: • De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen.

Standaard 16: • De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.

Page 3: Wanneer is onderzoek goed:  de kwaliteitscriteria

Wat is een adequaat systeem van toetsing voor scripties?

3

Page 4: Wanneer is onderzoek goed:  de kwaliteitscriteria

De verwarring is compleet

4

Page 5: Wanneer is onderzoek goed:  de kwaliteitscriteria

Mijn probleemstelling en deelvragen

Wat is een adequaat systeem van toetsing voor scripties?

1. Wanneer zijn kwaliteitscriteria goed?2. Welke kwaliteitscriteria voor scripties

bieden de officiële kaders en wat is hun kwaliteit?

3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?

4. Wat is daarvan een goed voorbeeld?

5

Page 6: Wanneer is onderzoek goed:  de kwaliteitscriteria

1. Wanneer zijn kwaliteitscriteria goed?

6

Page 7: Wanneer is onderzoek goed:  de kwaliteitscriteria

Wat is de belangrijkste functie van kwaliteitscriteria voor scripties?

7

1. Student helpen er achter te komen hoe hoog de lat ligt voor beroepsproducten in zijn toekomstige beroep2. Zodat de student kan bepalen wat hij moet doen om dit nivo te halen

3. Waardoor de docent dit leerproces goed kan begeleiden

4. En de scriptie kan worden beoordeeld

Page 8: Wanneer is onderzoek goed:  de kwaliteitscriteria

8

Kwaliteitscriteria voor kwaliteitscriteria

1. Afgeleid uit de (internationale) competentie-eisen, beroepsprofiel en visie op onderzoek daarin

2. Richtinggevend bij het maken van keuzes tijdens het onderzoek

3. Didactisch functioneel

4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)

Page 9: Wanneer is onderzoek goed:  de kwaliteitscriteria

9

Standaard 16: Valide, betrouwbaar en voor studenten inzichtelijk

Hiertoe moeten ze worden geoperationaliseerd. Ze hebben:1. Een object in de scriptie (wat moet

kwaliteit hebben? Bv. probleemstelling of literatuurstudie)

2. Een criterium (welke kwaliteit moet het hebben? Bv. Relevant, afgebakend of functioneel)

3. Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?)

Page 10: Wanneer is onderzoek goed:  de kwaliteitscriteria

2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit?

10

Page 11: Wanneer is onderzoek goed:  de kwaliteitscriteria

11

Officiële kaders

Algemene internationale en landelijke kaders:

• Dublin descriptoren (DD)• HBO kenmerken Commissie Fransen (CF)• “Kwaliteit als opdracht” (HBO raad)

Commissie Dunnewijk-Budé / “Vreemde ogen dwingen”Beroepsprofielen van opleidingen

Page 12: Wanneer is onderzoek goed:  de kwaliteitscriteria

Onderzoekend vermogen (HBO raad):1. Definiëren en analyseren complexe probleemsituaties

(CF)2. Planmatig aanpakken van werkzaamheden (CF)3. (wetenschappelijke) inzichten, theorieën, concepten

en onderzoeksresultaten toepassen (CF)4. Gegevens verzamelen en interpreteren (DD)5. Afwegen van sociaal-maatschappelijke,

wetenschappelijke of ethische aspecten (DD)6. Oordeel vormen (DD)7. Ontwikkelen en beoordelen van oplossingen (CF)

Leiden tot evidence based practice (HBO raad)Innovatie (HBO raad)

8. Reflecteren op het handelen (CF / HBO raad)

Wat moeten BA studenten kunnen volgens internationale en landelijke kaders?

12

Vraagstelling ontwikkelen

Onderzoeksplan maken

Theorie toepassen

Data verzamelen en analyseren

Conclusies trekken

Adviezen of andere beroepsproducten maken

Reflecteren op resultaten

Page 13: Wanneer is onderzoek goed:  de kwaliteitscriteria

Conclusie algemene internationale en landelijke kaders

Deze bieden wel overzicht van benodigde onderzoeksvaardigheden`van de studentMaar geen kwaliteitscriteria voor scripties

13

Page 14: Wanneer is onderzoek goed:  de kwaliteitscriteria

14

Commissie Dunnewijk-Budé

• “Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTM-opleidingsniveau in het bijzonder.”

Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2012

Page 15: Wanneer is onderzoek goed:  de kwaliteitscriteria

Beoordelingscriteria (standaarden) van de Commissie (1)

1. Vinden we onderstaande componenten terug in het afstudeerproject?

- A. Vraagstelling & verantwoording- B. Onderzoek & analyse (vraag- en

aanbodzijde, publiek, omgeving)–a. Onderzoeksopzet–b. Bronnenonderzoek–c. Empirisch onderzoek–d. Conclusies–e. Output [Afhankelijk van type

afstudeerproject]

15

Page 16: Wanneer is onderzoek goed:  de kwaliteitscriteria

Beoordelingscriteria (standaarden) van de Commissie (2)

2. Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt?

16

Niets

Page 17: Wanneer is onderzoek goed:  de kwaliteitscriteria

Beoordelingscriteria (standaarden) van de Commissie (3)

3. Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens “voldoende”:

1. theoretische vorming / onderbouw2. overzicht en inzicht, het kunnen plaatsen

van problemen in de context3. reflectie (incl. zelfreflectie), kritische en

objectiverende ingesteldheid, zin voor nuance

4. creativiteit en/of vermogen tot conceptualisering

5. vermogen om helder te communiceren6. vermogen om efficiënt en resultaatgericht

te werken

17

Page 18: Wanneer is onderzoek goed:  de kwaliteitscriteria

18

Kunnen we de Dunnewijk-Budé eisen aan afstuderenden gebruiken als criteria voor scripties?

Onderzoekend vermogen Een goede scriptie

Page 19: Wanneer is onderzoek goed:  de kwaliteitscriteria

19

4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)

Page 20: Wanneer is onderzoek goed:  de kwaliteitscriteria

20

Theoretische vorming / onderbouw

Object Criterium Indicatoren

Literatuurverkenning Verantwoorde -selectie, - gebruik, verwerking en -vermelding

geen

Literatuurverkenning Evenwichtige mix van binnen- en buitenlandse bronnen

geen

Theoretische verkenning

Adequaat geen

Veldonderzoek Behoorlijk uitgevoerd geen

Dataverzamelings-methoden

Behoorlijk uitgevoerd geen

Dataverwerking Behoorlijk uitgevoerd geen

Page 21: Wanneer is onderzoek goed:  de kwaliteitscriteria

22

Reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance

Object Criterium Indicatoren

Bronnen bronnenkritiek geen

? Eigen oordeelsvorming geen

? reflectie over de eigen plaats in het onderzoek

geen

Conclusies (?) aanzet tot beantwoorden van onderzoeksvragen

geen

? onafhankelijke ingesteldheid geen

? goede inschatting van de toegevoegde waarde van het onderzoeksresultaat t.b.v. het werkveld

geen

? inzicht in eigen werkwijze en proces geen

Page 22: Wanneer is onderzoek goed:  de kwaliteitscriteria

23

Creativiteit en/of vermogen tot conceptualiseringObject Criterium Indicatoren

? onderzoek kunnen vertalen naar een concreet concept voor een product en/of dienst

geen

? originaliteit geen

? eigenheid geen

? out of the box aanpak geen

? onafhankelijk denken geen

? meer perspectieven kunnen innemen geen

? ideeën kunnen genereren geen

? gevoel voor innovatie geen

? oog voor aspecten van usability geen

? kunnen vormgeven van steekhoudende look en feel

geen

Page 23: Wanneer is onderzoek goed:  de kwaliteitscriteria

Conclusie Commissie Dunnewijk-Budé

• Commissie Dunnewijk-Budé biedt geen lijst met kwaliteitscriteria voor scripties

• En is hier ook niet eenvoudig naar te vertalen

26

Page 24: Wanneer is onderzoek goed:  de kwaliteitscriteria

Conclusie: officiële algemene criteria voor scripties zijn in Nederland niet voorhanden

27Onderzoekend vermogen Een goede scriptie

Page 25: Wanneer is onderzoek goed:  de kwaliteitscriteria

3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?

28

Page 26: Wanneer is onderzoek goed:  de kwaliteitscriteria

29

Hoe dan wel?

1

•Eisen bachelor als basis

2

•Visie en eisen beroepsprofiel t.a.v. onderzoek

3

•Vertaling naar goede criteria

4

•Verantwoording criteria <-> Dunnewijk-Budé

5

•Borging in de organisatie

Page 27: Wanneer is onderzoek goed:  de kwaliteitscriteria

4. Wat is daarvan een goed voorbeeld?

30

Page 28: Wanneer is onderzoek goed:  de kwaliteitscriteria

Voorbeeld Bedrijfskunde MER Inholland

31

Page 29: Wanneer is onderzoek goed:  de kwaliteitscriteria

Landelijk beroepsprofiel Bedrijfskunde MER

• “De startende bedrijfskundige professional richt zich op het analyseren, ontwerpen en managen van doelgerichte processen van productie en dienstverlening in en tussen organisaties”.

32Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

Page 30: Wanneer is onderzoek goed:  de kwaliteitscriteria

Bachelor student als probleemoplosser

PROBLEEM-KEUZE EN DIAGNOSE

ONTWERP VERANDEREN EVALUATIE

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

VOORSTEL VOOR VERVOLGONDERZOEKBron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

die handelen onderbouwt met onderzoek

Page 31: Wanneer is onderzoek goed:  de kwaliteitscriteria

34

Vertaling naar goede criteria

• Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost & Markenhof, 2002)

• Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008)

• Getoetst aan eisen Dunnewijk – Budé

Kern van de methodiek: Werken met inhoudelijke criteria voor kwaliteit

Page 32: Wanneer is onderzoek goed:  de kwaliteitscriteria

Bijvoorbeeld:Criteria probleemstelling en deelvragen

1. Verankerd2. Relevant3. Precies4. Functioneel5. Afgebakend

35

Page 33: Wanneer is onderzoek goed:  de kwaliteitscriteria

Didactisch functionele kwaliteitscriteria

36

Probleemstelling en deelvragen

Kennisgebied

Reden

Antwoord

Strategie

VERANKERD

RELEVANT

PRECIES

FUNCTIONEEL

Naar: Oost & Markenhof (2002)

Page 34: Wanneer is onderzoek goed:  de kwaliteitscriteria

Een probleemstelling is functioneel

1. Beschrijven

2. Vergelijken

3. Definiëren

4. Evalueren

5. Verklaren

6. Ontwerpen

Bron: Oost & Markenhof, 2002

Page 35: Wanneer is onderzoek goed:  de kwaliteitscriteria

38

Criteria probleemstelling en deelvragen

Object Criterium Indicatoren

Probleem-stelling

Functioneel 1. Maakt duidelijk wat de onderzoeksfunctie is2. Is uitgewerkt in deelvragen waarvan een deel

theoretisch is en een deel empirisch3. De deelvragen vormen samen een

onderzoekstructuur die past bij de onderzoeksfunctie.

Page 36: Wanneer is onderzoek goed:  de kwaliteitscriteria

Onderzoeksfuncties in de scriptie

PROBLEEM-KEUZE EN DIAGNOSE

ONTWERP VERANDEREN EVALUATIEen/of En/of En/of

VOORSTEL VOOR

VOORSTEL VOOR

VOORSTEL VOOR

OP BASIS VAN

OP BASIS VAN

OP BASIS VAN

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

VOORSTEL VOOR VERVOLGONDERZOEK

BeschrijvenEvaluerenVerklaren

Ontwerpen Ontwerpen EvaluerenVerklaren

Page 37: Wanneer is onderzoek goed:  de kwaliteitscriteria

Ontwerpende deelvragen:- Welke oplossingen zijn er

bekend?- Welke eisen stellen we aan

de oplossing?

Evaluerende deelvragen:- Welke oplossingen voldoen

aan de eisen?- Welke oplossing wordt

gekozen?

[Verklarende deelvragen:- Wat maakt dat de oplossing

gaat bijdragen aan het wegnemen van het probleem?]

Beschrijvende deelvragen:- Wat zijn de kenmerken van

situatie A?- Wat zijn de kenmerken van

de norm?

Evaluerende deelvragen:- Voldoet situatie A aan de

norm?

Verklarende deelvragen:- Wat maakt dat er

verschillen zijn tussen A en de norm?

Onderzoeksfunctie bepaalt deelvragenVoorbeeld: Ontwerpen

40

PROBLEEM-KEUZE EN DIAGNOSE

ONTWERP

Page 38: Wanneer is onderzoek goed:  de kwaliteitscriteria

Download de hele set van kwaliteitscriteria

41

Page 39: Wanneer is onderzoek goed:  de kwaliteitscriteria

Borging van kwaliteitscriteria in de opleiding

1. Kwaliteitscriteria leidend maken in onderzoekslijn

2. Kwaliteitscriteria didactisch benutten in de onderzoekslijn

3. Reviewen van studentproducten met afstudeerbegeleiders en beoordelaars helpt om:

–De ontwikkelde kwaliteitscriteria te leren toepassen

–De kwaliteitscriteria te verbeteren–Intersubjectiviteit van beoordeling te verhogen–Betere onderzoekbegeleider te worden–Betere onderzoeker te worden

42

Page 40: Wanneer is onderzoek goed:  de kwaliteitscriteria

Conclusies: Wanneer is onderzoek goed?

1. Daar zijn landelijk geen algemeen geldende criteria voor

2. Het hangt af van het beroepsprofiel en de visie op onderzoek in het beroep

3. Het is alleen te bepalen met kwaliteitscriteria die voldoen aan de volgende kwaliteitscriteria:

1. Afgeleid uit de (internationale) competentie-eisen, beroepsprofiel en visie op onderzoek

2. Richtinggevend bij het maken van keuzes tijdens het onderzoek

3. Didactisch functioneel4. Geoperationaliseerd in object, criterium

en indicatoren

43

Page 42: Wanneer is onderzoek goed:  de kwaliteitscriteria