Management, finance en recht

Congres ‘Praktijkgericht onderzoek in het HBO’Amersfoort, 11 december 2012Daan AndriessenHogeschool Inholland

Wanneer is onderzoek goed: de kwaliteitscriteria

De verwarring voorbijNaar hernieuwd zelfvertrouwen

2

Het Nederlandse accreditatiestelsel

Standaard 1: • De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen.

Standaard 16: • De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.

Wat is een adequaat systeem van toetsing voor scripties?

3

De verwarring is compleet

4

Mijn probleemstelling en deelvragen

Wat is een adequaat systeem van toetsing voor scripties?

1. Wanneer zijn kwaliteitscriteria goed?2. Welke kwaliteitscriteria voor scripties

bieden de officiële kaders en wat is hun kwaliteit?

3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?

4. Wat is daarvan een goed voorbeeld?

5

1. Wanneer zijn kwaliteitscriteria goed?

6

Wat is de belangrijkste functie van kwaliteitscriteria voor scripties?

7

1. Student helpen er achter te komen hoe hoog de lat ligt voor beroepsproducten in zijn toekomstige beroep2. Zodat de student kan bepalen wat hij moet doen om dit nivo te halen

3. Waardoor de docent dit leerproces goed kan begeleiden

4. En de scriptie kan worden beoordeeld

8

Kwaliteitscriteria voor kwaliteitscriteria

1. Afgeleid uit de (internationale) competentie-eisen, beroepsprofiel en visie op onderzoek daarin

2. Richtinggevend bij het maken van keuzes tijdens het onderzoek

3. Didactisch functioneel

4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)

9

Standaard 16: Valide, betrouwbaar en voor studenten inzichtelijk

Hiertoe moeten ze worden geoperationaliseerd. Ze hebben:1. Een object in de scriptie (wat moet

kwaliteit hebben? Bv. probleemstelling of literatuurstudie)

2. Een criterium (welke kwaliteit moet het hebben? Bv. Relevant, afgebakend of functioneel)

3. Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?)

2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit?

10

11

Officiële kaders

Algemene internationale en landelijke kaders:

• Dublin descriptoren (DD)• HBO kenmerken Commissie Fransen (CF)• “Kwaliteit als opdracht” (HBO raad)

Commissie Dunnewijk-Budé / “Vreemde ogen dwingen”Beroepsprofielen van opleidingen

Onderzoekend vermogen (HBO raad):1. Definiëren en analyseren complexe probleemsituaties

(CF)2. Planmatig aanpakken van werkzaamheden (CF)3. (wetenschappelijke) inzichten, theorieën, concepten

en onderzoeksresultaten toepassen (CF)4. Gegevens verzamelen en interpreteren (DD)5. Afwegen van sociaal-maatschappelijke,

wetenschappelijke of ethische aspecten (DD)6. Oordeel vormen (DD)7. Ontwikkelen en beoordelen van oplossingen (CF)

Leiden tot evidence based practice (HBO raad)Innovatie (HBO raad)

8. Reflecteren op het handelen (CF / HBO raad)

Wat moeten BA studenten kunnen volgens internationale en landelijke kaders?

12

Vraagstelling ontwikkelen

Onderzoeksplan maken

Theorie toepassen

Data verzamelen en analyseren

Conclusies trekken

Adviezen of andere beroepsproducten maken

Reflecteren op resultaten

Conclusie algemene internationale en landelijke kaders

Deze bieden wel overzicht van benodigde onderzoeksvaardigheden`van de studentMaar geen kwaliteitscriteria voor scripties

13

14

Commissie Dunnewijk-Budé

• “Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTM-opleidingsniveau in het bijzonder.”

Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2012

Beoordelingscriteria (standaarden) van de Commissie (1)

1. Vinden we onderstaande componenten terug in het afstudeerproject?

- A. Vraagstelling & verantwoording- B. Onderzoek & analyse (vraag- en

aanbodzijde, publiek, omgeving)–a. Onderzoeksopzet–b. Bronnenonderzoek–c. Empirisch onderzoek–d. Conclusies–e. Output [Afhankelijk van type

afstudeerproject]

15

Beoordelingscriteria (standaarden) van de Commissie (2)

2. Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt?

16

Niets

Beoordelingscriteria (standaarden) van de Commissie (3)

3. Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens “voldoende”:

1. theoretische vorming / onderbouw2. overzicht en inzicht, het kunnen plaatsen

van problemen in de context3. reflectie (incl. zelfreflectie), kritische en

objectiverende ingesteldheid, zin voor nuance

4. creativiteit en/of vermogen tot conceptualisering

5. vermogen om helder te communiceren6. vermogen om efficiënt en resultaatgericht

te werken

17

18

Kunnen we de Dunnewijk-Budé eisen aan afstuderenden gebruiken als criteria voor scripties?

Onderzoekend vermogen Een goede scriptie

19

4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)

20

Theoretische vorming / onderbouw

Object Criterium Indicatoren

Literatuurverkenning Verantwoorde -selectie, - gebruik, verwerking en -vermelding

geen

Literatuurverkenning Evenwichtige mix van binnen- en buitenlandse bronnen

geen

Theoretische verkenning

Adequaat geen

Veldonderzoek Behoorlijk uitgevoerd geen

Dataverzamelings-methoden

Behoorlijk uitgevoerd geen

Dataverwerking Behoorlijk uitgevoerd geen

22

Reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance

Object Criterium Indicatoren

Bronnen bronnenkritiek geen

? Eigen oordeelsvorming geen

? reflectie over de eigen plaats in het onderzoek

geen

Conclusies (?) aanzet tot beantwoorden van onderzoeksvragen

geen

? onafhankelijke ingesteldheid geen

? goede inschatting van de toegevoegde waarde van het onderzoeksresultaat t.b.v. het werkveld

geen

? inzicht in eigen werkwijze en proces geen

23

Creativiteit en/of vermogen tot conceptualiseringObject Criterium Indicatoren

? onderzoek kunnen vertalen naar een concreet concept voor een product en/of dienst

geen

? originaliteit geen

? eigenheid geen

? out of the box aanpak geen

? onafhankelijk denken geen

? meer perspectieven kunnen innemen geen

? ideeën kunnen genereren geen

? gevoel voor innovatie geen

? oog voor aspecten van usability geen

? kunnen vormgeven van steekhoudende look en feel

geen

Conclusie Commissie Dunnewijk-Budé

• Commissie Dunnewijk-Budé biedt geen lijst met kwaliteitscriteria voor scripties

• En is hier ook niet eenvoudig naar te vertalen

26

Conclusie: officiële algemene criteria voor scripties zijn in Nederland niet voorhanden

27Onderzoekend vermogen Een goede scriptie

3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?

28

29

Hoe dan wel?

1

•Eisen bachelor als basis

2

•Visie en eisen beroepsprofiel t.a.v. onderzoek

3

•Vertaling naar goede criteria

4

•Verantwoording criteria <-> Dunnewijk-Budé

5

•Borging in de organisatie

4. Wat is daarvan een goed voorbeeld?

30

Voorbeeld Bedrijfskunde MER Inholland

31

Landelijk beroepsprofiel Bedrijfskunde MER

• “De startende bedrijfskundige professional richt zich op het analyseren, ontwerpen en managen van doelgerichte processen van productie en dienstverlening in en tussen organisaties”.

32Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

Bachelor student als probleemoplosser

PROBLEEM-KEUZE EN DIAGNOSE

ONTWERP VERANDEREN EVALUATIE

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

VOORSTEL VOOR VERVOLGONDERZOEKBron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

die handelen onderbouwt met onderzoek

34

Vertaling naar goede criteria

• Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost & Markenhof, 2002)

• Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008)

• Getoetst aan eisen Dunnewijk – Budé

Kern van de methodiek: Werken met inhoudelijke criteria voor kwaliteit

Bijvoorbeeld:Criteria probleemstelling en deelvragen

1. Verankerd2. Relevant3. Precies4. Functioneel5. Afgebakend

35

Didactisch functionele kwaliteitscriteria

36

Probleemstelling en deelvragen

Kennisgebied

Reden

Antwoord

Strategie

VERANKERD

RELEVANT

PRECIES

FUNCTIONEEL

Naar: Oost & Markenhof (2002)

Een probleemstelling is functioneel

1. Beschrijven

2. Vergelijken

3. Definiëren

4. Evalueren

5. Verklaren

6. Ontwerpen

Bron: Oost & Markenhof, 2002

38

Criteria probleemstelling en deelvragen

Object Criterium Indicatoren

Probleem-stelling

Functioneel 1. Maakt duidelijk wat de onderzoeksfunctie is2. Is uitgewerkt in deelvragen waarvan een deel

theoretisch is en een deel empirisch3. De deelvragen vormen samen een

onderzoekstructuur die past bij de onderzoeksfunctie.

Onderzoeksfuncties in de scriptie

PROBLEEM-KEUZE EN DIAGNOSE

ONTWERP VERANDEREN EVALUATIEen/of En/of En/of

VOORSTEL VOOR

VOORSTEL VOOR

VOORSTEL VOOR

OP BASIS VAN

OP BASIS VAN

OP BASIS VAN

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

1

23

45

6

Onderzoekscyclus

VOORSTEL VOOR VERVOLGONDERZOEK

BeschrijvenEvaluerenVerklaren

Ontwerpen Ontwerpen EvaluerenVerklaren

Ontwerpende deelvragen:- Welke oplossingen zijn er

bekend?- Welke eisen stellen we aan

de oplossing?

Evaluerende deelvragen:- Welke oplossingen voldoen

aan de eisen?- Welke oplossing wordt

gekozen?

[Verklarende deelvragen:- Wat maakt dat de oplossing

gaat bijdragen aan het wegnemen van het probleem?]

Beschrijvende deelvragen:- Wat zijn de kenmerken van

situatie A?- Wat zijn de kenmerken van

de norm?

Evaluerende deelvragen:- Voldoet situatie A aan de

norm?

Verklarende deelvragen:- Wat maakt dat er

verschillen zijn tussen A en de norm?

Onderzoeksfunctie bepaalt deelvragenVoorbeeld: Ontwerpen

40

PROBLEEM-KEUZE EN DIAGNOSE

ONTWERP

Download de hele set van kwaliteitscriteria

41

Borging van kwaliteitscriteria in de opleiding

1. Kwaliteitscriteria leidend maken in onderzoekslijn

2. Kwaliteitscriteria didactisch benutten in de onderzoekslijn

3. Reviewen van studentproducten met afstudeerbegeleiders en beoordelaars helpt om:

–De ontwikkelde kwaliteitscriteria te leren toepassen

–De kwaliteitscriteria te verbeteren–Intersubjectiviteit van beoordeling te verhogen–Betere onderzoekbegeleider te worden–Betere onderzoeker te worden

42

Conclusies: Wanneer is onderzoek goed?

1. Daar zijn landelijk geen algemeen geldende criteria voor

2. Het hangt af van het beroepsprofiel en de visie op onderzoek in het beroep

3. Het is alleen te bepalen met kwaliteitscriteria die voldoen aan de volgende kwaliteitscriteria:

1. Afgeleid uit de (internationale) competentie-eisen, beroepsprofiel en visie op onderzoek

2. Richtinggevend bij het maken van keuzes tijdens het onderzoek

3. Didactisch functioneel4. Geoperationaliseerd in object, criterium

en indicatoren

43

44

Meer informatie?

Dr. Daan Andriessendaan.andriessen@inholland.nl