Aandachtspunten bij Aandachtspunten bij praktijkgericht praktijkgericht onderzoekonderzoek

(n.a.v. Werkconferentie (n.a.v. Werkconferentie Praktijkgericht onderzoek - In Praktijkgericht onderzoek - In ontwikkeling)ontwikkeling)

InhoudInhoud

InitieelInitieel 3 3Kwaliteitscriteria:Kwaliteitscriteria: KwaliteitscriteriaKwaliteitscriteria 4 4 Soorten validiteitSoorten validiteit 5 5 Soorten generaliseerbaarheidSoorten generaliseerbaarheid 8 8Uitvoering:Uitvoering: Vormen van praktijkgericht onderzoekVormen van praktijkgericht onderzoek 11 11 Participatieve techniekenParticipatieve technieken 17 17 Het probleem van de interne onderzoeker/ de duizendpoot Het probleem van de interne onderzoeker/ de duizendpoot

18/1918/19Bevindingen en evaluatie: Bevindingen en evaluatie: Practice based evidencePractice based evidence 20 20 Acceptatie van bevindingenAcceptatie van bevindingen 21 21 Soorten evaluatieSoorten evaluatie 22 22 Bruikbare opbrengsten?Bruikbare opbrengsten? 23 23

InitieelInitieel Aandacht voor probleemarticulatieAandacht voor probleemarticulatie

Persoon van onderzoeker problematiseren Persoon van onderzoeker problematiseren + Doelgroepen medeonderzoekers maken (Intersubjectief)+ Doelgroepen medeonderzoekers maken (Intersubjectief)

Procesvormen expliciteren/ Multi method (Mixed method) en Procesvormen expliciteren/ Multi method (Mixed method) en Multi level/ Triangulatie (b.v. Panels, Vragenlijsten, Multi level/ Triangulatie (b.v. Panels, Vragenlijsten, Observaties op verschillende organisatieniveaus, Observaties op verschillende organisatieniveaus, onderzoekertriangulatie)onderzoekertriangulatie)

Proactieve evaluatie= van tevoren kwaliteitscriteria Proactieve evaluatie= van tevoren kwaliteitscriteria bespreken/ Expliciteren en bevragen van paradigma's van bespreken/ Expliciteren en bevragen van paradigma's van verschillende beoordelaars/ Waarderingscultuur ondervragen verschillende beoordelaars/ Waarderingscultuur ondervragen

Zo direct mogelijke terugkoppeling bewerkstelligen/ Het Zo direct mogelijke terugkoppeling bewerkstelligen/ Het gesprek bepaalt de toegankelijkheid van de kennis/ gesprek bepaalt de toegankelijkheid van de kennis/ Transparantie bewerkstelligenTransparantie bewerkstelligen

=> gezamenlijke werkwijze?=> gezamenlijke werkwijze?

Kwaliteitscriteria Kwaliteitscriteria praktijkgericht praktijkgericht onderzoekonderzoekBron: Bron: KPC Groep online pdfKPC Groep online pdf

1.1. relevantie, relevantie, 2.2. objectiviteit, objectiviteit, 3.3. intersubjectiviteit en validiteit, intersubjectiviteit en validiteit, 4.4. toegankelijkheid, toegankelijkheid, 5.5. transparantie, transparantie, 6.6. bruikbaarheid, bruikbaarheid, 7.7. OverdraagbaarheidOverdraagbaarheid

noodzakelijke (maar niet voldoende) voorwaarde noodzakelijke (maar niet voldoende) voorwaarde voor bruikbaarheid is de acceptatie ervan door voor bruikbaarheid is de acceptatie ervan door de belanghebbendende belanghebbenden

Soorten validiteitSoorten validiteit

InterneInterne validiteit validiteitExterneExterne validiteit (zie ook soorten validiteit (zie ook soorten

generaliseerbaarheid*)generaliseerbaarheid*)EpistemischeEpistemische validiteit (gangbare validiteit (gangbare

validiteit - overeenstemming met validiteit - overeenstemming met intersubjectief vaststelbare intersubjectief vaststelbare werkelijkheid)werkelijkheid)

ImplementaireImplementaire validiteit validiteitEthischeEthische validiteit validiteitBron: o.a. Bron: o.a. http://http://www.nosmo.nlwww.nosmo.nl

/discussiemrt2013.pdf/discussiemrt2013.pdf

Implementaire Implementaire validiteitvaliditeit in hoeverre betreft de kennis alle facetten en (veelal in hoeverre betreft de kennis alle facetten en (veelal

onderling interacterende) oorzaken van het op te onderling interacterende) oorzaken van het op te lossen (verbeter) probleem (multidisciplinariteit)lossen (verbeter) probleem (multidisciplinariteit)

beschouwt deze kennis het object of systeem, dat beschouwt deze kennis het object of systeem, dat een verandering moet ondergaan, als een een verandering moet ondergaan, als een geïntegreerd geheel (holisme)geïntegreerd geheel (holisme)

Is de kennis specifiek genoeg wat betreft de te Is de kennis specifiek genoeg wat betreft de te veranderen situatie en zijn context (idiogafisch veranderen situatie en zijn context (idiogafisch karakter). karakter).

Betreft de kennis zaken die in redelijkheid kunnen Betreft de kennis zaken die in redelijkheid kunnen worden aangepakt (manipuleerbaarheid in de meest worden aangepakt (manipuleerbaarheid in de meest brede zin)brede zin)

Ethische validiteitEthische validiteit

Zonder wensen geen problemen…Zonder wensen geen problemen…

Die wenselijkheid (W-component) is Die wenselijkheid (W-component) is altijd subjectief en altijd subjectief en waardegebonden.waardegebonden.

Deze waarden hebben vaak ethische Deze waarden hebben vaak ethische

implicatiesimplicaties

Soorten Soorten generaliseerbaarheidgeneraliseerbaarheid1. 1. ontworpenontworpen generaliseerbaarheid (vooraf generaliseerbaarheid (vooraf

ingebouwd)ingebouwd)2. 2. communicatievecommunicatieve generaliseerbaarheid generaliseerbaarheid

(Achteraf - (Achteraf - Het onderzoeksverslag moet Het onderzoeksverslag moet allerlei mogelijk relevante informatie allerlei mogelijk relevante informatie verschaffen die de lezer in staat stelt om tot verschaffen die de lezer in staat stelt om tot een eigen oordeel te kunnen komen).een eigen oordeel te kunnen komen).

gradaties en differentiaties van algemeenheid gradaties en differentiaties van algemeenheid en specificiteiten specificiteit

Uit: Uit: Generaliseerbaarheid in kwalitatief onderzoek, Generaliseerbaarheid in kwalitatief onderzoek, Adri Adri SmalingSmaling

Ontworpen generaliseerbaarheid Ontworpen generaliseerbaarheid (4 vormen)(4 vormen)

statistischestatistische generaliseerbaarheid generaliseerbaarheid variatiedekkendevariatiedekkende generaliseerbaarheid generaliseerbaarheid theoriegedragentheoriegedragen generaliseerbaarheid  generaliseerbaarheid

[Yin (2008) spreekt in zijn boek over [Yin (2008) spreekt in zijn boek over gevalsstudies van ‘gevalsstudies van ‘analytic generalizationanalytic generalization’, ’, ook wel theoretische generalisatie ook wel theoretische generalisatie genoemd, gebaseerd op ‘replication logic’]genoemd, gebaseerd op ‘replication logic’]

exemplarischeexemplarische generaliseerbaarheid. generaliseerbaarheid.

{wetenschappelijk verantwoord onderzoek}{wetenschappelijk verantwoord onderzoek}

Communicatieve Communicatieve generaliseerbaarheidgeneraliseerbaarheid (2 vormen)(2 vormen)

receptievereceptieve generaliseerbaarheid  generaliseerbaarheid participatieveparticipatieve generaliseerbaarheid.  generaliseerbaarheid.

[Smaling, 2009)[Smaling, 2009)

{naast kennis- en theoretische relevantie kan {naast kennis- en theoretische relevantie kan ook ook praktischepraktische en  en maatschappelijke maatschappelijke relevantie relevantie aanvaardt worden als aanvaardt worden als wetenschappelijke kwaliteitseis. => wetenschappelijke kwaliteitseis. => onderliggende analogieredeneringen explicieonderliggende analogieredeneringen explicieter en sterker maken}ter en sterker maken}

Vormen van Vormen van praktijkgericht praktijkgericht onderzoekonderzoekPraktijkgericht onderzoek kent vele Praktijkgericht onderzoek kent vele

methodologische methodologische verschijningsvormen, waaronder verschijningsvormen, waaronder ontwerp- of ontwikkelgericht ontwerp- of ontwikkelgericht onderzoek, actieonderzoek, onderzoek, actieonderzoek, pragmatisch evalueren, pragmatisch evalueren, interveniërend onderzoek en social interveniërend onderzoek en social engineering / design thinking.engineering / design thinking.

Vormen van Vormen van praktijkgericht praktijkgericht onderzoekonderzoek Appreciative inquiryAppreciative inquiry Formative interventionFormative intervention Action researchAction research

Appreciative inquiryAppreciative inquiry

Vaak wordt professionele ontwikkeling Vaak wordt professionele ontwikkeling gesitueerd in een problematische context gesitueerd in een problematische context (focus op de problemen) (focus op de problemen)

Appreciative inquiry (AI) is gebaseerd op Appreciative inquiry (AI) is gebaseerd op het bestuderen van positieve het bestuderen van positieve ontwikkelings-ervaringen van ontwikkelings-ervaringen van praktijkmensen en hun wens tot het praktijkmensen en hun wens tot het verbeteren van hun praktijkverbeteren van hun praktijk

(b.v. Steyn, 2012 in ‘Education and Urban (b.v. Steyn, 2012 in ‘Education and Urban Society’)Society’)

Formative interventionFormative intervention

Focus op de ‘agency’ (initiatief/ redzaamheid) van degene die zijn praktijk ontwikkelt

Leer-behoeften (voor de omgang met complexe situaties) zijn in het begin ondoorzichtig

De inhoud en het verloop van de interventie moeten uitonderhandeld worden and de vorm van de interventie wordt uiteindelijk beslist door de praktijkontwikkelaar zelf

generate (reusable but adaptable) locally appropriate, intermediate concepts and solutions

Kennis-objecten bij Kennis-objecten bij (formative) (formative) interventionsinterventions Analyse unit (object, niveau) Causaliteit en ‘agency’ Veranderings- en ontwikkelings

mechanismen en processen Generaliseerbaarheid*

(Bron: From Design Experiments to Formative Interventions, Yrjö Engeström)

Action researchAction research

Actieonderzoek is een Actieonderzoek is een “paraplubegrip” voor onder “paraplubegrip” voor onder andere praktijkonderzoek, andere praktijkonderzoek, handelingsonderzoek, handelingsonderzoek, participatief actieonderzoek, participatief actieonderzoek, emancipatieonderzoek en emancipatieonderzoek en actieleren.actieleren.

Participatieve Participatieve techniekentechniekenOnderzoek waarin aanwezige kennis van Onderzoek waarin aanwezige kennis van

mensen met expertise de input vormenmensen met expertise de input vormen Group Model Building (GMB)Group Model Building (GMB) FocusgroepFocusgroep Delphi methodeDelphi methode meerwaarde van meerwaarde van Kennis ontstaat door verschillende Kennis ontstaat door verschillende

inzichten van deelnemers op inzichten van deelnemers op intensieve wijze in interactie met intensieve wijze in interactie met elkaar te brengenelkaar te brengen

((http://http://www.nosmo.nlwww.nosmo.nl/discussiemrt2013.pdf/discussiemrt2013.pdf))

Het probleem van de Het probleem van de interne onderzoekerinterne onderzoekerBiases met oorsprong bij Biases met oorsprong bij

(a) de onderzochten (a) de onderzochten

(b) de onderzoeker(b) de onderzoeker

(ad a) De onderzochten zullen de onderzoeker (ad a) De onderzochten zullen de onderzoeker zien als een (van de) belanghebber(s). => zien als een (van de) belanghebber(s). => sociaal wenselijke en strategische reacties sociaal wenselijke en strategische reacties [Gebruik tekstueel en audiovisueel materiaal [Gebruik tekstueel en audiovisueel materiaal dat eerder, en los van het onderzoek, tot dat eerder, en los van het onderzoek, tot stand is gekomen]stand is gekomen]

(ad b) Belangen van de onderzoeker, formulering (ad b) Belangen van de onderzoeker, formulering van doel- en vraagstellingvan doel- en vraagstelling

De duizendpootDe duizendpoot Ervaring met kwantitatief én kwalitatief onderzoekErvaring met kwantitatief én kwalitatief onderzoek het kunnen onderscheiden van verschillende soorten het kunnen onderscheiden van verschillende soorten

uitspraken (empirische versus normatieve, beschrijvende uitspraken (empirische versus normatieve, beschrijvende versus verklarende etc.), versus verklarende etc.),

het logisch en empirisch kunnen funderen en argumenteren het logisch en empirisch kunnen funderen en argumenteren van standpunten en uitspraken, van standpunten en uitspraken,

kennis van en vaardigheid in probleemanalyse, kennis van en vaardigheid in probleemanalyse, kennis van en vaardigheid in de interventiemethodologie en kennis van en vaardigheid in de interventiemethodologie en

(optioneel) de ontwerpmethodologie.(optioneel) de ontwerpmethodologie. het kunnen schrijven van nota’s en rapporten, het kunnen schrijven van nota’s en rapporten, het voeren van informatiewinnende gesprekken (interview), het voeren van informatiewinnende gesprekken (interview), het observeren en beoordelen van mensen, en het observeren en beoordelen van mensen, en de evaluatie van projecten. de evaluatie van projecten. Competenties die het verantwoord gebruiken van resultaten Competenties die het verantwoord gebruiken van resultaten

van wetenschappelijk onderzoek betreffen van wetenschappelijk onderzoek betreffen bijhouden en adequaat en volledig benutten van bijhouden en adequaat en volledig benutten van

vakliteratuurvakliteratuur Etc.Etc.

Practice based Practice based evidenceevidenceAls we meer Als we meer evidence-based practiceevidence-based practice willen, is het zaak  willen, is het zaak

meer meer practice-based evidencepractice-based evidence te vergaren (Wartna  te vergaren (Wartna et al, 2012)et al, 2012)

Combinatie van inhoud-, proces- en contextgeoriënteerde Combinatie van inhoud-, proces- en contextgeoriënteerde kennisontwikkeling rond de kernvraag: kennisontwikkeling rond de kernvraag: 

wat werkt, wat werkt,  hoe, hoe,  waarom, waarom,  waar, waar,  wanneer en wanneer en  voor wie? voor wie? 

(veldspecifieke, domeinspecifieke en lokale kennis)(veldspecifieke, domeinspecifieke en lokale kennis)

Acceptatie van Acceptatie van bevindingenbevindingenAcceptatie veronderstelt op zijn beurt dat de Acceptatie veronderstelt op zijn beurt dat de

onderzochten deze kennis ook begrijpen, onderzochten deze kennis ook begrijpen, en liefst ook het proces begrijpen via welk en liefst ook het proces begrijpen via welk

deze kennis tot stand is gekomen. deze kennis tot stand is gekomen. Ook dienen ze de kennis als legitiem te Ook dienen ze de kennis als legitiem te

ervaren, wat onder andere betekent dat ze ervaren, wat onder andere betekent dat ze zich serieus genomen, gehoord en begrepen zich serieus genomen, gehoord en begrepen voelen.voelen.

De onderzochten moeten toch (zelf) tot andere De onderzochten moeten toch (zelf) tot andere inzichten, attituden of vooral gedrag moeten inzichten, attituden of vooral gedrag moeten komenkomen

Bron: Bron: http://http://www.nosmo.nlwww.nosmo.nl/discussiemrt2013.pdf/discussiemrt2013.pdf

Soorten EvaluatieSoorten Evaluatie

Ex ante Ex ante evaluatie (effectschatting evaluatie (effectschatting vooraf)vooraf)

ParticipatieveParticipatieve evaluatie evaluatie(of: participerende evaluatie- (of: participerende evaluatie-

Evaluatie die samen met de Evaluatie die samen met de subjecten van evaluatie wordt subjecten van evaluatie wordt uitgevoerd)uitgevoerd)

VerhelderendeVerhelderende (clarificatieve) (clarificatieve) evaluatieevaluatie

Bruikbare Bruikbare opbrengsten?opbrengsten? het onderzoek kan een bijdrage leveren aan de het onderzoek kan een bijdrage leveren aan de

verbetering/vernieuwing van het onderwijs (relevantie);verbetering/vernieuwing van het onderwijs (relevantie);

de resultaten zijn op een betrouwbare manier verkregen de resultaten zijn op een betrouwbare manier verkregen (objectiviteit, intersubjectiviteit en validiteit);(objectiviteit, intersubjectiviteit en validiteit);

de resultaten zijn voor het team aannemelijk en begrijpelijk de resultaten zijn voor het team aannemelijk en begrijpelijk (toegankelijkheid);(toegankelijkheid);

de resultaten kunnen op hun waarde geschat worden, bv. de resultaten kunnen op hun waarde geschat worden, bv. door collega’s (transparantie);door collega’s (transparantie);

Er worden logische vervolgstappen en evt. bijbehorende Er worden logische vervolgstappen en evt. bijbehorende tools aangegeven (bruikbaarheid);tools aangegeven (bruikbaarheid);

de context en fase waarin de school zich bevindt wordt de context en fase waarin de school zich bevindt wordt geëxpliciteerd (overdraagbaarheid).geëxpliciteerd (overdraagbaarheid).

(Waar mogelijk basis of uitleg zoeken in beschikbare theorie)(Waar mogelijk basis of uitleg zoeken in beschikbare theorie)

Andere bronnenAndere bronnen

Powerpoint door P.J.M.Verschuren: Powerpoint door P.J.M.Verschuren: nosmonosmo.nl/verschurenmrt2013.pp.nl/verschurenmrt2013.ppsxsx

NOSMO NOSMO ((Nederlandse Organisatie voor Nederlandse Organisatie voor Sociaal-Wetenschappelijk Methodologisch Sociaal-Wetenschappelijk Methodologisch OnderzoekOnderzoek))

Casuïstiek wordt geselecteerd op basis van de volgende Casuïstiek wordt geselecteerd op basis van de volgende criteria:criteria:

Het gaat om praktijkgericht onderzoek van complexe Het gaat om praktijkgericht onderzoek van complexe maatschappelijke problemen.maatschappelijke problemen.

HandelingsHandelingsperspectievenperspectieven van actoren (opdrachtgevers,  van actoren (opdrachtgevers, gebruikers, beslissers, etc.) worden gebruikers, beslissers, etc.) worden zichtbaar gemaaktzichtbaar gemaakt..

Interactie tussen (verschillende) onderzoekers, Interactie tussen (verschillende) onderzoekers, onderzochten, gebruikers, e.a. wordt gethematiseerd.onderzochten, gebruikers, e.a. wordt gethematiseerd.

SpanningSpanning tussen bruikbaarheid en wetenschappelijke  tussen bruikbaarheid en wetenschappelijke criteria criteria wordt geproblematiseerdwordt geproblematiseerd..

Ethische en normatieve onderzoeksaspecten komen aan Ethische en normatieve onderzoeksaspecten komen aan bod, evenals praktische zaken als uitvoerbaarheid, bod, evenals praktische zaken als uitvoerbaarheid, kosten, e.d.kosten, e.d.

Specifieke sterktes en beperkingen van (het combineren Specifieke sterktes en beperkingen van (het combineren van) bepaalde vormen van onderzoeksmethoden worden van) bepaalde vormen van onderzoeksmethoden worden in kaart gebracht.in kaart gebracht.

Resultaten NOSMOResultaten NOSMO

Er is een Er is een kennisnetwerk (in dit veld) ontstaan van kennisnetwerk (in dit veld) ontstaan van mensenmensen die elkaar goed kennen en die van elkaar  die elkaar goed kennen en die van elkaar geleerd hebben en zullen blijven leren.geleerd hebben en zullen blijven leren.

Er is vernieuwing gerealiseerd van het kennis-Er is vernieuwing gerealiseerd van het kennis-theoretisch kader en onderzoeksmethodologie.theoretisch kader en onderzoeksmethodologie.

Er worden aanbevelingen geformuleerd m.b.t. het Er worden aanbevelingen geformuleerd m.b.t. het effectiever en beter aanpakken van praktijkgericht effectiever en beter aanpakken van praktijkgericht onderzoek op het gebied van complexe onderzoek op het gebied van complexe vraagstukken in het sociale domein.vraagstukken in het sociale domein.

Er wordt Er wordt gepubliceerd over de opgedane inzichten gepubliceerd over de opgedane inzichten en ervaringenen ervaringen: tenminste een overzichtsartikel met : tenminste een overzichtsartikel met de belangrijkste bevindingen en aanbevelingen. de belangrijkste bevindingen en aanbevelingen. Dat kan zijn een paper in tijdschriften als Mediator Dat kan zijn een paper in tijdschriften als Mediator en KWALON, een webpublicatie en/of een boek. en KWALON, een webpublicatie en/of een boek.