Van intuïtie naar geïnformeerd beslissingen nemen

Factoren die het functioneren van een datateam® in het hbo bevorderen en hinderen

Erik Bolhuis, Windesheim University of Applied Sciences, The Netherlands Email: e.d.bolhuis@utwente.nl.

Kim Schildkamp,, University of Twente, The Netherlands. Email: k.schildkamp@utwente.nl

Joke Voogt, University of Amsterdam & Windesheim University of Applied Sciecnes, The Netherlands. Email: j.m.voogt@uva.nl

Contact details: drs. E.D. Bolhuis, postbus 217, 7500 AE Enschede, The Netherlands. email: e.d.bolhuis@utwente.nl.

Geïnformeerd beslissingen nemen• Gebruik van data om het onderwijs te verbeteren• Gezamenlijk systematisch werken (protocol-based

conversations: Earl & Katz, 2004; Schildkamp, Poortman & Handelzalts, 2014)

• Analyseren en interpreteren• Komen tot informatie voor het nemen van een beslissing • Onderwijsverbetering (Bernhardt, 2004; 2005; Carlson,

Borman & Robinson, 2011)

Gebruikte data• Toetsresultaten;• Vragenlijsten; • Evaluaties;• Observaties;• Gegevens studentenadministratie; • Intake-gegevens;• Etc.

Waarom?• Bereiken we onze doelen?• In plaats van intuïtie en ‘gut feelings’ naar op

basis van informatie een besluit nemen• Kan leiden tot schoolverbetering• Veel data aanwezig, maar weinig gebruikt

Opbrengstgericht werken via de Datateam methode

• Teams van 6-8 personen• Acht stappenplan volgens

DATATEAM® methode• Van probleemdefinitie (bv.

doorstroom, examencijfers Engels) naar mogelijke oorzaken, data-analyse en het nemen én evalueren van maatregelen

• Doel: professionalisering en schoolverbetering

Datateams• 6 personen en de manager van het

propedeuseteam• Een probleem in het onderwijs wat opgelost

moet worden: omlaag brengen van uitval eerste jaar

• Gebruik van de 8-stappen procedure

Onderzoeksvragen• Welke factoren bevorderen en hinderen het

functioneren van een datateam in het hoger onderwijs?– Welke factoren m.b.t. data en data-informatiesystemen

beïnvloeden functioneren datateam?– Welke factoren m.b.t. de gebruiker beïnvloeden

functioneren datateam?– Welke factoren m.b.t. de organisatie beïnvloeden

functioneren datateam?

Theoretisch kaderHoofdfactoren Subfactoren

Data en data-informatiesystemen

Opslag in één of meerdere systemen•Toegankelijkheid•Gebruikersvriendelijkheid•AnalysemogelijkhedenKwaliteit van de dataTijdige dataAccurate dataBetrouwbare en valide dataTegemoet komend aan behoeften

Theoretisch kaderHoofdfactoren Subfactoren

Gebruiker Individueel niveau•Data- literacy•Attitude m.b.t. data•Locus of control•EigenaarschapTeamniveau:•Samenwerking•Samenstelling•Omgaan met conflicten•Structuur in gesprekken•Onderhouden contacten

Organisatie LeiderschapVisie, normen en doelenTijd om aan data te werkenOndersteuning en support

Casus• Uitval propedeuse HBO, waarbij de studie-eisen die gesteld

worden steeds hoger worden• Is dit gerelateerd aan vooropleiding? Geslacht? (sfeer in de)

klas?• Uiteindelijk: curriculum met veel hindernissen en onvoldoende

match tussen noodzakelijke studievaardigheden en de getoonde studievaardigheden

• Maatregelen: Studeerbaarheid curriculum verbeteren, studenten studievaardigheden aanleren

Methode• Een single-case study: micro-process studie• De data team procedure: 19 bijeenkomsten over 2 jaar• Respondenten: Het data team, het management• Instrumenten: observaties van de bijeenkomsten (op audio

vastgelegd, verbatim transcript), verschillende vragenlijsten, interviews, artefacts en reflectie notities van de onderzoeker

• Analyse: codering volgens codeboek, analyse in TamsAnalyzer, analyse door pattern matching strategy (Yin, 1984)

• Validity and reliability

Diepgang (Henry, 2012)Mate van diepgang Beschrijving van de code

Geen diepgang Organisatie van de bijeenkomst. Eén lid is aan het woord; Geen gezamenlijke expliciete kennis op.

Enig diepgang Meerdere betrokken, Accent op uitwisseling van informatie, ervaringen en bronnen, leidt niet tot ontstaan van gezamenlijke kennis en/of aannames.

Gedeeltelijke diepgang

Iedereen betrokken, actief nieuwe kennis, niet op basis van data/onderzoek.

Veel diepgang Uitwisseling leidt tot gezamenlijke kennis die geëxpliciteerd wordt. Kenmerkend is dat in het gespreksgedeelte gebaseerd wordt op concreet onderzoek en/of data.

Ged.diepgang

Enig diepgang

Factoren m.b.t. data en data-informatie systemen•Data-informatie systemen: - Opslag van data in één of meerdere plaatsen- De toegang tot de data - De gebruikersvriendelijkheid- De analyse mogelijkheden •Kwaliteit van de data: - Tijdige data- Accurate data- Betrouwbare en valide data- Data die tegemoet komen aan de behoeften van de

gebruiker

----

--+-

Schildkamp & Kuiper, 2010; Lai & Schildkamp, 2013)

Factoren op individueel en teamniveau•Factoren op individueel niveau:

- Data literacy- Attitude - Locus of control- Eigenaarschap

•Factoren op teamniveau: - Samenwerking- Samenstelling- Omgaan met conflicten*- Structuur* - Onderhouden van contacten

+/-++/-+

+/-+/--/++/-+/-

* Relateren aan diepgang

* Relateren aan diepgang

Factoren in de organisatie•Leiderschap: - Distributed leadership - Model staan •Druk en betrokkenheid•Visie, normen en doelen • Besluitvorming*•Tijd om aan data te werken - Gefaciliteerde tijd om te werken aan data- Tijd om samen te werken aan data* •Ondersteuning om met data te werken* - Toegang tot data- Bevorderen van data literacy- Structuur

--+--

+-

+/-+/-+

Conclusies• Data: Een pre-conditie. Er is genoeg, maar kun je

er bij en zijn de data accuraat en tijdig?• Gebruiker: data-literacy en locus of control. Op

teamniveau omgaan met conflicten en structuur• Organisatie: leiderschap en visie, normen en

doelen. Ondersteuning en tijd om samen te werken

Discussie• Data en data-informatiesystemen een pre-

conditie, maar ook visie, normen en doelen een pre-conditie?

• Aandacht in team voor omgaan met conflicten• Coaching niet alleen t.b.v. voortgang

datateam, maar ook voor het toepassen in eigen instructiepraktijk?

LiteratuurBernhardt, V.L. (2004). Continuous improvement: It takes more than test scores. Leadership Magazine,

34(2), 16-19.Bernhardt, V.L. (2005). Data tools for school improvement. Educational Leadership, 62(5), 66-69.Carlson, D., Borman, G. D., & Robinson, M. (2011). A multistate district-level cluster randomized trial of

the impact of data-driven reform on reading and mathematics achievement. Educational Evaluation and Policy Analysis, 33(3), 378-398.

Earl, L., & Katz, S. (2006). Leading schools in a data-rich world: harnassing data for schoolimprovement. Thousands Oaks, CA: Corwin Press.

Henry, S. F. (2012). Instructional Conversations : A Qualitative Exploration of Differences in Elementary Teachers’ Team Discussions. Dissertation at Harvard University.

Lai, M.K., & Schildkamp, K. (2012). Data-based decision making: An overview. In: Schildkamp, K., Lai, M.K., & Earl, L. (Eds.), Data-based decision making in education: Challenges and opportunities. London: Springer.

Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data, what purposes, and promoting and hindering factors. Teaching and Teacher Education, 26(3), 482–496.