Van intuïtie naar geïnformeerd beslissingen nemen
Factoren die het functioneren van een datateam® in het hbo bevorderen en hinderen
Erik Bolhuis, Windesheim University of Applied Sciences, The Netherlands Email: [email protected].
Kim Schildkamp,, University of Twente, The Netherlands. Email: [email protected]
Joke Voogt, University of Amsterdam & Windesheim University of Applied Sciecnes, The Netherlands. Email: [email protected]
Contact details: drs. E.D. Bolhuis, postbus 217, 7500 AE Enschede, The Netherlands. email: [email protected].
Geïnformeerd beslissingen nemen• Gebruik van data om het onderwijs te verbeteren• Gezamenlijk systematisch werken (protocol-based
conversations: Earl & Katz, 2004; Schildkamp, Poortman & Handelzalts, 2014)
• Analyseren en interpreteren• Komen tot informatie voor het nemen van een beslissing • Onderwijsverbetering (Bernhardt, 2004; 2005; Carlson,
Borman & Robinson, 2011)
Gebruikte data• Toetsresultaten;• Vragenlijsten; • Evaluaties;• Observaties;• Gegevens studentenadministratie; • Intake-gegevens;• Etc.
Waarom?• Bereiken we onze doelen?• In plaats van intuïtie en ‘gut feelings’ naar op
basis van informatie een besluit nemen• Kan leiden tot schoolverbetering• Veel data aanwezig, maar weinig gebruikt
Opbrengstgericht werken via de Datateam methode
• Teams van 6-8 personen• Acht stappenplan volgens
DATATEAM® methode• Van probleemdefinitie (bv.
doorstroom, examencijfers Engels) naar mogelijke oorzaken, data-analyse en het nemen én evalueren van maatregelen
• Doel: professionalisering en schoolverbetering
Datateams• 6 personen en de manager van het
propedeuseteam• Een probleem in het onderwijs wat opgelost
moet worden: omlaag brengen van uitval eerste jaar
• Gebruik van de 8-stappen procedure
Onderzoeksvragen• Welke factoren bevorderen en hinderen het
functioneren van een datateam in het hoger onderwijs?– Welke factoren m.b.t. data en data-informatiesystemen
beïnvloeden functioneren datateam?– Welke factoren m.b.t. de gebruiker beïnvloeden
functioneren datateam?– Welke factoren m.b.t. de organisatie beïnvloeden
functioneren datateam?
Theoretisch kaderHoofdfactoren Subfactoren
Data en data-informatiesystemen
Opslag in één of meerdere systemen•Toegankelijkheid•Gebruikersvriendelijkheid•AnalysemogelijkhedenKwaliteit van de dataTijdige dataAccurate dataBetrouwbare en valide dataTegemoet komend aan behoeften
Theoretisch kaderHoofdfactoren Subfactoren
Gebruiker Individueel niveau•Data- literacy•Attitude m.b.t. data•Locus of control•EigenaarschapTeamniveau:•Samenwerking•Samenstelling•Omgaan met conflicten•Structuur in gesprekken•Onderhouden contacten
Organisatie LeiderschapVisie, normen en doelenTijd om aan data te werkenOndersteuning en support
Casus• Uitval propedeuse HBO, waarbij de studie-eisen die gesteld
worden steeds hoger worden• Is dit gerelateerd aan vooropleiding? Geslacht? (sfeer in de)
klas?• Uiteindelijk: curriculum met veel hindernissen en onvoldoende
match tussen noodzakelijke studievaardigheden en de getoonde studievaardigheden
• Maatregelen: Studeerbaarheid curriculum verbeteren, studenten studievaardigheden aanleren
Methode• Een single-case study: micro-process studie• De data team procedure: 19 bijeenkomsten over 2 jaar• Respondenten: Het data team, het management• Instrumenten: observaties van de bijeenkomsten (op audio
vastgelegd, verbatim transcript), verschillende vragenlijsten, interviews, artefacts en reflectie notities van de onderzoeker
• Analyse: codering volgens codeboek, analyse in TamsAnalyzer, analyse door pattern matching strategy (Yin, 1984)
• Validity and reliability
Diepgang (Henry, 2012)Mate van diepgang Beschrijving van de code
Geen diepgang Organisatie van de bijeenkomst. Eén lid is aan het woord; Geen gezamenlijke expliciete kennis op.
Enig diepgang Meerdere betrokken, Accent op uitwisseling van informatie, ervaringen en bronnen, leidt niet tot ontstaan van gezamenlijke kennis en/of aannames.
Gedeeltelijke diepgang
Iedereen betrokken, actief nieuwe kennis, niet op basis van data/onderzoek.
Veel diepgang Uitwisseling leidt tot gezamenlijke kennis die geëxpliciteerd wordt. Kenmerkend is dat in het gespreksgedeelte gebaseerd wordt op concreet onderzoek en/of data.
Factoren m.b.t. data en data-informatie systemen•Data-informatie systemen: - Opslag van data in één of meerdere plaatsen- De toegang tot de data - De gebruikersvriendelijkheid- De analyse mogelijkheden •Kwaliteit van de data: - Tijdige data- Accurate data- Betrouwbare en valide data- Data die tegemoet komen aan de behoeften van de
gebruiker
----
--+-
Schildkamp & Kuiper, 2010; Lai & Schildkamp, 2013)
Factoren op individueel en teamniveau•Factoren op individueel niveau:
- Data literacy- Attitude - Locus of control- Eigenaarschap
•Factoren op teamniveau: - Samenwerking- Samenstelling- Omgaan met conflicten*- Structuur* - Onderhouden van contacten
+/-++/-+
+/-+/--/++/-+/-
* Relateren aan diepgang
* Relateren aan diepgang
Factoren in de organisatie•Leiderschap: - Distributed leadership - Model staan •Druk en betrokkenheid•Visie, normen en doelen • Besluitvorming*•Tijd om aan data te werken - Gefaciliteerde tijd om te werken aan data- Tijd om samen te werken aan data* •Ondersteuning om met data te werken* - Toegang tot data- Bevorderen van data literacy- Structuur
--+--
+-
+/-+/-+
Conclusies• Data: Een pre-conditie. Er is genoeg, maar kun je
er bij en zijn de data accuraat en tijdig?• Gebruiker: data-literacy en locus of control. Op
teamniveau omgaan met conflicten en structuur• Organisatie: leiderschap en visie, normen en
doelen. Ondersteuning en tijd om samen te werken
Discussie• Data en data-informatiesystemen een pre-
conditie, maar ook visie, normen en doelen een pre-conditie?
• Aandacht in team voor omgaan met conflicten• Coaching niet alleen t.b.v. voortgang
datateam, maar ook voor het toepassen in eigen instructiepraktijk?
LiteratuurBernhardt, V.L. (2004). Continuous improvement: It takes more than test scores. Leadership Magazine,
34(2), 16-19.Bernhardt, V.L. (2005). Data tools for school improvement. Educational Leadership, 62(5), 66-69.Carlson, D., Borman, G. D., & Robinson, M. (2011). A multistate district-level cluster randomized trial of
the impact of data-driven reform on reading and mathematics achievement. Educational Evaluation and Policy Analysis, 33(3), 378-398.
Earl, L., & Katz, S. (2006). Leading schools in a data-rich world: harnassing data for schoolimprovement. Thousands Oaks, CA: Corwin Press.
Henry, S. F. (2012). Instructional Conversations : A Qualitative Exploration of Differences in Elementary Teachers’ Team Discussions. Dissertation at Harvard University.
Lai, M.K., & Schildkamp, K. (2012). Data-based decision making: An overview. In: Schildkamp, K., Lai, M.K., & Earl, L. (Eds.), Data-based decision making in education: Challenges and opportunities. London: Springer.
Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data, what purposes, and promoting and hindering factors. Teaching and Teacher Education, 26(3), 482–496.
Top Related