Hoe draagt een datateam bij aan de professionele ontwikkeling van lerarenopleiders

in het gebruik van data om hun opleidingspraktijk te verbeteren?

Erik Bolhuis, Hogeschool Windesheim Email: e.d.bolhuis@utwente.nl. Joke Voogt, Universiteit van Amsterdam & Hogeschool Windesheim. Email: j.m.voogt@uva.nl

Kim Schildkamp, University van Twente. Email: k.schildkamp@utwente.nl

Contact details: drs. E.D. Bolhuis, postbus 217, 7500 AE Enschede, email: e.d.bolhuis@utwente.nl.

Introductie• Gebruik data kan leiden tot hogere leerprestaties

• Data blijven ondergebruikt

• Professionaliseren zou een bijdrage kunnen leveren aan het gebruik van data

Definities 1:Datagebruik: assessment (e.g., Astin, 2012), data based decision making (e.g. Wayman, Cho & Jimerson, 2015), data informed decision making (e.g., Means, Padilla, DeBarger & Bakia, 2009), data informed improvement (Supowitz, Foley & Mishook, 2012; ), evidence based improvement (Blanc, Christman & Liu, 2010), data informed decision making (e.g., Picciano, 2012), of data use genoemd (e.g., Slavit, Kennedy, Lean, Nelson & Deuel, 2011).

DefinitiesOnder data (meervoud) wordt een continuüm verstaan van kleine stukjes ruwe informatie die de onderwijspraktijk weergeeft, tot geïnterpreteerde data die leiden tot het nemen van actie (Mandinach, Honey, Light & Brunner, 2008). Data kunnen kwalitatief en kwantitatief zijn en kunnen bijvoorbeeld toetsresultaten, evaluatiegegevens, curriculumgegevens of observatiegegevens zijn. Deze data worden, door context-informatie toe te voegen, omgezet in kennis. Deze kennis vervolgens leidt tot het nemen van actie (Mandinach & Gummer, 2016).

OnderzoeksvraagHoe draagt een datateam bij

aan de professionele ontwikkeling van lerarenopleiders

in het gebruik van data om hun opleidingspraktijk te verbeteren?

Theoretische concepten• Datagebruik

• Factoren van invloed op datagebruik

• Professionalisering

• Kennis, vaardigheden en attitude

Factoren datagebruik

• Data- en dataopslag (b.v kwaliteit, toegang tot)

• Gebruikers (b.v. kennis, vaardigheden, attitude)

• Samenwerken

• Organisatie (b.v. visie, normen en doelen)

Drie soorten datagebruik (Williams, 2013):

Datagebruik: Data: Voorbeelden:

Ter verantwoording

Rankings, rendementen

Accreditatie, NSE

School ontwikkeling

Rendementen, toetsuitslagen

enquêtes, intakeGroenpluk-analyse

Verbeteren instructie

toetsuitslagen, studentgegevens, online activiteiten

Op basis van een formatieve toets

onderwijs aanpassen

Datavaardigheden:

• Probleem kiezen en hypotheses formuleren • Data verzamelen en de kwaliteit van data

beoordelen (validiteit & betrouwbaarheid) • Data omzetten naar informatie (analyseren,

interpreteren en conclusies trekken) • Maatregelen ontwikkelen • Maatregelen evalueren

Attitude• De overtuiging dat data een bijdrage

kunnen leveren aan verbeteren van onderwijs en instructie (Marsh, 2012)

Professionaliseren 1

• Professionaliseren middels een datateam (Schildkamp, et al., 2014)

• Datateams hebben veel kenmerken van effectieve vormen van professionaliseren (Desimone, 2011; Losmos, Hofman & Bosker, 2011; Van Veen, Zwart, Meirink & Verloop, 2010; Vescio, Ross & Adams, 2008)

Onderzoeksvragen1. Op welke manier besteden lerarenopleiders aan de pabo

aandacht aan datagebruik in de opleiding? 2. Welke bijdrage levert participatie in een datateam aan het

professionaliseren van datateamleden? 3. Welke factoren met betrekking tot data en data

informatiesystemen bevorderen en belemmeren de diepgang van de gesprekken in het datateam?

4. Hoe verwerven lerarenopleiders, die participeren in een data team, kennis en vaardigheden in het werken met data en wat levert dit op voor het werken met data in hun beroepspraktijk?

MethodeOnderzoek 1: Kwantitatief + kwalitatief onderzoek. Instrumenten: Vragenlijst (n = 113) & Interview (n = 5). Analyse: SPSS, beschrijvende statistiek en Regressie analyse. Cross-case ordered matrix. Onderzoek 2: Kwalitatief. Instrumenten: 11 observaties, interviews (n = 6). Analyse: coderen, analyse op leereffecten en reacties. Onderzoek 3: Kwalitatief. Instrumenten: 19 observaties, interviews (n = 8). Analyse: coderen, analyse op diepgang en de beïnvloedende factoren middels een within-meeting- en een cross-meeting analyse. Onderzoek 4: Kwalitatief. Instrumenten: Vragenlijst, kennistest en interviews (n = 5). Analyse: case-within- en een cross-case analyse.

Resultaten onderzoek 1: (Op welke manier besteden lerarenopleiders aan de pabo aandacht aan datagebruik in de opleiding?)

•Datagebruik is onderdeel van het curriculum; •Lerarenopleiders gebruiken data om te verantwoorden, om de opleiding te ontwikkelen en om de instructie aan te passen; •Data ter verantwoording —> data en data informatiesystemen, de gebruiker en het samenwerken. •Data voor de ontwikkeling van de opleiding —> de samenwerking tussen de gebruikers en de organisatie. •Data voor de ontwikkeling —> geen factoren

Bolhuis, E.D., Schildkamp, K. Luyten, H. & Voogt, J.M. (in press). Het gebruik van data door lerarenopleiders van de pabo.

Resultaten onderzoek 2: (Welke bijdrage levert participatie in een datateam aan het professionaliseren van datateamleden?)

•Datateaminterventie —> betekenisvol en helpend, wel langzaam & lastig te vertalen naar eigen lespraktijk; •Alle bijeenkomsten relevant, de diepgang varieerde —> groepprocessen en data; •Datacoach speelt een belangrijke rol in het diepgang

Bolhuis, E.D., Schildkamp, K. & Voogt, J.M. (2016). Improving Teacher Education in the Netherlands: Datateam as learning team? European Journal of Teacher Education, 39(3). DOI: 10.1080/02619768.2016.1171313.

Resultaten onderzoek 3: (Welke factoren met betrekking tot data en data informatiesystemen bevorderen en belemmeren de diepgang van de

gesprekken in het datateam?)

Factors concerning the data and data information system¥ Data information system with access to timely, accurate, relevant, reliable and

valid data, data that meet the user's needs; ¥ Data related to the data team members' perceptions.

Factors concerning the user¥ Data literacy; ¥ Buy-in/belief;

¥ Being able to handle cognitive conflicts;

¥ Clarification of prior knowledge;

¥ Avoidance of affective conflicts.Factors concerning the organisation¥ Assistance by the data coach.

Bolhuis, E.D. Schildkamp, K. & Voogt, J.M. (2016). Data-based decision making in teams: enablers and barriers. Educational Research and Evaluation 22(3-4). Doi:10.1080/13803611.2016.1247728.

Resultaten onderzoek 4: (Hoe verwerven lerarenopleiders, die participeren in een data team, kennis en vaardigheden in het werken met data en wat

levert dit op voor het werken met data in hun beroepspraktijk?)

•Ontwikkeling van kennis en vaardigheden loopt verschillend. Patroon: minder K&V bij aanvang, grotere ontwikkeling K&V •Attitude: niet iedereen ontwikkelde een positieve attitude, en geen eenduidige verbanden tussen attitude ontwikkeling enerzijds en ontwikkeling K&V/datagebruik anderzijds; •Ontwikkeling datagebruik met name om het onderwijs te ontwikkelen (near transfer)

Bolhuis, E.D. Schildkamp, K. & Voogt, J.M. (Ingediend). A case study of a data team intervention for teacher educators: The development of data use, data skills, and attitudes.

Reflectie onderzoek:•Ontwikkeling kennis •Transfer •Organisatie

Reflectie onderzoeksmethode:•Vragenlijst •Micro-process onderzoek •Onderzoek doen in de eigen organisatie

Literatuur:Astin, A. W. (2012). Assessment for excellence: The philosophy and practice of assessment and evaluation in higher education. Rowman & Littlefield

Publishers. Blanc, S., Christman, J. B., Liu, R., Mitchell, C., Travers, E., & Bulkley, K. E. (2010). Learning to learn from data: Benchmarks and instructional

communities. Peabody Journal of Education, 85(2), 205-225. Blok, H., Ledoux, G., & Roeleveld, J. (2015). Opbrengstgericht werken in het primair onderwijs : een effectieve weg naar onderwijsverbetering ?

Pedagogische Studien, 2015(92), 167–178. Bolhuis, E., Schildkamp, K., & Voogt, J. (2016). Improving teacher education in the Netherlands: Datateam as learning team? European Journal of

Teacher Education, 39(3). http://doi.org/10.1080/02619768.2016.1171313 Bolhuis, E., Schildkamp, K., & Voogt, J. (2016). Data-based decision making in teams: enablers and barriers. Educational Research and Evaluation, 22(3–

4), 213–233. http://doi.org/10.1080/13803611.2016.1247728 Bolhuis, E.D., Schildkamp, K., Voogt, J. & Luyten, J.H. (in press). Het gebruik van data door lerarenopleiders van de pabo. Pedagogische Studiën. Desimone, L. (2011). A primer on effective professional development. Phi Delta Kappan, 92(6), 68–71. http://doi.org/10.1177/003172171109200616 Ledoux, G., Blok, H., Boogaard, M., & Krüger, M. (2009). Opbrengstgericht werken: over de waarde van meetgestuurd onderwijs. Retrieved from http://

dare.uva.nl/document/170475 Lomos, C., Hofman, R. H., & Bosker, R. J. (2011). Professional communities and student achievement – a meta-analysis. School Effectiveness and School

Improvement, 22(2), 121–148. http://doi.org/10.1080/09243453.2010.550467 Mandinach, E. B., Honey, M., & Light, D. (2006, April). A theoretical framework for data-driven decision making. Paper presented at the Annual Meeting

of the American Educational Research Association, San Francisco, CA. Mandinach, E. B., & Gummer, E. S. (2016). What does it mean for teachers to be data literate: Laying out the skills, knowledge, and dispositions.

Teaching and Teacher Education 60, 360–376. doi:10.1016/j.tate.2016.07.011 Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114(11), 1-48. Piro, J. S., Dunlap, K., & Shutt, T. (2014). A collaborative data chat: Teaching summative assessment data use in pre-service teacher education. Cogent

Education, 1, 1–24. doi:10.1080/2331186X.2014.968409. Picciano, A. G. (2012). The Evolution of Big Data and Learning Analytics in American Higher Education. Journal of Asynchronous Learning Networks,

16(3), 9-20. Schildkamp, K., Handelzalts, A., Poortman, C. L., Leusink, H., Meerdink, M., Smit, M., … Hubers, M. D. (2014). De Datateam methode. Een concrte

aanpak voor onderwijsverbetering. Apeldoorn: Garant. Slavit, D., Kennedy, A., Lean, Z., Nelson, T. H., & Deuel, A. (2011). Support for professional collaboration in middle school mathematics: A complex web.

Teacher Education Quarterly, 38(3), 113-131. Supovitz, J. A., Foley, E., & Mishook, J. (2012). In search of leading indicators in education. education policy analysis archives, 20(19). Veen, K. Van, Zwart, R., Meirink, J., & Verloop, N. (2010). Professionele ontwikkeling van leraren een reviewstudie naar effectieve kenmerken van,

(December). Vescio, V., Ross, D., & Adams, A. (2008). A review of research on the impact of professional learning communities on teaching practice and student

learning. Teaching and Teacher Education, 24(1), 80–91. http://doi.org/10.1016/j.tate.2007.01.004 Wayman, J. C., Cho, V., Jimerson, J. B., & Snodgrass Rangel, V. W. (2015). A look into the workings of data use in a mid-sized district. In Leading small

and mid-sized urban school districts (pp. 241-275). Emerald Group Publishing Limited.