Theo Bakker - Student & Learning Analytics

SAP Education Event

’s-Hertogenbosch | 4 maart 2015

Student AnalyticsHaal optimale winst

uit uw onderwijsdata

voor studiesucces

en optimale begeleiding

van studenten

Schoolchildren Climbing On Unsecured Wooden Ladders, Zhang Jiawan

Village, Southern China

boredpanda.com

Kids On Their Way To School Flying 800m On A Steel Cable

400m Above The Rio Negro River, Colombia

boredpanda.com

© 2015 Deloitte The Netherlands

Senior Manager Onderwijs Deloitte Consulting met passie voor

hoger onderwijs, IT strategie en studiesucces

Wie is Theo Bakker

2

Opleiding

- Theologie (UU)

- Informatiekunde (UvA)

- Postdoctorale opleiding Management Consulting (VU)

Kennis en vaardigheden

- Hoger onderwijs

- IT strategie

- Studiesucces

- Onderwijslogistiek

- Analytics

Werkervaring & projecten

- Albeda, Avans, HvA, NHL, Politie-

academie, (Windesheim)

- UvA, VU, TU Eindhoven (TU Delft, EUR)

- SURF, SaNS


Deloitte Consulting verleent met zo’n 20 onderwijsadviseurs diensten

voor verhoging van 1) kwaliteit van onderwijs, onderzoek & valorisatie,

2) effectiviteit van (onderwijs)logistiek en 3) optimalisatie van bedrijfsvoering

Wat doet Deloitte in het hoger onderwijs

3

Fin

an

ce

Hu

ma

n

Re

sou

rce

ss

Facilt

yS

erv

ice

s

IT

On

de

rwijs

log

istie

k

On

de

rzo

eks-

log

istie

k

Log

istie

k

va

n v

alo

riastie

On

de

rwijs

On

de

rzo

ek

Va

lorisatie

Business Intelligence

Analytics


Wereldwijde trends zullen de kansen

voor het hoger onderwijs in Nederland

de komende jaren sterk vergroten voor

instellingen die keuzes durven te maken

Onze visie op onderwijs

4

1 Demografie

Meer studenten in

nieuwe doel-

groepen:

Volwassenen,

oost-europa en

noord-afrika en

BRIC landen

2 Internationaal

Concurrentie

vanuit het Westen,

kansen in het

oosten en zuiden

3 Technologie

Persoonlijk

onderwijs op maat

door digitalisering

van onderwijs, inzet

van analytics,

ontbundeling van

onderwijsdiensten

4 Arbeid

Nieuwe

vaardigheden voor

studenten en

docenten,

automatisering en

robotisering vragen

om continuous

education

5 Politiek & Economie

Minder geld van de

centrale overheid

stimuleert

samenwerking met

bedrijfsleven en lokale

overheden in

regionale ecosystemen

Visie Door beter inzicht in de individuele behoefte van de student draagt Data Analytics bij aan de kwaliteit

van persoonlijke, proactieve studentbegeleiding

5© Deloitte Consulting, 2014

Informatie over

• Achtergrond

• Motivatie

• Studievoortgang

• Struikelblokken

Worden geanalyseerd en

geeft inzicht in:

• Leerstijlen

• Kans op uitval, switch of

succes

• Daadwerkelijke behoefte

aan begeleiding

StudentenGerichtere voorlichting

in de wervingsfase Gerichte

matchings-

activiteiten

Tutoraat

gebaseerd op de

behoefte van de student

Indien nodig aangevuld

met trainingen en advies

In een doorlopende lijn met het formele

studieadvies

Tutoren

Voorlichters

Faculteiten

Studieadviseurs

BSA-

commissie

En advies voor jaar 2

of switch

& Studie-

adviseurs

Tutoren

Student-

begeleiding

Win-Win Verhoogd inzicht draagt bij aan zowel effectiviteit van

studentbegeleiding als efficiëntie in de uitvoering

Voor de poort

Periode

1-2

Periode 2-3Periode 4

Periode 5-6

Voor aanvang

© 2014 Deloitte The Netherlands6

Welke factoren spelen een rol in studiesucces?

Wat is de visie van de instelling op dit thema?

VISIE EN STRATEGIE

ANALYSE VAN DATA

Wat is de huidige

werkpraktijk? Hoe zijn

processen en systemen

ingericht? Wat is de cultuur?

Welke interventies worden

nu ingezet?

ANALYSE VAN WERKPRAKTIJK

Welke vormen van student-

begeleiding sluiten optimaal

aan bij de daadwerkelijke

behoefte van studenten?

STUDENTBEGELEIDING

EVIDENCE BASED

Hoe kunnen we de uitkomsten van

de analyses borgen in cultuur,

processen & procedures en

informatiesystemen?

VERANDERING

Wat is het effect van de

nieuwe aanpak?

MONITORING

STUDIE-

SUCCES

Wat kunnen we leren uit

studentdata (historische en

realtime data)

Scope van het onderzoek In het onderzoek concentreerden we ons op de ontwikkeling

van evidence based studentbegeleiding door een analyse van data en werkpraktijk


Help de juiste student

proactief het gehele jaar door en zo vroeg mogelijk

met gerichte voorlichting en begeleiding

Baseer de aanpak op 1) kans op uitval, 2) achtergrond van uitval en de student en 3)

optimale inzet van beschikbare interventies

Brede aanpak voor optimale studentbegeleiding

8

01/%

56Kans op uitval

03/Optimale inzet

beschikbare interventies

02/Achtergrond

uitval en student

© Deloitte Consulting, 2014

© Deloitte Consulting, 2014 9

Opzet onderzoek Via veel verschillende bronnen zijn deze gegevens verzameld en vervolgens

geanalyseerd

Eerstejaars inschrijvingen

BI NSE

SAP DUO

CRM CBS

Analyse op studiesucces

Externe data

Definitie Uitval of switch

Geen herinschrijving aan dezelfde opleiding in het

tweede jaar of uitschrijving hetzelfde jaar

Gebruikte cohorten: 2012 en 2013

Definitie Diplomarendement

Diploma van desbetreffende opleiding binnen 4 jaar

behaald (alleen berekend voor herinschrijvers)

Gebruikt cohort: 2010

22.584Eerstejaars inschrijvingen

20.352Unieke studenten

5Studiejaren

(2009 – 2013)

44Opleidingen

12Faculteiten

2.876.879Resultaten

100-enAfgeleide variabelen

Populatieonderzoek

Instellings-

data

Correctheid

voorspelling uitval

% goed voorspeld per

periode

De resultaten van de data analyses bouwden voort op elkaar

Het data-onderzoek is uitgevoerd in drie stappen


Univariate analyse

• Het effect van steeds één variabele op

uitval of switch, en op diplomarendement

• Weergave in een staafdiagram

Regressie-analyse

• Onderzoek naar de meest significante

variabelen

• Komen tot een betrouwbaar en consistent

model waarmee voorspellingen kunnen

worden uitgevoerd

Segmentatie-analyse

• Onderzoek naar de onderlinge samenhang

van de variabelen

• Onderscheiden van verschillende groepen

studenten

Geslacht

Effect op uitval of switch in het eerste jaar

M

V

0% 25% 50% 75% 100%Uitval of switch (1ste jaar)

91100

80

0

60

40

20

92

6

89

4

86

10 5

858071

32

2

1

3

2

1

3

Univariate inzichten Studenten die zich laat aanmelden voor hun studie ervaren

minder studiesucces

Dagen van aanmelding voorafgaand aan start studie

Verdeling van eerstejaars inschrijvingen

Toelichting




Effect op diplomarendement na vier jaar

- 13,2% van de studenten meldt zich in de laatste 25

dagen aan voor hun studie. Deze studenten vallen

aanzienlijk meer uit dan de overige studenten (47,3%)

[0,25]

(25,50]

(50,75]

(75,100]

(100,150]

(150,200]

0% 25% 50% 75% 100%Diplomarendement (4 jaar)

[0,25]

(25,50]

(50,75]

(75,100]

(100,150]

(150,200]

0% 25% 50% 75% 100%Uitval of switch (1ste jaar)

* Bevat 12,3% missende waardes

[0,25]

(25,50]

(50,75]

(75,100]

(100,150]

(150,200]

0% 25% 50% 75% 100%Percentage eerstejaars inschrijvingen (EOI)

INS (#8.599) FA (#1.008) FB (#1.633)

11

- s() staat voor ‘smooth’ term- dit is een niet lineaire geschat verband 12

Regressie-analyse Het model schat op basis van een logische en evenwichtige keuze uit

variabelen de kans op uitval of switch op 7 meetmomenten

Formule voor de voorspelling: Uitval ~ Geslacht + Gem. middelbare schoolcijfer + Voorlichting_voor +

Voorlichting_na + s(Leeftijd) + s(dagen tussen aanmelding en start studie) + Faculteit + s(EC | periode) + s(EC –

gem. EC cohort) + Aantal herkansingen + Uiteindelijk BSA

Resultaten Definitief BSA

Moment van

aanmelding

en Leeftijd

Middelbare

schoolcijfersFaculteitVoorlichtingGeslacht


Correctheid voorspelling uitval

13

Correctheid voorspelling diplomarendement

Voorspelling Gedurende het jaar worden de voorspellingen accurater; na periode 2 is

een zeer goede inschatting mogelijk

9291898685

80

71

0

10

20

30

40

50

60

70

80

90

100

210 54 63

787877757370

67

0

10

20

30

40

50

60

70

80

90

100

10 2 6543

Percentage goed voorspeld per periode Percentage goed voorspeld per periode

Voorspelling De voorspelling is al vanaf periode 2 beter dan het tussentijdse BSA-advies

(periode 3) en wordt gedurende het jaar nog sterker

Tussentijdse BSA en voorspelling per periode


Tussentijdse BSA 0 1 2 3 4 5 6

59% 36% 51% 61% 67% 74% 79% 81%

18% 17% 16% 17% 16% 16% 18% 18%

9% 5% 6% 5% 5% 4% 3% 3%

- Voor een eerlijke vergelijking is

gekozen voor categorieën die tot

dezelfde grootte van groepen leiden

tijdens de derde periode

- Er is alleen gekeken naar studenten

die vóór periode drie een tussentijds

BSA-advies gekregen hebben

Toelichting vergelijking

>25%

10-25%

<10%

Kans op

uitval of switch

Voorspelling

Voordelen voorspelmodel

- De juiste student- het model is accurater dan het

tussentijdse BSA-advies

- Zo vroeg mogelijk- in periode 2 geeft het model een

betere voorspelling dan het tussentijdse BSA-advies tijdens

periode 3

- Het hele jaar door- elke periode verbetert de voorspelling

en geeft het beste inzicht voor een proactieve benadering

- Uniform - de voorspelling houdt rekening met verschillende

studies en BSA-normen en doet dit op dezelfde manier

- Geautomatiseerd - kan leiden tot verminderde werkdruk


Na periode 2 voorspelt het model al

beter dan het tussentijdse BSA-advies

Interventie Door op uitval of switch te sorteren en bij 25% van de studenten te interveniëren, bereikt

de instelling zo 75% van uitvallers (tot periode 4)


Door zich te richten

op 25% van de studenten (periode 4)

Bereikt de

instelling

75% van de

studenten die

zullen

uitvallen of

switchen

1

2

Segmentatie (1/2) De 18.869 studenten zijn op basis van studiegedrag in de 6 perioden van het

eerste jaar ingedeeld in 11 groepen


7) Degelijke studenten

Laag inkomen; vrouwen met

gemiddelde schoolcijfers. Lage

uitval, behalen hun

diploma(#2.259)

4) Toekomstige sterren

Potentieel goed presterende

studenten, maar niet allemaal

zullen ze afstuderen (#1.309)

2) Feeststudenten

Veelal mannen uit welvarende

huishoudens. Relatief veel onvoldoendes

en herkansingen. Gemengde uitval en

diplomarendement(#1.199)

1) Afhakers

Oudere (mannelijke) studenten uit goed

milieu, voorlichting niet voor maar tijdens de

studie. Doen bij onvoldoende geen

herkansing. Hoge uitval (#636)

9) Sterke starters

Goede start, maar

wisselende uitval en

diplomarendement (#1.776)

5) No show-ers

Divers segment met hoge

cijfers en kans op uitval

(#740)

8) Uitvallende taaltoetsers

Mannen van 20+ jaar met

slechte schoolresultaten.

Volgen niet voor maar tijdens

de studie voorlichting.

Onvoldoende taaltoets, hoge

uitval (#2.986)

6) Middenmoters

Mannen uit welvarende, landelijke

gebieden met lage middelbare school

cijfers, geen uitval en hoog

diplomarendement (#1.126)

11) IJverige meisjes

Veelal vrouwen met matige

schoolcijfers die een trage start

beleven. Het eerste jaar

eindigen ze sterk. Ze vallen niet

uit en behalen hun diploma

(#2.186)

10) Herkansers

Trage opstarters die het

minimum aantal EC’s behalen

om te slagen. Doen veel

herkansingen. Geen uitval,

geen diploma (#3.181)

3) Ideale studenten

Vroege leerlingen met direct

uitstekende studieresultaten, lage

uitval en hoog diplomarendement

(#1.471)

12

3 4

56

7

89

1110

Segmentatie (2/2) Op basis van de segmentatiekaart kunnen we een aantal algemene conclusies

trekken over de groepen


Rechterkant

• Minder uitval

• Meer diplomarendement

• Meer voorlichting voor start

studie

• Minder voorlichting na start

studie

• Meer vrouwen

• Jongere studenten (17-19 jr)

12

3 4

56

7

89

1110Linkerkant

• Hoge uitval

• Minder

diplomarendement

• Minder voorlichting voor

start studie

• Meer voorlichting na start

studie

• Meer mannen

• Oudere studenten (20+ jr)

Onderkant

• Omgeving: Meer verstedelijkte gebieden

• Omgeving: Hogere inkomens

• Omgeving: Minder niet-westerse

allochtonen

Bovenkant

• Omgeving middelbare school: Minder verstedelijkte gebieden

• Omgeving middelbare school: Lagere inkomens

• Omgeving middelbare school: Meer niet-westerse allochtonen

Studiesucces is duidelijk verspreid over de kaart, uitvallers en switchers bevinden zich aan de linkerkant.

-01 00 01 02 03 04 05Vo

or

aa

nva

ng

Insch

rijv

ing

Periode 1

Periode 2

Periode 3

Periode 4

Periode 5

06 Periode 6

Tussentijds BSA BSATaaltoets

+ 1e cijferMatchingVoorlichting

Versnel de invoer van optimale studentbegeleiding door de volgende instellingsbrede, uniforme

maatregelen

Instellingsbreed beleid voor optimale studentbegeleiding

A. (1) Richt studentbegeleiding instellingsbreed zoveel mogelijk gelijk in en (2) monitor het effect ervan

B. Ontsluit informatie over voortgang en kans op succes naar alle partners in de gehele keten op need-to-

know basis (begeleiders èn studenten); vraag vooraf toestemming aan de student voor het gebruik van

informatie voor begeleiding

C. Richt op centraal niveau een ‘studeren in 1x goed’ traject in ter ondersteuning van studievaardigheden

D. (1) Differentieer voorlichting naar studiekiezers en herkiezers en (2) organiseer een centraal

heroriëntatietraject

E. …. Etc.

18

Acties

A B C F F FF D ED E H F H F HG


Over de

gehele keten


Percentages uitval per segment als basis voor prioriteringAantallen studenten en uitval variëren per segment. Samen vormen ze de basis voor prioritering

van interventies.

• In jaar 1 valt 28,9% van de studenten uit.

• Uitval bevindt zich vooral aan de linkerkant van de kaart;

de mate van uitval verschilt per segment.

• Door het % uitval binnen een segment af te zetten tegen

het aantal studenten per segment en de totale uitval,

maken we een prioritering in segmenten:

8 > 9 > 1 > 5 > 10 > 2

• Via deze 6 segmenten bereiken we bijna 90% van

studenten met kans op de uitval (= 26% totaal studenten).

Percentage studenten per segment van de totale populatie

0 2 4 6 8 10 12 14 16 18

9) Sterke starters

12

17

9

8) Uitvallende taaltoetsers 16


10) Herkansers

3

6

4

1) Afhakers

8

6) Middenmoters

3) Ideale studenten

6



5) No show-ers

7

2) FeeststudentenUitval of Switch

Overig

2

2

2

2

3

5

7

8

10

14

45

0 5 10 15 20 25 30 35 40 45

9) Sterke starters

1) Afhakers

6) Middenmoters

8) Uitvallende taaltoetsers

5) No show-ers

2) Feeststudenten

10) Herkansers

3) Ideale studenten




Uitval of Switch

Percentage uitval per segment van de totale uitval

Prioritering: 8 > 9 > 1 > 5 > 10 > 2


Achtergrond van uitval per segmentIn het eerste jaar is er onderscheid tussen uitval door studiekeuze of door studiestijl

Net als het percentage uitval verschilt ook het

soort uitval per segment. Op basis van achter-

liggende kenmerken trekken we hierover de

volgende conclusies:

1. Studiekeuze – in segmenten 8, 5 en 1 is

uitval vrijwel >90% en komt voort uit een

verkeerde keuze over wat en of ze moeten

studeren; studenten vallen snel uit.

2. Studiestijl – in segmenten 9, 10 en 2 is

uitval lager; studenten hebben potentie,

maar weten niet altijd hoe ze moeten

studeren; naarmate de tijd vordert loopt

achterstand op en vallen studenten uit.

Studiekeuze 1, 5 en 8

Studiestijl 2, 9 en 10

SegmentenAchtergrond

0.0

0.2

0.4

0.6

0.8

12

3 4

56

7

89

1110

Uitval of switch binnen één jaar

NB. Voor vrijwel alle studenten in deze

segmenten geldt dat ze 19 of ouder zijn bij

start van de studie!

0.0

0.2

0.4

0.6

0.8

Uitval of switch binnen één jaar

12

3 4

56

7

89

1110

21

Segment 8 – Uitvallende taaltoetsers

Focus op heroriëntatie na de taaltoets

Kerninformatie over het segment

Omvang 2.986 = 15,8% van totale populatie

Uitval 81,9% = 44,9% van totale uitval

Instellingsbrede maatregelen

• Taaltoets moeilijker maken en zo vroeg mogelijk afnemen

(voor aanvang studie)

• Algemene voorlichting ook toespitsen op herkiezers

• Ontwikkeling van een centraal heroriëntatietraject

Selectie

(1) lage middelbare schoolcijfers,

(2) een slechte taaltoets,

(3) het volgen van een voorlichting na start

van de studie.

Specifieke maatregelen

A. Al bij matching aanspreken op risico van het niet hebben

gevolgd van voorlichting en op latere leeftijd starten met de

studie – ‘matcher’

B. Direct oproepen na een onvoldoende taaltoets –

studieadviseur

C. Doorverwijzen naar een heroriëntatietraject op centraal

niveau – studieadviseur

D. Sturen op en begeleiden bij studieswitch – ntb

E. Na periode 3 minder aandacht besteden aan studenten in

deze groep

Type uitval

Prioriteit

Studiekeuze

1/11

A B C D

Instelling - Algemeen

Zwaartepunt maatregelen

In en na periode 1

E



Mogelijke herijking strategische keuzesExtra toelichting op leeftijd, diploma in 4 jaar en cum laude

12 3 4

56

7

8

9

1110

Leeftijd bij aanvang studie DUO kwaliteit middelbare scholen

Bachelordiploma in 4 jaar

12

3 4

56

7

89

1110

12

3 4

56

7

89

1110

Cum Laude

12

3 4

56

7

89

1110


Welke factoren spelen een rol in studiesucces?

Wat is de visie van de instelling op dit thema?

VISIE EN STRATEGIE

ANALYSE VAN DATA

Wat is de huidige

werkpraktijk? Hoe zijn

processen en systemen

ingericht? Wat is de cultuur?

Welke interventies worden

nu ingezet?

ANALYSE VAN WERKPRAKTIJK

Welke vormen van student-

begeleiding sluiten optimaal

aan bij de daadwerkelijke

behoefte van studenten?

STUDENTBEGELEIDING

EVIDENCE BASED

Hoe kunnen we de uitkomsten van

de analyses borgen in cultuur,

processen & procedures en

informatiesystemen?

VERANDERING

Wat is het effect van de

nieuwe aanpak?

MONITORING

STUDIE-

SUCCES

Wat kunnen we leren uit

studentdata (historische en

realtime data)

Vervolgstappen Vervolgstappen om de onderzoeksresultaten optimaal te gebruiken

1. Ontwikkel een integrale, instellingsbrede visie

op studentbegeleiding

2. Borg de kennis over de studentenpopulatie en

studentbegeleiding onder medewerkers per

faculteit

3. Borg de nieuwe werkwijze in procedures,

processen en systemen en stel een roadmap op

naar de gewenste situatie

4. Monitor het effect van de nieuwe

aanpak en veranker de uitkomsten in

planning en control


Meer informatie

24

Theo BakkerSenior Manager Onderwijs

Deloitte Consulting

[email protected]

06-10999307

mailto:[email protected]

Deloitte refers to one or more of Deloitte Touche Tohmatsu Limited, a UK private company limited by guarantee, and its network of member firms,

each of which is a legally separate and independent entity. Please see www.deloitte.com/about for a detailed description of the legal structure of

Deloitte Touche Tohmatsu Limited and its member firms.

Deloitte provides audit, tax, consulting, and financial advisory services to public and private clients spanning multiple industries. With a globally

connected network of member firms in more than 150 countries and territories, Deloitte brings world-class capabilities and high-quality service to

clients, delivering the insights they need to address their most complex business challenges. Deloitte’s more than 200,000 professionals are

committed to becoming the standard of excellence.

This communication contains general information only, and none of Deloitte Touche Tohmatsu Limited, its member firms, or their related entities

(collectively, the “Deloitte network”) is, by means of this communication, rendering professional advice or services. No entity in the Deloitte network

shall be responsible for any loss whatsoever sustained by any person who relies on this communication.

.

Theo Bakker - Student & Learning Analytics

Education

Transcript of Theo Bakker - Student & Learning Analytics