Post on 15-Jul-2015
SAP Education Event
’s-Hertogenbosch | 4 maart 2015
Student AnalyticsHaal optimale winst
uit uw onderwijsdata
voor studiesucces
en optimale begeleiding
van studenten
Schoolchildren Climbing On Unsecured Wooden Ladders, Zhang Jiawan
Village, Southern China
boredpanda.com
Kids On Their Way To School Flying 800m On A Steel Cable
400m Above The Rio Negro River, Colombia
boredpanda.com
© 2015 Deloitte The Netherlands
Senior Manager Onderwijs Deloitte Consulting met passie voor
hoger onderwijs, IT strategie en studiesucces
Wie is Theo Bakker
2
Opleiding
- Theologie (UU)
- Informatiekunde (UvA)
- Postdoctorale opleiding Management Consulting (VU)
Kennis en vaardigheden
- Hoger onderwijs
- IT strategie
- Studiesucces
- Onderwijslogistiek
- Analytics
Werkervaring & projecten
- Albeda, Avans, HvA, NHL, Politie-
academie, (Windesheim)
- UvA, VU, TU Eindhoven (TU Delft, EUR)
- SURF, SaNS
© 2015 Deloitte The Netherlands
Deloitte Consulting verleent met zo’n 20 onderwijsadviseurs diensten
voor verhoging van 1) kwaliteit van onderwijs, onderzoek & valorisatie,
2) effectiviteit van (onderwijs)logistiek en 3) optimalisatie van bedrijfsvoering
Wat doet Deloitte in het hoger onderwijs
3
Fin
an
ce
Hu
ma
n
Re
sou
rce
ss
Facilt
yS
erv
ice
s
IT
On
de
rwijs
log
istie
k
On
de
rzo
eks-
log
istie
k
Log
istie
k
va
n v
alo
riastie
On
de
rwijs
On
de
rzo
ek
Va
lorisatie
Business Intelligence
Analytics
© 2015 Deloitte The Netherlands
Wereldwijde trends zullen de kansen
voor het hoger onderwijs in Nederland
de komende jaren sterk vergroten voor
instellingen die keuzes durven te maken
Onze visie op onderwijs
4
1 Demografie
Meer studenten in
nieuwe doel-
groepen:
Volwassenen,
oost-europa en
noord-afrika en
BRIC landen
2 Internationaal
Concurrentie
vanuit het Westen,
kansen in het
oosten en zuiden
3 Technologie
Persoonlijk
onderwijs op maat
door digitalisering
van onderwijs, inzet
van analytics,
ontbundeling van
onderwijsdiensten
4 Arbeid
Nieuwe
vaardigheden voor
studenten en
docenten,
automatisering en
robotisering vragen
om continuous
education
5 Politiek & Economie
Minder geld van de
centrale overheid
stimuleert
samenwerking met
bedrijfsleven en lokale
overheden in
regionale ecosystemen
Visie Door beter inzicht in de individuele behoefte van de student draagt Data Analytics bij aan de kwaliteit
van persoonlijke, proactieve studentbegeleiding
5© Deloitte Consulting, 2014
Informatie over
• Achtergrond
• Motivatie
• Studievoortgang
• Struikelblokken
Worden geanalyseerd en
geeft inzicht in:
• Leerstijlen
• Kans op uitval, switch of
succes
• Daadwerkelijke behoefte
aan begeleiding
StudentenGerichtere voorlichting
in de wervingsfase Gerichte
matchings-
activiteiten
Tutoraat
gebaseerd op de
behoefte van de student
Indien nodig aangevuld
met trainingen en advies
In een doorlopende lijn met het formele
studieadvies
Tutoren
Voorlichters
Faculteiten
Studieadviseurs
BSA-
commissie
En advies voor jaar 2
of switch
& Studie-
adviseurs
Tutoren
Student-
begeleiding
Win-Win Verhoogd inzicht draagt bij aan zowel effectiviteit van
studentbegeleiding als efficiëntie in de uitvoering
Voor de poort
Periode
1-2
Periode 2-3Periode 4
Periode 5-6
Voor aanvang
© 2014 Deloitte The Netherlands6
Welke factoren spelen een rol in studiesucces?
Wat is de visie van de instelling op dit thema?
VISIE EN STRATEGIE
ANALYSE VAN DATA
Wat is de huidige
werkpraktijk? Hoe zijn
processen en systemen
ingericht? Wat is de cultuur?
Welke interventies worden
nu ingezet?
ANALYSE VAN WERKPRAKTIJK
Welke vormen van student-
begeleiding sluiten optimaal
aan bij de daadwerkelijke
behoefte van studenten?
STUDENTBEGELEIDING
EVIDENCE BASED
Hoe kunnen we de uitkomsten van
de analyses borgen in cultuur,
processen & procedures en
informatiesystemen?
VERANDERING
Wat is het effect van de
nieuwe aanpak?
MONITORING
STUDIE-
SUCCES
Wat kunnen we leren uit
studentdata (historische en
realtime data)
Scope van het onderzoek In het onderzoek concentreerden we ons op de ontwikkeling
van evidence based studentbegeleiding door een analyse van data en werkpraktijk
© 2014 Deloitte The Netherlands
Help de juiste student
proactief het gehele jaar door en zo vroeg mogelijk
met gerichte voorlichting en begeleiding
Baseer de aanpak op 1) kans op uitval, 2) achtergrond van uitval en de student en 3)
optimale inzet van beschikbare interventies
Brede aanpak voor optimale studentbegeleiding
8
01/%
56Kans op uitval
03/Optimale inzet
beschikbare interventies
02/Achtergrond
uitval en student
© Deloitte Consulting, 2014
© Deloitte Consulting, 2014 9
Opzet onderzoek Via veel verschillende bronnen zijn deze gegevens verzameld en vervolgens
geanalyseerd
Eerstejaars inschrijvingen
BI NSE
SAP DUO
CRM CBS
Analyse op studiesucces
Externe data
Definitie Uitval of switch
Geen herinschrijving aan dezelfde opleiding in het
tweede jaar of uitschrijving hetzelfde jaar
Gebruikte cohorten: 2012 en 2013
Definitie Diplomarendement
Diploma van desbetreffende opleiding binnen 4 jaar
behaald (alleen berekend voor herinschrijvers)
Gebruikt cohort: 2010
22.584Eerstejaars inschrijvingen
20.352Unieke studenten
5Studiejaren
(2009 – 2013)
44Opleidingen
12Faculteiten
2.876.879Resultaten
100-enAfgeleide variabelen
Populatieonderzoek
Instellings-
data
Correctheid
voorspelling uitval
% goed voorspeld per
periode
De resultaten van de data analyses bouwden voort op elkaar
Het data-onderzoek is uitgevoerd in drie stappen
© Deloitte Consulting, 2014 10
Univariate analyse
• Het effect van steeds één variabele op
uitval of switch, en op diplomarendement
• Weergave in een staafdiagram
Regressie-analyse
• Onderzoek naar de meest significante
variabelen
• Komen tot een betrouwbaar en consistent
model waarmee voorspellingen kunnen
worden uitgevoerd
Segmentatie-analyse
• Onderzoek naar de onderlinge samenhang
van de variabelen
• Onderscheiden van verschillende groepen
studenten
Geslacht
Effect op uitval of switch in het eerste jaar
M
V
0% 25% 50% 75% 100%Uitval of switch (1ste jaar)
91100
80
0
60
40
20
92
6
89
4
86
10 5
858071
32
2
1
3
2
1
3
Univariate inzichten Studenten die zich laat aanmelden voor hun studie ervaren
minder studiesucces
Dagen van aanmelding voorafgaand aan start studie
Verdeling van eerstejaars inschrijvingen
Toelichting
Dagen van aanmelding voorafgaand aan start studie
Effect op uitval of switch in het eerste jaar
Dagen van aanmelding voorafgaand aan start studie
Effect op diplomarendement na vier jaar
- 13,2% van de studenten meldt zich in de laatste 25
dagen aan voor hun studie. Deze studenten vallen
aanzienlijk meer uit dan de overige studenten (47,3%)
[0,25]
(25,50]
(50,75]
(75,100]
(100,150]
(150,200]
0% 25% 50% 75% 100%Diplomarendement (4 jaar)
[0,25]
(25,50]
(50,75]
(75,100]
(100,150]
(150,200]
0% 25% 50% 75% 100%Uitval of switch (1ste jaar)
* Bevat 12,3% missende waardes
[0,25]
(25,50]
(50,75]
(75,100]
(100,150]
(150,200]
0% 25% 50% 75% 100%Percentage eerstejaars inschrijvingen (EOI)
INS (#8.599) FA (#1.008) FB (#1.633)
11
- s() staat voor ‘smooth’ term- dit is een niet lineaire geschat verband 12
Regressie-analyse Het model schat op basis van een logische en evenwichtige keuze uit
variabelen de kans op uitval of switch op 7 meetmomenten
Formule voor de voorspelling: Uitval ~ Geslacht + Gem. middelbare schoolcijfer + Voorlichting_voor +
Voorlichting_na + s(Leeftijd) + s(dagen tussen aanmelding en start studie) + Faculteit + s(EC | periode) + s(EC –
gem. EC cohort) + Aantal herkansingen + Uiteindelijk BSA
Resultaten Definitief BSA
Moment van
aanmelding
en Leeftijd
Middelbare
schoolcijfersFaculteitVoorlichtingGeslacht
© 2014 Deloitte The Netherlands
Correctheid voorspelling uitval
13
Correctheid voorspelling diplomarendement
Voorspelling Gedurende het jaar worden de voorspellingen accurater; na periode 2 is
een zeer goede inschatting mogelijk
9291898685
80
71
0
10
20
30
40
50
60
70
80
90
100
210 54 63
787877757370
67
0
10
20
30
40
50
60
70
80
90
100
10 2 6543
Percentage goed voorspeld per periode Percentage goed voorspeld per periode
Voorspelling De voorspelling is al vanaf periode 2 beter dan het tussentijdse BSA-advies
(periode 3) en wordt gedurende het jaar nog sterker
Tussentijdse BSA en voorspelling per periode
Effect op uitval of switch in het eerste jaar
Tussentijdse BSA 0 1 2 3 4 5 6
59% 36% 51% 61% 67% 74% 79% 81%
18% 17% 16% 17% 16% 16% 18% 18%
9% 5% 6% 5% 5% 4% 3% 3%
- Voor een eerlijke vergelijking is
gekozen voor categorieën die tot
dezelfde grootte van groepen leiden
tijdens de derde periode
- Er is alleen gekeken naar studenten
die vóór periode drie een tussentijds
BSA-advies gekregen hebben
Toelichting vergelijking
>25%
10-25%
<10%
Kans op
uitval of switch
Voorspelling
Voordelen voorspelmodel
- De juiste student- het model is accurater dan het
tussentijdse BSA-advies
- Zo vroeg mogelijk- in periode 2 geeft het model een
betere voorspelling dan het tussentijdse BSA-advies tijdens
periode 3
- Het hele jaar door- elke periode verbetert de voorspelling
en geeft het beste inzicht voor een proactieve benadering
- Uniform - de voorspelling houdt rekening met verschillende
studies en BSA-normen en doet dit op dezelfde manier
- Geautomatiseerd - kan leiden tot verminderde werkdruk
14© Deloitte Consulting, 2014
Na periode 2 voorspelt het model al
beter dan het tussentijdse BSA-advies
Interventie Door op uitval of switch te sorteren en bij 25% van de studenten te interveniëren, bereikt
de instelling zo 75% van uitvallers (tot periode 4)
© Deloitte Consulting, 2014 15
Door zich te richten
op 25% van de studenten (periode 4)
Bereikt de
instelling
75% van de
studenten die
zullen
uitvallen of
switchen
1
2
Segmentatie (1/2) De 18.869 studenten zijn op basis van studiegedrag in de 6 perioden van het
eerste jaar ingedeeld in 11 groepen
© Deloitte Consulting, 2014 16
7) Degelijke studenten
Laag inkomen; vrouwen met
gemiddelde schoolcijfers. Lage
uitval, behalen hun
diploma(#2.259)
4) Toekomstige sterren
Potentieel goed presterende
studenten, maar niet allemaal
zullen ze afstuderen (#1.309)
2) Feeststudenten
Veelal mannen uit welvarende
huishoudens. Relatief veel onvoldoendes
en herkansingen. Gemengde uitval en
diplomarendement(#1.199)
1) Afhakers
Oudere (mannelijke) studenten uit goed
milieu, voorlichting niet voor maar tijdens de
studie. Doen bij onvoldoende geen
herkansing. Hoge uitval (#636)
9) Sterke starters
Goede start, maar
wisselende uitval en
diplomarendement (#1.776)
5) No show-ers
Divers segment met hoge
cijfers en kans op uitval
(#740)
8) Uitvallende taaltoetsers
Mannen van 20+ jaar met
slechte schoolresultaten.
Volgen niet voor maar tijdens
de studie voorlichting.
Onvoldoende taaltoets, hoge
uitval (#2.986)
6) Middenmoters
Mannen uit welvarende, landelijke
gebieden met lage middelbare school
cijfers, geen uitval en hoog
diplomarendement (#1.126)
11) IJverige meisjes
Veelal vrouwen met matige
schoolcijfers die een trage start
beleven. Het eerste jaar
eindigen ze sterk. Ze vallen niet
uit en behalen hun diploma
(#2.186)
10) Herkansers
Trage opstarters die het
minimum aantal EC’s behalen
om te slagen. Doen veel
herkansingen. Geen uitval,
geen diploma (#3.181)
3) Ideale studenten
Vroege leerlingen met direct
uitstekende studieresultaten, lage
uitval en hoog diplomarendement
(#1.471)
12
3 4
56
7
89
1110
Segmentatie (2/2) Op basis van de segmentatiekaart kunnen we een aantal algemene conclusies
trekken over de groepen
© Deloitte Consulting, 2014 17
Rechterkant
• Minder uitval
• Meer diplomarendement
• Meer voorlichting voor start
studie
• Minder voorlichting na start
studie
• Meer vrouwen
• Jongere studenten (17-19 jr)
12
3 4
56
7
89
1110Linkerkant
• Hoge uitval
• Minder
diplomarendement
• Minder voorlichting voor
start studie
• Meer voorlichting na start
studie
• Meer mannen
• Oudere studenten (20+ jr)
Onderkant
• Omgeving: Meer verstedelijkte gebieden
• Omgeving: Hogere inkomens
• Omgeving: Minder niet-westerse
allochtonen
Bovenkant
• Omgeving middelbare school: Minder verstedelijkte gebieden
• Omgeving middelbare school: Lagere inkomens
• Omgeving middelbare school: Meer niet-westerse allochtonen
Studiesucces is duidelijk verspreid over de kaart, uitvallers en switchers bevinden zich aan de linkerkant.
-01 00 01 02 03 04 05Vo
or
aa
nva
ng
Insch
rijv
ing
Periode 1
Periode 2
Periode 3
Periode 4
Periode 5
06 Periode 6
Tussentijds BSA BSATaaltoets
+ 1e cijferMatchingVoorlichting
Versnel de invoer van optimale studentbegeleiding door de volgende instellingsbrede, uniforme
maatregelen
Instellingsbreed beleid voor optimale studentbegeleiding
A. (1) Richt studentbegeleiding instellingsbreed zoveel mogelijk gelijk in en (2) monitor het effect ervan
B. Ontsluit informatie over voortgang en kans op succes naar alle partners in de gehele keten op need-to-
know basis (begeleiders èn studenten); vraag vooraf toestemming aan de student voor het gebruik van
informatie voor begeleiding
C. Richt op centraal niveau een ‘studeren in 1x goed’ traject in ter ondersteuning van studievaardigheden
D. (1) Differentieer voorlichting naar studiekiezers en herkiezers en (2) organiseer een centraal
heroriëntatietraject
E. …. Etc.
18
Acties
A B C F F FF D ED E H F H F HG
© Deloitte Consulting, 2014
Over de
gehele keten
19© Deloitte Consulting, 2014
Percentages uitval per segment als basis voor prioriteringAantallen studenten en uitval variëren per segment. Samen vormen ze de basis voor prioritering
van interventies.
• In jaar 1 valt 28,9% van de studenten uit.
• Uitval bevindt zich vooral aan de linkerkant van de kaart;
de mate van uitval verschilt per segment.
• Door het % uitval binnen een segment af te zetten tegen
het aantal studenten per segment en de totale uitval,
maken we een prioritering in segmenten:
8 > 9 > 1 > 5 > 10 > 2
• Via deze 6 segmenten bereiken we bijna 90% van
studenten met kans op de uitval (= 26% totaal studenten).
Percentage studenten per segment van de totale populatie
0 2 4 6 8 10 12 14 16 18
9) Sterke starters
12
17
9
8) Uitvallende taaltoetsers 16
11) IJverige meisjes
10) Herkansers
3
6
4
1) Afhakers
8
6) Middenmoters
3) Ideale studenten
6
127) Degelijke studenten
4) Toekomstige sterren
5) No show-ers
7
2) FeeststudentenUitval of Switch
Overig
2
2
2
2
3
5
7
8
10
14
45
0 5 10 15 20 25 30 35 40 45
9) Sterke starters
1) Afhakers
6) Middenmoters
8) Uitvallende taaltoetsers
5) No show-ers
2) Feeststudenten
10) Herkansers
3) Ideale studenten
11) IJverige meisjes
7) Degelijke studenten
4) Toekomstige sterren
Uitval of Switch
Percentage uitval per segment van de totale uitval
Prioritering: 8 > 9 > 1 > 5 > 10 > 2
20© Deloitte Consulting, 2014
Achtergrond van uitval per segmentIn het eerste jaar is er onderscheid tussen uitval door studiekeuze of door studiestijl
Net als het percentage uitval verschilt ook het
soort uitval per segment. Op basis van achter-
liggende kenmerken trekken we hierover de
volgende conclusies:
1. Studiekeuze – in segmenten 8, 5 en 1 is
uitval vrijwel >90% en komt voort uit een
verkeerde keuze over wat en of ze moeten
studeren; studenten vallen snel uit.
2. Studiestijl – in segmenten 9, 10 en 2 is
uitval lager; studenten hebben potentie,
maar weten niet altijd hoe ze moeten
studeren; naarmate de tijd vordert loopt
achterstand op en vallen studenten uit.
Studiekeuze 1, 5 en 8
Studiestijl 2, 9 en 10
SegmentenAchtergrond
0.0
0.2
0.4
0.6
0.8
12
3 4
56
7
89
1110
Uitval of switch binnen één jaar
NB. Voor vrijwel alle studenten in deze
segmenten geldt dat ze 19 of ouder zijn bij
start van de studie!
0.0
0.2
0.4
0.6
0.8
Uitval of switch binnen één jaar
12
3 4
56
7
89
1110
21
Segment 8 – Uitvallende taaltoetsers
Focus op heroriëntatie na de taaltoets
Kerninformatie over het segment
Omvang 2.986 = 15,8% van totale populatie
Uitval 81,9% = 44,9% van totale uitval
Instellingsbrede maatregelen
• Taaltoets moeilijker maken en zo vroeg mogelijk afnemen
(voor aanvang studie)
• Algemene voorlichting ook toespitsen op herkiezers
• Ontwikkeling van een centraal heroriëntatietraject
Selectie
(1) lage middelbare schoolcijfers,
(2) een slechte taaltoets,
(3) het volgen van een voorlichting na start
van de studie.
Specifieke maatregelen
A. Al bij matching aanspreken op risico van het niet hebben
gevolgd van voorlichting en op latere leeftijd starten met de
studie – ‘matcher’
B. Direct oproepen na een onvoldoende taaltoets –
studieadviseur
C. Doorverwijzen naar een heroriëntatietraject op centraal
niveau – studieadviseur
D. Sturen op en begeleiden bij studieswitch – ntb
E. Na periode 3 minder aandacht besteden aan studenten in
deze groep
Type uitval
Prioriteit
Studiekeuze
1/11
A B C D
Instelling - Algemeen
Zwaartepunt maatregelen
In en na periode 1
E
© Deloitte Consulting, 2014
22© Deloitte Consulting, 2014
Mogelijke herijking strategische keuzesExtra toelichting op leeftijd, diploma in 4 jaar en cum laude
12 3 4
56
7
8
9
1110
Leeftijd bij aanvang studie DUO kwaliteit middelbare scholen
Bachelordiploma in 4 jaar
12
3 4
56
7
89
1110
12
3 4
56
7
89
1110
Cum Laude
12
3 4
56
7
89
1110
© 2014 Deloitte The Netherlands23
Welke factoren spelen een rol in studiesucces?
Wat is de visie van de instelling op dit thema?
VISIE EN STRATEGIE
ANALYSE VAN DATA
Wat is de huidige
werkpraktijk? Hoe zijn
processen en systemen
ingericht? Wat is de cultuur?
Welke interventies worden
nu ingezet?
ANALYSE VAN WERKPRAKTIJK
Welke vormen van student-
begeleiding sluiten optimaal
aan bij de daadwerkelijke
behoefte van studenten?
STUDENTBEGELEIDING
EVIDENCE BASED
Hoe kunnen we de uitkomsten van
de analyses borgen in cultuur,
processen & procedures en
informatiesystemen?
VERANDERING
Wat is het effect van de
nieuwe aanpak?
MONITORING
STUDIE-
SUCCES
Wat kunnen we leren uit
studentdata (historische en
realtime data)
Vervolgstappen Vervolgstappen om de onderzoeksresultaten optimaal te gebruiken
1. Ontwikkel een integrale, instellingsbrede visie
op studentbegeleiding
2. Borg de kennis over de studentenpopulatie en
studentbegeleiding onder medewerkers per
faculteit
3. Borg de nieuwe werkwijze in procedures,
processen en systemen en stel een roadmap op
naar de gewenste situatie
4. Monitor het effect van de nieuwe
aanpak en veranker de uitkomsten in
planning en control
© 2014 Deloitte The Netherlands
Meer informatie
24
Theo BakkerSenior Manager Onderwijs
Deloitte Consulting
tbakker@deloitte.nl
06-10999307
Deloitte refers to one or more of Deloitte Touche Tohmatsu Limited, a UK private company limited by guarantee, and its network of member firms,
each of which is a legally separate and independent entity. Please see www.deloitte.com/about for a detailed description of the legal structure of
Deloitte Touche Tohmatsu Limited and its member firms.
Deloitte provides audit, tax, consulting, and financial advisory services to public and private clients spanning multiple industries. With a globally
connected network of member firms in more than 150 countries and territories, Deloitte brings world-class capabilities and high-quality service to
clients, delivering the insights they need to address their most complex business challenges. Deloitte’s more than 200,000 professionals are
committed to becoming the standard of excellence.
This communication contains general information only, and none of Deloitte Touche Tohmatsu Limited, its member firms, or their related entities
(collectively, the “Deloitte network”) is, by means of this communication, rendering professional advice or services. No entity in the Deloitte network
shall be responsible for any loss whatsoever sustained by any person who relies on this communication.
.