Student analytics? Van analyse naar voorspellen! - Steven Losekoot, Theo Bakker, Mark Boerma -...

Student Analytics

18 juni 2015

Steven Losekoot, Theo Bakker, Mark Boersma

Uitkomsten van een onderzoek naar

studiesucces aan de VU en optimale

begeleiding van studenten

Van analyse naar voorspellen

Eén op drie studenten valt uit

Jarenlang heeft het hoger

onderwijs een one-size-fits-all

oplossing nagestreefd voor haar

studenten. Een aanpak die wel

leidt tot efficiency winst, maar

niet per se tot de hoogst

mogelijke effectiviteit.

Een gerichte, persoonlijke

benadering is nodig

Student Analytics

kan dit mogelijk maken

Een ‘wicked problem’

1

Boredpanda.com: Kinderen op weg naar school

We analyseren alle beschikbare data

om studiegedrag te kunnen

voorspellen

2

En helpen hogescholen en

universiteiten om hun dienstverlening

aan studenten te transformeren

3

De voordelen zijn een persoonlijke

benadering vanuit tutoren, mentoren

en studieadviseurs voor alle

studenten

4

Onderwijsinstellingen die hier

gebruik van maken geeft dit een

‘unique selling point’

5

6

Verlaagt de kans op onnodige uitval

van studenten

En biedt daarmee bovendien een

middel om de prestatieafspraken te

halen

7

Visie Door beter inzicht in de individuele behoefte van de student draagt Data

Analytics bij aan de kwaliteit van persoonlijke, proactieve studentbegeleiding

8© Deloitte Consulting, 2014

Informatie over

• Achtergrond

• Motivatie

• Studievoortgang

• Struikelblokken

Worden geanalyseerd en

geeft inzicht in:

• Leerstijlen

• Kans op uitval, switch of

succes

• Daadwerkelijke behoefte

aan begeleiding

StudentenGerichtere voorlichting

in de wervingsfase Gerichte

matchings-

activiteiten

Tutoraat

gebaseerd op de

behoefte van de student

Indien nodig aangevuld

met trainingen en advies

In een doorlopende lijn met het formele

studieadvies

Tutoren

Voorlichters

Faculteiten

Studieadviseurs

BSA-

commissie

En advies voor jaar 2

of switch

& Studie-

adviseurs

Tutoren

Student-

begeleiding

Voor de poort

Periode

1-2

Periode 2-3Periode 4

Periode 5-6

Voor aanvang

Consistente en continue aandacht

© 2014 Deloitte The Netherlands9

Welke factoren spelen een rol in studiesucces?

Wat is de visie van de instelling op dit thema?

VISIE EN STRATEGIE

ANALYSE VAN DATA

Wat is de huidige

werkpraktijk? Hoe zijn

processen en systemen

ingericht? Wat is de cultuur?

Welke interventies worden

nu ingezet?

ANALYSE VAN WERKPRAKTIJK

Welke vormen van student-

begeleiding sluiten optimaal

aan bij de daadwerkelijke

behoefte van studenten?

STUDENTBEGELEIDING

EVIDENCE BASED

Hoe kunnen we de uitkomsten van

de analyses borgen in cultuur,

processen & procedures en

informatiesystemen?

VERANDERING

Wat is het effect van de

nieuwe aanpak?

MONITORING

STUDIE-

SUCCES

Wat kunnen we leren uit

studentdata (historische en

realtime data)

Scope van het onderzoek In het onderzoek concentreerden we ons op de

ontwikkeling van evidence based studentbegeleiding door een analyse

van data en werkpraktijk

Evidence based studentbegeleiding

© 2014 Deloitte The Netherlands

Help de juiste student

proactief het gehele jaar door en zo vroeg mogelijk

met gerichte voorlichting en begeleiding

Baseer de aanpak op 1) kans op uitval, 2) achtergrond van uitval en de

student en 3) optimale inzet van beschikbare interventies

VU-brede aanpak voor optimale studentbegeleiding

11

01/%

56Kans op uitval

03/Optimale inzet

beschikbare interventies

02/Achtergrond

uitval en student

© Deloitte Consulting, 2014

De juiste student

met de beste interventie

op het juiste moment

© Deloitte Consulting, 2014 12

Opzet onderzoek Via veel verschillende bronnen zijn deze gegevens

verzameld en vervolgens geanalyseerd

Eerstejaars inschrijvingen

MIVU NSE

SAP DUO

Selligent CBS

Analyse op studiesucces

Externe

data

Definitie Uitval of switch

Geen herinschrijving aan dezelfde opleiding in het

tweede jaar of uitschrijving hetzelfde jaar

Gebruikte cohorten: 2012 en 2013

Definitie Diplomarendement

Diploma van desbetreffende opleiding binnen 4 jaar

behaald (alleen berekend voor herinschrijvers)

Gebruikt cohort: 2010

22.584Eerstejaars inschrijvingen

20.352Unieke studenten

5Studiejaren

(2009 – 2013)

44Opleidingen

12Faculteiten

2.876.879Resultaten

100-enAfgeleide variabelen

Populatieonderzoek

VU Data

Een rijke mix

aan data

Correctheid

voorspelling uitval

% goed voorspeld per

periode

De resultaten van de data analyses bouwden voort op elkaar

Het data-onderzoek is uitgevoerd in drie stappen


Univariate analyse

• Het effect van steeds één variabele op

uitval of switch, en op diplomarendement

• Weergave in een staafdiagram

Regressie-analyse

• Onderzoek naar de meest significante

variabelen

• Komen tot een betrouwbaar en consistent

model waarmee voorspellingen kunnen

worden uitgevoerd

Segmentatie-analyse

• Onderzoek naar de onderlinge samenhang

van de variabelen

• Onderscheiden van verschillende groepen

studenten

Geslacht

Effect op uitval of switch in het eerste jaar

M

V

0% 25% 50% 75% 100%Uitval of switch (1ste jaar)

91100

80

0

60

40

20

92

6

89

4

86

10 5

858071

32

2

1

3

2

1

3

Van losse gegevens

naar een inzichtrijk

totaalbeeld

Univariate inzichten Studenten die zich laat aanmelden voor hun

studie ervaren minder studiesucces

Dagen van aanmelding voorafgaand aan start studie

Verdeling van eerstejaars inschrijvingen

Toelichting




Effect op diplomarendement na vier jaar

- 13,2% van de studenten meldt zich in de laatste 25

dagen aan voor hun studie. Deze studenten vallen

aanzienlijk meer uit dan de overige studenten (47,3%)

[0,25]

(25,50]

(50,75]

(75,100]

(100,150]

(150,200]

0% 25% 50% 75% 100%Diplomarendement (4 jaar)

[0,25]

(25,50]

(50,75]

(75,100]

(100,150]

(150,200]

0% 25% 50% 75% 100%Uitval of switch (1ste jaar)

* Bevat 12,3% missende waardes

[0,25]

(25,50]

(50,75]

(75,100]

(100,150]

(150,200]

0% 25% 50% 75% 100%Percentage eerstejaars inschrijvingen (EOI)

VU (#8.599) FEW (#1.008) FEWEB (#1.633)

14

Bijdrage van elk gegeven

aan uitval en diplomarendement

is bekend

- s() staat voor ‘smooth’ term- dit is een niet lineaire geschat verband 15

Regressie-analyse Het model schat op basis van een logische en evenwichtige

keuze uit variabelen de kans op uitval of switch op 7 meetmomenten

Formule voor de voorspelling: Uitval ~ Geslacht + Gem. middelbare schoolcijfer + Voorlichting_voor +

Voorlichting_na + s(Leeftijd) + s(dagen tussen aanmelding en start studie) + Faculteit + s(EC | periode) + s(EC –

gem. EC cohort) + Aantal herkansingen + Uiteindelijk BSA

Resultaten Definitief BSA

Moment van

aanmelding

en Leeftijd

Middelbare

schoolcijfersFaculteitVoorlichtingGeslacht

Zeven

groepen

variabelen

voorspellen

uitval optimaal

© 2014 Deloitte The Netherlands

Correctheid voorspelling uitval

16

Correctheid voorspelling diplomarendement

Voorspelling Gedurende het jaar worden de voorspellingen accurater; na

periode 2 is een zeer goede inschatting mogelijk

929189868580

71

0

10

20

30

40

50

60

70

80

90

100

210 54 63

787877757370

67

0

10

20

30

40

50

60

70

80

90

100

10 2 6543

Percentage goed voorspeld per periode Percentage goed voorspeld per periode

Met ieder blok groeit de kwaliteit van de voorspelling

Voorspelling De voorspelling is al vanaf periode 2 beter dan het tussentijdse

BSA-advies (periode 3) en wordt gedurende het jaar nog sterker

Tussentijdse BSA en voorspelling per periode


Tussentijdse BSA 0 1 2 3 4 5 6

59% 36% 51% 61% 67% 74% 79% 81%

18% 17% 16% 17% 16% 16% 18% 18%

9% 5% 6% 5% 5% 4% 3% 3%

- Voor een eerlijke vergelijking is

gekozen voor categorieën die tot

dezelfde grootte van groepen leiden

tijdens de derde periode

- Er is alleen gekeken naar studenten

die vóór periode drie een tussentijds

BSA-advies gekregen hebben

Toelichting vergelijking

>25%

10-25%

<10%

Kans op

uitval of switch

Voorspelling

Voordelen voorspelmodel

- De juiste student- het model is accurater dan het

tussentijdse BSA-advies

- Zo vroeg mogelijk- in periode 2 geeft het model een

betere voorspelling dan het tussentijdse BSA-advies tijdens

periode 3

- Het hele jaar door- elke periode verbetert de voorspelling

en geeft het beste inzicht voor een proactieve benadering

- Uniform - de voorspelling houdt rekening met verschillende

studies en BSA-normen en doet dit op dezelfde manier

- Geautomatiseerd - kan leiden tot verminderde werkdruk


Na periode 2 voorspelt het model al

beter dan het tussentijdse BSA-advies

Studenten winnen zo 2

maanden tijd om bij te sturen

Interventie Door op uitval of switch te sorteren en bij 25% van de studenten

te interveniëren, bereikt de VU zo 75% van uitvallers (tot periode 4)


Door zich te richten

op 25% van de studenten (periode 4)

Bereikt de

VU 75% van

de studenten

die zullen

uitvallen of

switchen

1

2

De organisatie kan tijd en

mensen efficiënt inzetten

Segmentatie (1/2) De 18.869 VU-studenten zijn op basis van studiegedrag in de 6

perioden van het eerste jaar ingedeeld in 11 groepen


7) Degelijke studenten

Laag inkomen; vrouwen met

gemiddelde schoolcijfers. Lage

uitval, behalen hun

diploma(#2.259)

4) Toekomstige sterren

Potentieel goed presterende

studenten, maar niet allemaal

zullen ze afstuderen (#1.309)

2) Feeststudenten

Veelal mannen uit welvarende

huishoudens. Relatief veel onvoldoendes

en herkansingen. Gemengde uitval en

diplomarendement(#1.199)

1) Afhakers

Oudere (mannelijke) studenten uit goed

milieu, voorlichting niet voor maar tijdens de

studie. Doen bij onvoldoende geen

herkansing. Hoge uitval (#636)

9) Sterke starters

Goede start, maar

wisselende uitval en

diplomarendement (#1.776)

5) No show-ers

Divers segment met hoge

cijfers en kans op uitval

(#740)

8) Uitvallende taaltoetsers

Mannen van 20+ jaar met

slechte schoolresultaten.

Volgen niet voor maar tijdens

de studie voorlichting.

Onvoldoende taaltoets, hoge

uitval (#2.986)

6) Middenmoters

Mannen uit welvarende, landelijke

gebieden met lage middelbare school

cijfers, geen uitval en hoog

diplomarendement (#1.126)

11) IJverige meisjes

Veelal vrouwen met matige

schoolcijfers die een trage start

beleven. Het eerste jaar

eindigen ze sterk. Ze vallen niet

uit en behalen hun diploma

(#2.186)

10) Herkansers

Trage opstarters die het

minimum aantal EC’s behalen

om te slagen. Doen veel

herkansingen. Geen uitval,

geen diploma (#3.181)

3) Ideale studenten

Vroege leerlingen met direct

uitstekende studieresultaten, lage

uitval en hoog diplomarendement

(#1.471)

12

3 4

56

7

89

1110

Het totaalbeeld biedt inzicht in soorten uitval en omvang

Segmentatie (2/2) Op basis van de segmentatiekaart kunnen we een aantal

algemene conclusies trekken over de groepen


Rechterkant

• Minder uitval

• Meer diplomarendement

• Meer voorlichting voor start

studie

• Minder voorlichting na start

studie

• Meer vrouwen

• Jongere studenten (17-19 jr)

12

3 4

56

7

89

1110Linkerkant

• Hoge uitval

• Minder

diplomarendement

• Minder voorlichting voor

start studie

• Meer voorlichting na start

studie

• Meer mannen

• Oudere studenten (20+ jr)

Onderkant

• Omgeving: Meer verstedelijkte gebieden

• Omgeving: Hogere inkomens

• Omgeving: Minder niet-westerse

allochtonen

Bovenkant

• Omgeving middelbare school: Minder verstedelijkte gebieden

• Omgeving middelbare school: Lagere inkomens

• Omgeving middelbare school: Meer niet-westerse allochtonen

Studiesucces is duidelijk verspreid over de kaart, uitvallers en switchers bevinden zich aan de linkerkant.

De achtergrond van

studenten verrijkt

gericht beleid

21


0.0

0.2

0.4

0.6

0.8

12

3 4

56

7

89

1110

Uitval of switch binnen één jaar Bachelordiploma in 4 jaar

12

3 4

56

7

89

1110

12

3 4

56

7

89

1110

Cum Laude

Vier patronen van uitval en studiesucces

Op basis van uitval of switch en diplomarendement

kunnen we vier patronen onderscheiden

AB

C

D

AB

C

D

AB

C

D

Binnen de segmentatiekaart kunnen we grofweg vier

patronen onderscheiden in uitval/switch en diploma-

rendement:

A: Zeer snelle uitval en geen kans op studiesucces

B: Gedeeltelijke uitval, later in het jaar; als ze

doorstuderen studeren ze veelal niet nominaal

C: Nominale studenten

D: Excellente studenten; studeren veelal niet nominaal

Idealiter schuiven de lijnen op naar linksboven als

gevolg van passende voorlichting en begeleiding.

Vier invalshoeken

voor begeleiding

-01 00 01 02 03 04 05Voor

aanvang

Insch

rijv

ing

Periode 1

Periode 2

Periode 3

Periode 4

Periode 5

06 Periode 6

Tussentijds BSA BSATaaltoets

+ 1e cijferMatchingVoorlichting

Versnel de invoer van optimale studentbegeleiding door de volgende VU-

brede, uniforme maatregelen

VU-breed beleid voor optimale studentbegeleiding

A. (1) Richt studentbegeleiding VU-breed zoveel mogelijk gelijk in en (2) monitor het effect ervan

B. Ontsluit informatie over voortgang en kans op succes naar alle partners in de gehele keten op need-to-

know basis (begeleiders èn studenten); vraag vooraf toestemming aan de student voor het gebruik van

informatie voor begeleiding

C. Richt op centraal niveau een ‘studeren in 1x goed’ traject in ter ondersteuning van studievaardigheden

D. (1) Differentieer voorlichting naar studiekiezers en herkiezers en (2) organiseer een centraal

heroriëntatietraject

E. … etc

22

Acties

A B C F F FF D ED E H F H F HG


Over de

gehele keten

Verbetering van randvoorwaarden vergroten het succes


Percentages uitval per segment als basis voor prioriteringAantallen studenten en uitval variëren per segment. Samen vormen ze de

basis voor prioritering van interventies.

Percentage studenten per segment van de totale populatie

0 2 4 6 8 10 12 14 16 18

9) Sterke starters

12

17

9

8) Uitvallende taaltoetsers 16


10) Herkansers

3

6

4

1) Afhakers

8

6) Middenmoters

3) Ideale studenten

6



5) No show-ers

7

2) FeeststudentenUitval of Switch

Overig

2

2

2

2

3

5

7

8

10

14

45

0 5 10 15 20 25 30 35 40 45

9) Sterke starters

1) Afhakers

6) Middenmoters

8) Uitvallende taaltoetsers

5) No show-ers

2) Feeststudenten

10) Herkansers

3) Ideale studenten




Uitval of Switch

Percentage uitval per segment van de totale uitval

Prioritering: 8 > 9 > 1 > 5 > 10 > 2

De prioriteit van

begeleiding laten we

afhangen van de grootst

mogelijke effecten

Persona’s om de ideeën aan te scherpen


5 persona’s om de ideeën aan te scherpen


Vanuit het perspectief van de student


© 2014 Deloitte The Netherlands27

Welke factoren spelen een rol in studiesucces?

Wat is de visie van de instelling op dit thema?

VISIE EN STRATEGIE

ANALYSE VAN DATA

Wat is de huidige

werkpraktijk? Hoe zijn

processen en systemen

ingericht? Wat is de cultuur?

Welke interventies worden

nu ingezet?

ANALYSE VAN WERKPRAKTIJK

Welke vormen van student-

begeleiding sluiten optimaal

aan bij de daadwerkelijke

behoefte van studenten?

STUDENTBEGELEIDING

EVIDENCE BASED

Hoe kunnen we de uitkomsten van

de analyses borgen in cultuur,

processen & procedures en

informatiesystemen?

VERANDERING

Wat is het effect van de

nieuwe aanpak?

MONITORING

STUDIE-

SUCCES

Wat kunnen we leren uit

studentdata (historische en

realtime data)

Vervolgstappen Vervolgstappen om de onderzoeksresultaten optimaal te

gebruiken

1. Ontwikkel een integrale, VU-brede visie op

studentbegeleiding

2. Borg de kennis over de studentenpopulatie en

studentbegeleiding onder medewerkers per

faculteit

3. Borg de nieuwe werkwijze in procedures,

processen en systemen en stel een roadmap op

naar de gewenste situatie

4. Monitor het effect van de nieuwe

aanpak en veranker de uitkomsten in

planning en control

Contactgegevens

• Steven Losekoot, Programmamanager Ondersteuning Studeren en Doceren,

[email protected]

• Mark Boersma, Analytics Lead Deloitte Consulting Hoger Onderwijs,

[email protected]

• Theo Bakker, Senior Manager Onderwijs, [email protected]


mailto:[email protected]



Deloitte refers to one or more of Deloitte Touche Tohmatsu Limited, a UK private company limited by guarantee, and its network of member firms,

each of which is a legally separate and independent entity. Please see www.deloitte.com/about for a detailed description of the legal structure of

Deloitte Touche Tohmatsu Limited and its member firms.

Deloitte provides audit, tax, consulting, and financial advisory services to public and private clients spanning multiple industries. With a globally

connected network of member firms in more than 150 countries and territories, Deloitte brings world-class capabilities and high-quality service to

clients, delivering the insights they need to address their most complex business challenges. Deloitte’s more than 200,000 professionals are

committed to becoming the standard of excellence.

This communication contains general information only, and none of Deloitte Touche Tohmatsu Limited, its member firms, or their related entities

(collectively, the “Deloitte network”) is, by means of this communication, rendering professional advice or services. No entity in the Deloitte network

shall be responsible for any loss whatsoever sustained by any person who relies on this communication.

.

Student analytics? Van analyse naar voorspellen! - Steven Losekoot, Theo Bakker, Mark Boerma -...

Education

Transcript of Student analytics? Van analyse naar voorspellen! - Steven Losekoot, Theo Bakker, Mark Boerma -...