1

NSE: VAN CIJFERS NAAR ACTIE

Mervin van Veen & Peter van de Vijver, 22 mei 2014

MET FOCUS OP KWALITEIT

2

Even voorstellen: wie is GfK, wie zijn wij?

3

• Wat is de Nationale Studenten Enquête (NSE)?

• De resultaten van de NSE: hoe ziet dat eruit?

• De resultaten van de NSE: wat kun je ermee?

• Van cijferbrij naar inzicht: de kracht van prio-analyses.

• Prio-analyse op basis van NSE2014: HBO en WO.

• Van inzicht naar duiding en actie (kwaliteitsbeleid).

4

Nationale Studenten Enquête

5

• Sinds 2013 uitgevoerd door GfK.

• In 2014 namen 232.667 studenten deel (respons: 33,4%).

• Unieke meerjarige monitor, die gebruikt kan worden als

thermometer voor kwaliteitsbeleid.

• Daarnaast: waardevolle keuze-informatie voor studenten.

• Vandaag: de resultaten van NSE2014 worden openbaar.

6

Resultaten van de NSE

7

• Instellingsbestand (2010-2014) met de resultaten van de eigen

instelling en eventuele specifieke vragen.

• Openbaar benchmarkbestand met resultaten van alle

instellingen (2010-2014).

• Factsheet met een overzichtelijke weergave van de eigen

resultaten, de ontwikkeling 2013-2014 en de verschillen ten

opzichte van landelijk gemiddelde.

8

• Factsheet laat zien: op welke punten gaat het beter en op

welke punten gaat het minder goed (t.o.v. 2013, landelijk)?

• Met het databestand kan er nog veel meer, maar dat is niet

voor iedereen weggelegd.

• En … dé prangende vraag: ‘Wat moet ik nu doen om de

tevredenheid van onze studenten naar een hoger peil te tillen’,

wordt nog niet beantwoord.

9

Van cijferbrij naar inzicht: de prio-matrix

10

• Een prioriteitenanalyse is een analysetechniek, waarmee relatief eenvoudig

de relatie tussen alle oordelen als gevraagd in de NSE met de algemene

tevredenheid van studenten in beeld kan worden gebracht.

• De visualisatie van de prio-analyse (prio-matrix) laat een ieder duidelijk zien

welke elementen bepalend zijn voor de tevredenheid van de student over

zijn of haar opleiding.

11

Prioriteitenmatrix kent vele namen

• Prioriteitenmatrix

• Key Driver analysis (KDA)

• Importance-Performance analysis / IP analysis

• Quadrant analysis

• Needs-gaps analysis (needs/gaps/niches/musts)

• Needs-gaps matrix

• En nog heel veel andere namen

12

•Verband tussen waardering en belang

•Inzicht in sterktes (hoge waardering, hoog belang) en zwaktes (lage

waardering, hoog belang)

•Prioriteit: aan welke kenmerken moeten bij voorkeur worden aangepakt:

lage waardering, hoog belang

•Eenvoudige visualisatie; eenvoudige interpretatie

Waardering kenmerken(themascores)

Waardering kenmerken(themascores)

Belang kenmerken(effect op tevredenheid)

Belang kenmerken(effect op tevredenheid)

Doel prioriteitenmatrix

13

Keuzes ten aanzien van de prioriteitenmatrix

•Hoe wordt het (relatieve) belang bepaald?

•Wat wordt er op de x-as en wat wordt er op de y-as afgebeeld?

•Waar de komen de lijnen die het plaatje in kwadranten indelen?

item1

item2

item3

item4

item5

item6item7

item8item9

item10

item11

item12

item13

item14

item15

item16

5

6

7

8

9

10

0% 2% 4% 6% 8% 10% 12% 14%

Tevre

denheid

(gem

idde

ld r

appo

rtci

jfer

)

Belang (% bijdrage aan algehele tevredenheid)

Prioriteitenmatrix <NAAM>

Verbeteren minder prioriteit Verbeteren met prioriteit

Handhaven Scherp bewaken

14

Belang van de kenmerken

Hoe bepaal je het (relatieve) belang van de kenmerken?

•Direct vragen:

Wat bepaalt jouw tevredenheid over je opleiding?

•Afleiden uit de samenhang met een afhankelijke variabele:

Correlaties tussen kenmerken en afhankelijke variabele

Regressie-analyse van kenmerken (onafhankelijke variabelen) op

afhankelijke variabele

Relative weights analyse van kenmerken (onafhankelijke variabelen) op

afhankelijke variabele

15

Correlatie

16

Belang van de kenmerken

Direct vragen:

nadeel: differentieert slecht, men vindt vaak alles belangrijk

nadeel: leidt tot veel meer vragen

Correlaties tussen kenmerken en afhankelijke variabele

nadeel: bij correlatie tussen de kenmerken: veel overlap (alles hangt met alles

samen)

Regressie-analyse van kenmerken op afhankelijke variabele

nadeel: bij correlatie tussen de kenmerken is geen bruikbare maat beschikbaar

Relative weights analyse van kenmerken op afhankelijke variabele

voordeel: relatief belang is de som van de direct en indirecte effecten

voordeel: relatief belang per kenmerk telt op tot R2

17

Belang van de kenmerken

Binnen GfK wordt meestal gewerkt met:

Beter bruikbaar (voor dit doel) dan regressieanalyse of correlaties:

• Levert beter interpreteerbare belangscores op

• Bij heel veel kenmerken

• Bij sterke samenhang tussen de kenmerken

Relative Weights AnalyseRelative Weights Analyse

18

X-as (horizontaal): belang

De assen van het plaatje

Wat wordt er op de x-as en wat wordt er op de y-as afgebeeld:

belangmeestal als

% belang vanoverall oordeel

waarderingmeestal als

cijfer

19

X-as (horizontaal): belang

De verdeling in kwadranten

En waar de komen de lijnen die het plaatje in kwadranten indelen?

gemiddelde belang over alle

aspecten

gemiddeldewaardering over

alle aspecten

20

Prioriteitenmatrix tevredenheid - uitleg

AANPAKKENGroot belang, lage waardering

PROFILERENGroot belang, hoge waardering

VERBETERENMinder belang, lage waardering

BEWAKENMinder belang, hoge waardering

De prioriteitenmatrix geeft aan met welke prioriteit de verschillende tevredenheidsaspecten moeten worden aangepakt. In de matrix zijn twee dimensies van de aspecten in beeld gebracht:

• het belang van de tevredenheidsaspecten voor de algehele tevredenheid (horizontaal)

• de waardering van dezelfde tevredenheidsaspecten door de klanten (verticaal)

De matrix wordt ingedeeld in vier kwadranten met behulp van het gemiddelde belang (percentage) en de gemiddelde tevredenheid (rapportcijfer) . De vier kwadranten hebben de volgende betekenis:

Aspecten in dit kwadrant dienen met prioriteit te worden aangepakt. Met een verbetering van deze aspecten zal het grootste effect worden bereikt op de tevredenheid.

Aspecten in dit kwadrant moeten in elk geval scherp worden bewaakt en indien mogelijk verder worden versterkt. Ze zijn immers van groot belang. Gezien de relatief goede score is niet altijd een significante verbetering mogelijk.

Het verdient aanbeveling de aspecten in dit kwadrant te verbeteren, maar ze hebben minder prioriteit, omdat ze minder belangrijk zijn.

Van aspecten in dit kwadrant moet het goede niveau scherp worden bewaakt. Zij bepalen namelijk voor een belangrijk deel de tevredenheid van studenten.

21

PRIORITEITENMATRIXop basis van de resultaten van NSE 2014

22

Priomatrix HBO (gewone correlatie)

23

Priomatrix HBO (achterliggende correlatiematrix)

Inhoud ,643

AlgemeneVaardigheden ,487 ,680

Wetensch.VaardighedenWo ,447 ,629 ,688

VoorbereidingBeroepsloopbaan ,458 ,626 ,555 ,505

Docenten ,543 ,698 ,578 ,534 ,555

Studiebegeleiding ,465 ,577 ,503 ,478 ,497 ,681

ToetsingBeoordeling ,485 ,653 ,546 ,532 ,493 ,625 ,522

Informatievoorziening ,430 ,573 ,475 ,474 ,467 ,582 ,558 ,573

Studierooster ,244 ,356 ,283 ,282 ,270 ,375 ,325 ,364 ,461

Studielast ,416 ,560 ,448 ,437 ,418 ,512 ,472 ,569 ,550 ,380

Groepsgrootte ,292 ,428 ,394 ,343 ,368 ,423 ,356 ,394 ,390 ,308 ,410

StageEnOpleiding ,243 ,312 ,264 ,265 ,310 ,333 ,338 ,283 ,320 ,198 ,259 ,209

StageErvaring ,166 ,236 ,218 ,195 ,269 ,201 ,195 ,202 ,192 ,129 ,193 ,186 ,408

Studiefaciliteiten ,282 ,422 ,349 ,346 ,345 ,427 ,379 ,394 ,454 ,378 ,403 ,390 ,226 ,157

Kwaliteitszorg ,421 ,562 ,466 ,473 ,449 ,579 ,540 ,523 ,573 ,388 ,489 ,379 ,315 ,185 ,469

Studieomgeving ,224 ,330 ,306 ,268 ,275 ,321 ,277 ,323 ,319 ,242 ,318 ,313 ,154 ,157 ,361 ,297

Huisvesting ,143 ,216 ,182 ,187 ,175 ,199 ,198 ,204 ,245 ,196 ,228 ,186 ,123 ,096 ,260 ,248 ,298

Gro

ep

sgro

otte

Je s

tud

ie in

he

t a

lge

me

en

Inh

ou

d

Alg

em

en

e

V

aa

rdig

he

de

n

We

ten

sch

ap

pe

lijke

V

aa

rdig

he

de

n W

o

Vo

orb

ere

idin

g

Be

roe

psl

oo

pb

aa

n

Do

cen

ten

Stu

die

be

ge

leid

ing

To

ets

ing

Be

oo

rde

ling

Info

rma

tievo

orz

ien

ing

Stu

die

roo

ste

r

Stu

die

last

Sta

ge

En

Op

leid

ing

Sta

ge

Erv

ari

ng

Stu

die

faci

lite

iten

Kw

alit

eits

zorg

Stu

die

om

ge

vin

g

24

Priomatrix HBO (relative weights)

25

Priomatrix WO (gewone correlatie)

26

Priomatrix WO (relative weights)

27

Van inzicht naar actie en beleid

28

What to do?

29

Tot slot

• Een priomatrix is een goed hulpmiddel om een helder inzicht te krijgen in wat voor

studenten belangrijk is voor hun algehele oordeel over de opleiding.

• Duiding van resultaten is pas goed mogelijk met kennis van de lokale situatie, dus op

de instelling, op de faculteit, of op de opleiding.

• Het betrekken van docenten & studenten bij de nadere duiding en het formuleren van

acties is vaak een goed idee, zeker als de uitkomsten in 1e instantie ‘onlogisch’ lijken.

• Op zich valt niet alles altijd even goed te beïnvloeden. Anderzijds moet wel creatief

worden gezocht naar oplossingen, die voor de student echt merkbaar zijn. Dit kan

gaan om concrete actie. Ook communicatie over waaraan wordt gewerkt en welke

aantoont dat er wordt geluisterd naar de stem van de student, is belangrijk.

30

DANK VOOR UW AANDACHT

ZIJN ER NOG VRAGEN?

Meer informatie? info@nse.nl