OVER APPELS EN PEREN

OF: Hoe vergelijken we

het onvergelijkbare?

Bijdrage DAIR-seminar, 7-11-2003Frank Steenkamp (HOP/Choice, Leiden)

WAT IS CHOICE?

Historie: HOP, Keuzegids -> Overheidsopdracht “StudieKeuze-Informatie 2003-2005”

In opbouw: Centrum Hoger Onderwijs-Informatie voor Consument en Expert = CHOICE.

Missie: Informeren. Objectief, onafhankelijk vergelijkend. Want: markttransparantie

DE MARKT VOOR STUDIEKEUZE-INFORMATIE

Gezocht; ARTICULATIE vanVRAAG EN AANBOD

SCHOLIER: zoekgedrag marktonderzoek OPLEIDINGEN:voorkeuren, motieven kwaliteiten, profielen

adviezen voorlichting, pr

benchmark-studiekeuze- gegevens STUDENTENinformatie info

kengetallen, profielinformatie enquetes

CHOICEonafh.info

dekanen, media,

beurzen, enz

ACTIVITEITEN CHOICEOverheidsopdracht:

- Studentenenquête. Nu 20.000 stud/jr

- Keuzegids H.O., nieuwe stijl: breder, dieper, degelijker

- DATABASE SKI, voor professionals. Public Domain. Meer feiten en cijfers, achtergrondgegevens enquete, enz enz. Eerste versie najaar 2003 afgeleverd.

Overige diensten:

- Benchmarkrapporten. Tot nu toe vooral ogv enquetes

- Bijdragen aan diverse onderzoeken (ICT-monitor, Inspectierapport studeerbaarheid, enz)

DE KERN: APPELS EN PEREN

1. “Je KUNT geen appels en peren vergelijken.”

En toch DOEN we het, ELKE DAG

HOE kan dat ook EERLIJK gebeuren?

2. Soort bij soort

3. Des groenteboers zelfevaluatie en benchmarking

4. De markt: groenteboeren vergeleken

1. Het PROBLEEM met appels en peren

Omzetverdeling en rotpercentage per groenteboer

Appels Peren Pruimen Percentage rotBoer A 70% 20% 10% 10%Boer B 40% 40% 20% 10%Boer C 40% 20% 40% 10%

INDRUK:

• Er zijn géén interessante verschillen

• Er is GEEN eerlijke vergelijking mogelijk

OF TOCH?

Het probleem (2): Rendement WO

TU Delft slaagcijfers na 6 jr (3yr-mean)

EERSTE INDRUKOpleiding Rend6jr RankTechnische bestuurskunde 40% 1 Technische wiskunde 25% 2 Elektrotechniek 25% 3 Technische informatica 17% 4 Scheikundige technologie 17% 5 Technische natuurkunde 16% 6 Civiele techniek 16% 7 Maritieme techniek 11% 8 Werktuigbouwkunde 10% 9 Technische aardwetenschappen 7% 10 Lucht- en ruimtevaarttechnologie 6% 11 Bouwkunde 6% 12

Maar... dit zegt NIKS!

2. Oplossing: SOORT BIJ SOORT

Details per fruitsoort: ALS we ze hebben, zijn ze per definitie relevant.

Appels Peren PruimenBoer A 8% 12% 23%Boer B 10% 5% 20%Boer C 3% 8% 17%

Maar wat is nu GOED en wat niet? Waar halen we een NORM vandaan?

3. BENCHMARKING, met FRUIT

Zoek NORM: landelijke cijfers per fruitsoortAppels Peren Pruimen

Landelijk % ROT 5% 10% 20%

Boer A 8% 12% 23%Boer B 10% 5% 20%Boer C 3% 8% 17%

Pas die norm toe

Het beeld verschuift...

Benchmark/ SOORT BIJ SOORT: WO

MAATLAT: landelijke slaagcijfers/ studie

Het beeld verschuift...

TWEEDE INDRUKOpleiding Rend6jr Landelijk TUD+ of -? RankTechnische bestuurskunde 40% 41% -1% 3

Technische wiskunde 25% 34% -9% 9

Elektrotechniek 25% 17% 8% 1

Technische informatica 17% 24% -7% 6

Scheikundige technologie 17% 41% -24% 11

Technische natuurkunde 16% 32% -16% 10

Civiele techniek 16% 14% 2% 2

Maritieme techniek 11% 13% -2% 4

Werktuigbouwkunde 10% 13% -3% 5

Technische aardwetenschappen 7% 42% -35% 12

Lucht- en ruimtevaarttechnologie 6% 13% -7% 7

Bouwkunde 6% 14% -8% 8

Benchmarking WO (2):Presenteren = vergelijken = beoordelen

STERK/ZWAK TUD-TEMPO: FOUTE VERSIE

0%

10%

20%

30%

40%

50%

TBestu

TWis

Elektro

Tinfo

Schei

TNatu

Civiel

Maritiem

Werktbw

Taardw

Luchtv

Bouwk

GOED: RELATIEVE TEMPOSCORES

-40% -30% -20% -10% 0% 10%

TBestu

TWis

Elektro

Tinfo

Schei

TNatu

Civiel

Maritiem

Werktbw

Taardw

Luchtv

Bouwk

4. DE MARKT: Groenteboeren VERGELEKEN

Wat nu als groenteboeren geen ROTdetails per winkel per fruitsoort bekendmaken??

Dan blijft GLOBALE vergelijking mogelijk:- Bepaal profielen: (omzet per fruitsoort (desnoods geschat!!)- Bereken (met landelijke cijfers) VERWACHTE totaalrot / winkel- Vergelijk dit met realiteit -> TOTAALSCORE over sterk of zwak

Appels Peren Pruimen Verwacht TOTSCOREBoer A .05*.7 .1*.2 .2*.1 8% 2% meerBoer B .05*.4 .1*.4 .2*.2 10% gelijkBoer C .05*.4 .1*.2 .2*.4 12% 2% minder

DE MARKT: Groenteboeren VERGELEKEN (2)

Toch blijft vergelijking op totaal PLUS details beter, voor profilering en markttransparantie.

Appels Peren Pruimen TOTAALBoer A 8% 12% 23% 2% meerBoer B 10% 5% 20% gelijkBoer C 3% 8% 17% 2% minderLandelijk 5% 10% 20%

Leuker kunnen we het niet maken - voor boer A...

DE MARKT: HO-instellingen VERGELEKEN

Discussie over ranglijsten, enz: WAT IS EERLIJK?

Medailleklassementen? (vgl Elsevier)

Het IDEE is goed:- 1e/ 2e plekken (medailles) als discipline-onafhankelijk succescriterium

Bezwaar:- alleen sterkste prestaties tellen, zwakkere niet- minieme verschillen tussen nr 1-2-3 hebben grote invloed- de OMVANG van instellingen is cruciaal (“Amerika wint altijd”)- kleine en grote opleidingen wegen even zwaar

DE MARKT: HO-instellingen VERGELEKEN (2)

Voorbeeld: medailleklassement Elsevier (bewerking Choice)

BESTE HOGESCHOLEN (Elsevier)GOUD ZILVER

Hs Zuyd 6 2Zwolle Windesheim 4 4HS Arnhem/Nijmegen 4 3CH Ede 4 1CH Noord-Nederland 3 1Hs Brabant 3 0TH Rijswijk 3 0NH Leeuwarden 2 5InHolland Diemen 2 3Hs Den Bosch 2 3Haagse Hogeschool 2 0Hs Drenthe 2 0Fontys Sittard 2 0

DE MARKT: HO-instellingen VERGELEKEN (3)

Aanpassing voor OMVANG hogeschool

HOGESCHOLEN: GEWOGEN MEDAILLESCOREGOUD ZILVER Score N Opl Score-2 Rank

Hs Zuyd 6 2 14 26 0,54 8Zwolle Windesheim 4 4 12 20 0,60 5HS Arnhem/Nijmegen 4 3 11 24 0,46 10CH Ede 4 1 9 6 1,50 2CH Noord-Nederland 3 1 7 6 1,17 4Hs Brabant 3 0 6 19 0,32 12TH Rijswijk 3 0 6 3 2,00 1NH Leeuwarden 2 5 9 20 0,45 11InHolland Diemen 2 3 7 14 0,50 9Hs Den Bosch 2 3 7 13 0,54 7Haagse Hogeschool 2 0 4 16 0,25 13Hs Drenthe 2 0 4 7 0,57 6Fontys Sittard 2 0 4 3 1,33 3

Het beeld verschuift weer...

DE MARKT: HO-instellingen VERGELEKEN (4)

Choice: TOTAALSCORES per instelling

Het IDEE is:- weeg sterk en zwak mee, houd MATE van verschil zichtbaar- geen invloed OMVANG instelling

AANPAK t/m 2002:- per studie verschilscores (sterk/zwak) per instelling (vgl studietempo TU Delft)- gemiddelde verschilscore per instelling bepaalt ranking- weging omvang studie? De groten wat vaker onderzocht..

TOEVOEGING 2003:- weging voor omvang studies. Criterium: instroom. [Rechten 300 1ejrs, bio 100. Oordeel rechten weegt 3 x zo zwaar!]

Argumenten & Bedenkingen

Maar: Totaalrankings slaan veel plat!

Interessanter zijn ‘rijkere’ presentaties:• Voor benchmarking van opleidingen...

Profiel Haagse HS Bewegingstechnologie in Kgids-enquête 2002

-0,6

-0,3

0,0

0,3

0,6inhoud

samhang

zelfwerkz

docenten

roost/tent

studbaarh

vb arbma

facilit.

gebouw

opnieuw?

HaBew02dif

Nul=land.gemidd

(... Rijkere presentaties...)

• Voor benchmarking van instellingen...TRENDS UNvTILBURG IN KG-ENQUETE 1999->2002

-0,40

-0,20

0,00

0,20

0,40

0,60

0,80

1,00IN

H

SA

MH

ZEL

F.L

.D

DO

CE

NT

RO

OS

TE

R

ST

UD

BA

VB

LO

OP

B

FA

CIL

HU

ISV

TE

VR

TO

TA

L

Kwaliteitsaspect

vers

ch

il ra

pp

ort

cijf

er

t.o

.v.

lan

delij

k

(... Rijkere presentaties...)

• ....en voorstudiekeuze:

TEST: KAMERMARKT IN STUDENTENSTEDEN

STAD Aa

nta

l s

tud

PR

IJS

Wa

ch

ttijd

ST

UD

OO

RD

EE

L

TO

T.S

CO

RE

Volledig onderzochtEnschede 16099 + ++ + Goed

Leeuwarden    15610 + + o Goed

Eindhoven 21961 o + - Redelijk

Delft 14231 -- ++ - Redelijk

Breda 17852 - - o Redelijk

Arnhem 14485 - o - Matig

Tilburg 20306 o - - Matig

Maastricht   15219 -- - o Matig

Den Haag 21524 -- o - Matig

Nijmegen 21016 o o -- Matig

Rotterdam 45926 - - - Matig

Zwolle 14602 - o -- Matig

Groningen 36887 - - -- Matig

Haarlem 7242 --- o -- Slecht

Leiden 18441 --- - -- Slecht

Utrecht 58851 -- -- -- Slecht

Amsterdam 78515 --- -- --- Z.slecht

Norm voor beoordelingEuro's MaandRapp.cijferZeer goed (++) <165 <2,5 >8,0

Goed (+) <200 <5 >7,0Redelijk (o) <235 <10 >6,0

Matig (-) <270 <20 >5,0Slecht (--) <305 <40 >4,0

Z.slecht (---) <340 >3,0