Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank...

34
INFORMATIE of.. DESINFORMATIE? met de resultaten van de NSE? Lunchpresentatie Studiekeuze confer entie Bunnik 22 mei 2014 Frank Steenkamp

description

Titel: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding Spreker: Frank Steenkamp Lunchsessie Zaal 24

Transcript of Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank...

Page 1: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

INFORMATIE of..DESINFORMATIE?

met de resultaten van de NSE?

Lunchpresentatie

Studiekeuzeconferentie

Bunnik 22 mei 2014

Frank Steenkamp

Page 2: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

Outline:

1. C.H.O.I. en Keuzegids, kort

2. WAT is eerlijk en objectief

informeren?

3. Voorbeelden:

…. Bla

…. Bla

4. Toegift?

Page 3: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

1. De KeuzegidsOnafhankelijke vergelijkingsgids voor studiekeuze

Al 23 jaar. En nog steeds nodig.

Page 4: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

2. Eerlijk en objectief informeren..Is er dan een probleem met die

informatie??

JA.Studiekeuze IS al moeilijk genoeg.

Jongeren zijn beïnvloedbaar, gevoelig voor slimme imagocampagnes *ALS we zeggen te informeren, laten we dat dan EERLIJK en ZORGVULDIG doen!

Page 5: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

2. WAT is zorgvuldig informeren?

Waaraan moet de informatie voldoen?• Relevant• Toegankelijk en begrijpelijk• Actueel• Volledig• Statistisch betrouwbaar• Evenwichtig en eerlijk

We nemen de proef op de som.Daarvoor heb ik u nodig!

Page 6: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

3. VOORBEELDEN..

a. Opleidingsaanbod: zijn die lijstjes wel objectief en neutraal?

b. Accreditatiegegevens: wie kan ze vinden en kloppen ze wel?

c. Studentenoordelen: hoe betrouwbaar?

d. Kiest u maar!

Page 7: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

Dat de commerciëlen sturen, wist u al?

3. Voorbeeld a: opleidingsaanbod

Qompas:-> overzicht van WO-studies, indeling in groepen.

-> welke sector hoort hier niet thuis?

-> waarom wordt hij dan toch getoond??

Page 8: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

a: opleidingsaanbod

TKMST: kondigt een bijzondere opleiding

aan…

En geeft er een

MAXIMALE

beoordeling aan

mee…..

Page 9: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

a: opleidingsaanbod

Alleen…. Is deze opleiding nog niet geaccrediteerd. Voorbarig dus!

De hogeschool is er zelf nog eerlijker over..

Ook het regulier hbo en wo presenteren geregeld ‘tracks’ als erkende ‘opleidingen’, zonder dat dit altijd helder is.

Page 10: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

a*: opleidingsaanbod xtra

Welke opleidingen staan bovenaan? Waarom?Neem Studiekeuze123, Bedrijfseconomie

Is dit:- Alfabetisch?- Op aantal sterren?- Random?

Page 11: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

(volgorde Hbo bedrijfseconomie)

Er zit een systeem in, maar wat?Waarom Windesheim bijna altijd bovenaan?

Bedrijfseconomie1 Saxion Deventer2 Windesheim locatie Zwolle3 Avans Breda4 Fontys Hogescholen Eindhoven5 Stenden Hs locatie Emmen6 HZ University of Applied Sciences7 Hs van Amsterdam8 NHL Hs9 Fontys Hogescholen Venlo

10 Hs Rotterdam11 Saxion Enschede12 HanzeHs Groningen13 Hs Utrecht14 Zuyd Hs locatie Sittard15 Hs van Arnhem en Nijmegen locatie Arnhem

Elektrotechniek1 Windesheim locatie Zwolle2 Avans Breda3 Fontys4 Hs van Amsterdam5 NHL Hs6 Hs Rotterdam7 Saxion Enschede8 HanzeHs Groningen9 Hs Utrecht

10 Zuyd Hs locatie Sittard11 Hs van Arnhem en Nijmegen locatie Arnhem12 Hs Inholland Alkmaar

Page 12: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

(volgorde bedrijfseconomie)

Wat is het systeem hierachter?

‘n verborgen code,BRIN-nummer?

BRIN-nr1 Saxion Deventer 23AH2 Windesheim locatie Zwolle 01VU3 Avans Breda 07GR4 Fontys Hogescholen Eindhoven 30GB5 Stenden Hs locatie Emmen 22EX6 HZ University of Applied Sciences 21MI7 Hs van Amsterdam 28DN8 NHL Hs 21WN9 Fontys Hogescholen Venlo 30GB

10 Hs Rotterdam 22OJ11 Saxion Enschede 23AH12 HanzeHs Groningen 25BE13 Hs Utrecht 25DW14 Zuyd Hs locatie Sittard 25JX

Het lijkt erop, maar het klopt nog niet echt….!

Page 13: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

(volgorde bedrijfseconomie)

De oplossing ligt in de historie: BRINs uit 2005 BRIN-nr BRIN 2005

1 Saxion Deventer 23AH 00BH2 Windesheim locatie Zwolle 01VU 01VU3 Avans Breda 07GR 07GR4 Fontys Hogescholen Eindhoven 30GB 15CL5 Stenden Hs locatie Emmen 22EX 21IY6 HZ University of Applied Sciences 21MI 21MI7 Hs van Amsterdam 28DN 21QW8 NHL Hs 21WN 21WN9 Fontys Hogescholen Venlo 30GB 21WO

10 Hs Rotterdam 22OJ 22OJ11 Saxion Enschede 23AH 23AH12 HanzeHs Groningen 25BE 25BE13 Hs Utrecht 25DW 25DW14 Zuyd Hs locatie Sittard 25JX 25JX

2005 was het beginjaar van Studiekeuze123!

Page 14: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

(volgorde bedrijfseconomie)

Leuk jaarringenonderzoek?

Tegelijk: nogal ondoorzichtig.Windesheim heeft onevenredig voordeel.

Dan toch liever het alfabet. Is eerlijker zoeken.

Page 15: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

3. Voorbeeld b: accreditatiescores

Je verwacht dat de gegevens te vinden zijn, en- toegankelijk - actueel- volledig en- foutloos

verwerkt

We keken naar de NVAO en naar Studiekeuze123.

… en dat levert verrassende conclusies op

Page 16: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores

NVAO 3500 accreditatiebesluiten online, maar:• zoekmachine rammelt (blijven proberen!)• vaak onvindbaar na naamswijziging• soms zelfs foute rapport achter een link

Master Economics Erasmus Universiteit?=> rapport Mondhygiëne Groningen!

Ook lastig: 3500 pdf-rapporten, maar niet op tekst doorzoekbaar. (goedkoop ingescand)

http://search.nvao.net/search-detail/48799

Page 17: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores

Wat doet Studiekeuze123 hiermee?

… krijgt alle gegevens van NVAO… maakt een landelijke database voor o.a. de Keuzegids… vermeldt accreditatiebesluiten op de eigen website.

Dat moet natuurlijk kloppen met elkaar.Doet het dat ook?

Checken bij enkele opleidingen

Page 18: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores

Voorbeeld: TUE Electrical EngineeringBij Studiekeuze123 vinden we:

GEEN accreditatiegegevens. Jammer..

Page 19: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores

Maar bij NVAO is er wél rapport:

Er is probleem. Dat zouden we willen weten

Page 20: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores

Studiesucces – interessante kwestie

Er is probleem. Dat zouden we willen wetenIs dit moeilijk samen te vatten / te

linken?

Page 21: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores HBO

Media & Entertainment Management InhollandWoelige historie. Hoe verwerkt? Kijk in de database:

2 = Goed. Dat scoort de opleiding op bijna allesEn de informatie lijkt actueel: dec 2013

Dus staat het ook zo op www.studiekeuze123?

Page 22: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores

MEM Inholland op www.studiekeuze123

Wie heeft er gelijk: database of website?

Page 23: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores

… GEEN VAN BEIDE!!

De datum klopt. Maar het oordeel? NEEOp alle punten een 1, dus niet “Goed” maar “Voldoende”

Page 24: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

b: accreditatiescores

Er zijn dus DRIE werkelijkheden:

… Database: verouderde info, met misleidend actuele datum… Website: “geen informatie beschikbaar”… NVAO: het echte, zuinig oordeel – moeilijk opzoekbaar

Dit is moeilijk te verteren. Komt het vaker voor?Nog honderden keren.Is ‘technisch’ verklaarbaar.Maar zou ABSOLUUT beter moeten

Page 25: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

3. Voorbeeld c: studentenoordelen

Misschien wel de belangrijkste vergelijkende keuze-informatie die er is.Dus mogen we verwachten:• Statistisch betrouwbaar• Eerlijk, GEEN beïnvloeding

Laten we eens kijken..

Page 26: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

c: BETROUWBARE studentenoordelen

Wat vinden we bij Studiekeuze123?

Hoe betrouwbaar wil je zijn?Discussie mogelijkKeuzegids zegt: 95%-marge max 0,25 (0,30)

Steekproef moet dan meestal 25+ zijn

Page 27: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

c: betrouwbare studentenoordelen

Vandaag nieuw op Studiekeuze123:

Instelling Opleiding Steekproef Jaar Populatie OnzekerheidVenlo HAS Toegepaste biologie 6 2014 25 0,61Notenboom Business Sch. Hospitality & Events Mngmnt 8* 2013 22 0,48

*) verspreid over 3 locaties

Ook bij kleine opleidingen wordt de lezer dus maximaal bediend met studentenoordelen.

Maar wat is de betekenis van die oordelen,De voorspellende waarde?

Page 28: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

c: betrouwbare studentenoordelen

Toegepaste bio in Venlo:

Scoort op “Inhoud” een 4,2

Lees dit als ‘Iets tussen 3,6 en 4,8’Of tussen ‘gewoon’ en ‘super-fantastisch’…Bovendien: het zijn louter 1e jaarsDie zijn altijd positiever in hun oordeel.Dus… wat is de voorspellende waarde?

Page 29: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

c: betrouwbare studentenoordelen

Hospitality Notenboom:

Scoort op “Studiebegeleiding” een 3,5

Lees dit als ‘Iets tussen 3,1 en 4,1’Of tussen zwakste 5% en sterkste 5%

Het is nog erger: groot verschil tussen locaties: Maastricht scoort met 4 man een 4,3Maar Hilversum met 3 man een 3,0

Mag je dit middelen? Wat is voorspellende waarde?Ons devies: “Liever niks dan quasi-feiten”

Page 30: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

c: EERLIJKE studentenoordelen

Er zijn twijfels geuit over de “onwaarschijnlijk” sterk gestegen score bij toerisme-school TIO

Vraag:• Kan de student bij alle opleidingen

onbevangen zijn oordeel geven?• Of is er toch strategische

beïnvloeding?

Maar bewijs is er niet.Zou het dan toch allemaal wel meevallen?

Page 31: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

c2: EERLIJKE studentenoordelen

Feb 2014: Mail opleiding X aan studenten“.. Nog lang niet iedereen heeft deze enquête ingevuld. Daarom vraag ik jullie persoonlijk, als jullie coördinator, of jullie s.v.p. voor ons team deze enquête toch willen invullen. Wij zouden hier heel blij mee zijn. Want mooie cijfers voor onze Hogeschool in de NSE betekent een positief licht voor ons allen in externe publicaties zoals de Elsevier en de Keuzegids. Wij hopen dit jaar een mooie plek te veroveren tussen de andere Hogescholen en hier gaan wij dan ook echt voor!Discussie: is dit OP of OVER het randje?

Page 32: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

c2: EERLIJKE studentenoordelen

Maar het gaat verder..

“.. Dat betekent natuurlijk niet dat er niets te verbeteren zou zijn. Echter opmerkingen ter verbetering hebben in de NSE, vanwege de lange tijd die het duurt voordat de resultaten bekend zijn, weinig effect. Veel beter is het om dit opmerkingen in evaluaties van modules te maken of richting mij te ventileren.

Kortom de slogan is: Ben je ergens tevreden over, zeg het de NSE en ben je ergens ontevreden over, zeg het ons…”

Als zulke manipulatie mogelijk is, is het de bijl aan de slagader van de studiekeuzeinformatie. Althans – als het werkt!Naschrift: Deze teamleider zal spijt hebben van zijn actie. Want (a) hij is betrapt en (b) de scores van de opleiding zijn in 2014 duidelijk gedaald. Studenten laten zich niet zó makkelijk sturen!

Page 33: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

Er zijn nog vele voorbeelden van incomplete, halve, verouderde en onwaarheden. Kiest u er één:• Instroom/omvang opleidingen• Studiesucces• Selectie/loting• Collegegeld/studiekosten• Toelatingseisen masters• Uitval/rendement masters• Positie op de arbeidsmarkt

3. Voorbeeld d: kiest u maar!

Page 34: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding - Frank Steenkamp - SKConf2014

4. Slot: perspectief

De meeste ‘studiekeuze-informatie’ betreft de gemiddelde student. Maar wie is dat?

Wordt het geen tijd om meer te differentiëren:- Mannen/vrouwen- Vooropleiding- Profiel, voorkeuren, competenties

Over 5 jaar lachen we hopelijk om de standaard-benadering van nu.