Rapport Onderzoek Aansturing Programma ERTMS · 1 Aanleiding en doel van het onderzoek 5 1.1...

Auditdienst RijkMinisterie van Financiën

RapportOnderzoek Aanstu ring Programma ERTMS

Colofon

Titel Onderzoek Aansturing Programma ERTMS

Uitgebracht aan de Directeur-Generaal Bereikbaarheid

Datum 27 januari 2017

Kenmerk definitief

much tingenAuditdienst Rijk070-342 7700

Inhoud

Managementsamenvatting 4

1 Aanleiding en doel van het onderzoek 51.1 Context 51.2 Doelstelling en onderzoeksvragen 51.3 Onderzoeksthema’s 61.4 Object en reikwijdte van het onderzoek 6

2 Bevindingen onderzoeksvraag 1 72.1 Opdrachtgeverrol IenM 72.2 Informatievoorziening 82.3 Stuurgroep 92.4 Directeurenoverleg 92.5 Programmabeheersingsoverleg 102.6 OVS 102.7 HBJZ 112.8 FMC 11

3 Aanbevelingen voor de resterende periode van de planuitwerkingsfasel33.1 Van snappen via analyseren en adviseren naar besluiten 13

4 Aanbevelingen voor de gedachtenvorming voor de aansturing in derealisatiefase 14

4.1 Karakteristieken van ERTMS in de realisatiefase 144.2 Randvoorwaarden bij de inrichting van de aansturing in de realisatiefase 144.3 Te maken keuzes bij de inrichting van de governance 15

5 Verantwoording onderzoek 185.1 Onderzoek 185.2 Kwaliteit 185.3 Verspreiding rapport 18

6 Ondertekening 19

Bijlage 1: Managementreactie 20

Managementsamenvatting

De Directeur-Generaal Bereikbaarheid (DGB) heeft de Auditdienst Rijk (ADR)gevraagd een onderzoek uit te voeren naar de aansturing door IenM van hetprogramma European Rail Traffic Management System (ERTMS).

De doelstelling van het onderzoek is om op basis van bij de stakeholdersgeïnventariseercle leer- en verbeterpunten aanbevelingen te doen voor hetinvullen van de aansturing van het Programma ERTMS voor zowel de resterendeperiode van de planuitwerkingsfase als voor de realisatiefase.

Het betreft geen onderzoek naar de beheersing en het beheer van het programmaen staat daarmee los van het jaarlijkse onderzoek van de ADR bij devoortgangsrapportages van het groot project ERTMS uit hoofde van de Regelinggrote projecten en van de reguliere financiële controle.

Centrale hoofdboodschap

Volgens geïnterviewden zijn de belangrijkste:Leerpunten: De opdrachtgeverrol van IenM is met het gewijzigde convenantduidelijker en de aansturing is verbeterd. De DGB is voorzitter van deStuurgroep. De afbakening tussen OVS en het programmateam is duidelijker. Deinformatievoorziening en transparantie worden beter, onder andere door hetstarten met “snap”-sessies en door de rol van de lialsonmanagers.

Verbeterpunten zijn dat de opdrachtgeverrol van IenM verdereprofessionalisering en uitbreiding van kennis en capaciteit behoeft. OVS is teafhankelijk van beperkte beschikbaarheid van deskundigen binnen IenM van FMCen HBJZ. De effectiviteit van de Stuurgroep, het directeurenoverleg en het PBOkan verder worden verbeterd. Bij IenM is niet voldoende countervailing power(deskundigheid) voor de inhoudelijke aspecten (spoor en IT) van ERTMS.

Voor de resterende periode van de planuitwerkingsfase adviseren wij om teborgen dat IenM goed is georganiseerd voor de komende programmabeslissingenmet voldoende beschikbare deskundigheid en countervailing power. Tevensadviseren wij de effectiviteit van de overleggen te verbeteren door het opstellenvan annotaties en adviezen/standpunten van het PBO voor de Stuurgroep. Voortsadviseren wij om door te gaan met het wegwerken van informatieachterstand.Zorg daarbij voor draagvlak op alle niveaus binnen het programmateam en bijalle betrokkenen binnen ProRail en NS.

Voor de gedachtevorming voor de aansturing in de realisatiefase hebben wijop basis van de interviews een aantal karakteristieken van ERTMS enrandvoorwaarden geformuleerd die richtinggevend zijn voor de mogelijkeaansturing. Wij adviseren binnen IenM een aansturingsunit in te richten. Voortsidentificeren wij drie hoofdrichtingen voor het positioneren van de daadwerkelijkecoördinatie en systeemintegratie, allen hebben voor- en nadelen.

De leer- en verbeterpunten worden in onderstaande hoofdstukken nader geduld entoegelicht.

4 van 21 1 Onderzoek Aansturing Programma ERTMS

Aanleiding en doel van het onderzoek

1.1 ContextERTMS is een belangrijke prioriteit uit het Regeerakkoord. Met de invoering vanERTMS wordt het bestaande spoorbeveiligingssysteem vervangen engemoderniseerd in een groot deel van Nederland. Doel is een robuust entoekomstvast beveiligingssysteem dat hoogfrequent spoorvervoer (korterereistijd, grotere betrouwbaarheid, hogere frequentie, interoperabiliteit) kanfaciliteren. Op grond van de Voorkeursbeslissing van 11 april 2014 wordt ERTMSmet beproefde technologie van Level 2 in de periode tot en met 2030 ingevoerdop een aanzienlijk deel van het spoor en het materieel.

De Tweede Kamer heeft ERTMS aangewezen als groot project. Deuitgangspunten voor het programma zijn vastgelegd in de Voorkeursbeslissing enin de Uitgangspuntennotitie. Conform de Regeling Grote Projecten wordt elk halfjaar door IenM een voortgangsrapportage naar de Tweede Kamer gezonden.Eenmaal per jaar wordt daar een accountantsrapport van de ADR bijgevoegd.

Het programma is in 2014 van start gegaan op basis van een tussen de driedeelnemende partijen gesloten samenwerkingsconvenant (d.d. 29 september2014). Op basis daarvan is een programmaorganisatie ingericht. Mede naaraanleiding van kritische rapporten van PBLQ en de ADR heeft de Staatssecretarisin een brief van 14 januari van dit jaar aangegeven een herstart (‘recovery’) temaken teneinde de programmaorganisatie en de projectbeheersing op orde tekrijgen.

Bij de recente herinrichting van de programmaorganisatie (recovery) is eengewijzigd samenwerkingsconvenant (d.d. 14 juli 2016) tussen de deelnemendepartijen (IenM, ProRail en NS) afgesloten waarin de opdrachtgevende rol voorhet programma nadrukkelijk bij IenM is neergelegd. De Regiegroep isomgevormd tot Stuurgroep. Bovendien zijn vanuit de deelnemende partijenliaisonmanagers benoemd. Het Programma is ingericht volgens het zogenaamdeIPMplus-model1.

De opdrachtgever heeft behoefte aan een onderzoek om hem te ondersteunen inde gedachtevorming voor de aansturing in de realisatiefase. Hij heeft daarbijbehoefte om zicht te krijgen op de leer- en verbeterpunten (zaken die goed gaanen zaken die beter kunnen) vanuit het verleden en aanbevelingen voor detoekomst voor de inrichting van de aansturing van het programma vanuit IenM.

1.2 Doelstelling en onderzoeksvragenDe doelstelling van het onderzoek is om op basis van bij de stakeholdersgeïnventariseerde leer- en verbeterpunten aanbevelingen te doen voor hetinvullen van de aansturing van het programma ERTMS voor zowel de resterendeperiode van de planuitwerkingsfase als voor de realisatiefase.

De onderzoeksvragen zijn:1. Welke leer- en verbeterpunten worden door de stakeholders ervaren bij de

aansturing door IenM van het programma ERTMS tot nu toe, zowel voor deplanuitwerkingsfase als voor de realisatiefase?

1 Het IPM-model van RWS dat is aangepast voor de specifieke omstandigheden van ERTMS


2. Welke aanbevelingen kunnen op basis van de geïdentificeerde leer- enverbeterpunten worden gedaan voor de aansturing door IenM van hetprogramma ERTMS voor:

• de resterende periode van de planuitwerkingsfase en• de gedachtevorming voor de inrichting van de aansturing voor de

realisatiefase?

1.3 Onderzoeksthema’sDe onderzoeksthema’s die betrekking hebben op de aansturing door IenM zijnonder meer: de juridisch aansturing, aansturing vanuit de diverseoverlegorganen, de organisatie van de aansturing binnen lenM, deinformatiestromen en de zogenaamde ‘soft controls’ (aspecten met betrekkingtot houding en gedrag).

1.4 Object en reikwijdte van het onderzoekHet object van dit onderzoek is de aansturing door IenM van het programmaERTMS. Het betreft geen evaluatie en bevat geen oordelen van ADR. Voor hetonderzoek zijn meerdere stakeholders gesproken: de DGB, functionarissen binnende directie OVS belast met de aansturing van het programma, de liaisonmanagers,de IPMplus-rolhouders binnen het programma en deelnemers aan Stuurgroep, aanhet directeurenoverleg, en aan het PBO. De aanbevelingen zijn gebaseerd op de(analyse van de ) geïdentificeerde leer en verbeterpunten.

Uitgangspunt in het onderzoek is het reeds genomen besluit van het Kabinetover de positionering van ProRail.

Het betreft geen onderzoek naar de beheersing en het beheer van het programmaen staat daarmee os van het jaarlijkse onderzoek van de ADR bij devoortgangsrapportages van het groot project ERTMS uit hoofde van de Regelinggrote projecten en van de reguliere financiële controle.


2 Bevindingen onderzoeksvraag 1

Onderzoeksvraag 1: Welke leer- en verbeterpunten worden door de stakeholderservaren bij de aansturing door IenM van het programma ERTMS tot nu toe, zowelvoor de planuitwerkingsfase als voor de realisatiefase?

In dit hoofdstuk worden bij elk onderzocht aspect van de aansturing de doorgeïnterviewden genoemde leerpunten (wat gaat goed) opgenomen en vervolgens opde door hen genoemde verbeterpunten (wat kan beter). De opgenomenverbeterpunten en de leerpunten zijn de rode draad uit de gehouden interviews.Sommige verbeterpunten zijn afkomstig van een deel van de geïnterviewden . Vooreen compleet beeld achten wij het van belang dat ook deze hier zijn opgenomen.

2.1 Opdrachtgeverrol IenMLeerpunt: De opdrachtgeverrol van IenM is duidelijker en de aansturing isverbeterd.De geïnterviewden ervaren onderstaande algemene verbeteringen in deaansturing van ERTMS:

• De wijziging van het samenwerkingsconvenant is een verbetering tenopzichte van de oude situatie. Het herziene samenwerkingsconvenant biedteen betere basis voor (de resterende periode van) de planuitwerkingsfase.

• Belangrijke verbetering is het expliciet benoemen van de opdrachtgevenderol van de staatssecretaris van IenM. Verder is het een goede zaak dat destaatssecretaris van IenM in het tripartiete overleg op politiek-bestuurlijkniveau met de president-directeur van de NS en de president-directeur vanProRail expliciet commitment voor het programma heeft gevraagd engekregen.

• Als positief punt wordt door iedereen genoemd: de verandering van deregiegroep in een stuurgroep, die wordt voorgezeten door de DGBereikbaarheid (DGB). De Stuurgroep is thans samengesteld op het juisteniveau, namelijk het niveau van de Raad van Bestuur van NS en ProRail. Hetopdrachtgeverschap is nu duidelijk belegd bij IenM en de opdrachtgever (OG)heeft de doorslaggevende stem bij eventuele meningsverschillen. Er is meeropenheid en aanspreekbaarheid. Het wederzijds begrip tussen IenM en hetprogrammateam en het gevoel van urgentie bij de diverse stakeholders isvergroot.

• De afbakening tussen IenM en het programmateam is helderder. IenM stuurtook actiever dan voorheen op het programma en hakt zo nodig de knopendoor. Met de komst van nieuwe mensen en uitbreiding van OVS is nuduidelijk dat IenM (OVS) de politiek-bestuurlijke besluitvorming voorbereidten het ‘verkeer’ met de staatsecretaris en de Tweede Kamer verzorgt.Voorheen lag dat bij het programmateam.

• Een ander pluspunt is de introductie van de functie van liaisonmanager bijIenM2 die veel werk verzet en zorgt voor een betere informatievoorzieningvanuit IenM. De informatiekanalen staan meer open, de informatie-

2 Positief zijn geïnterviewden ook over de introductie van de Iiaisonmanagers van ProRail en NS (vallen buitende scope van dit onderzoek).


uitwisseling is beter en de transparantie neemt toe. Ook is er meerwederzijds vertrouwen en begrip.

• Met de introductie van het IPM-plusmodel is de managementstructuur vanhet programmateam verstevigd. De leiding van het programmateam isdaarmee verbeterd. Ook is volgens de geïnterviewden in het afgelopen jaarde verbetering van de programmabeheersing opgepakt3.

Verbeterpunt: Opdrachtgeverrol IenM behoeft verdere professio(lalisering enuitbreiding van kennis en capaciteit.• Geïnterviewden, met name vanuit het programmateam, geven aan dat

behoefte bestaat aan een verdere professionalisering van hetopdrachtgeverschap vanuit IenM. Daarmee wordt niet bedoeld hetbeleidsmatige en politieke deel maar de kennis en ervaring om grote,complexe (spoor)projecten aan te sturen. In dit kader is ook het ontbrekenvan (met name technisch-inhoudelijke) kennis van het spoor genoemd.Het programmateam geeft aan maar beperkt te worden gechallenged op deinhoudelijke aspecten van het programma (IT en onderlinge samenhang). Ditlaat onverlet de taak en verantwoordelijkheid van de systemintegrator enECF.

• Een aantal geïnterviewden werpt de vraag op of het wenselijk is dat IenM alsOG zowel beoordeelt of de producten goed zijn als - samen met de anderepartners - de producten maakt.

• In de komende periode van de planuitwerkingsfase wordt een groot aantalproducten opgeleverd voor de programmabeslissing, waarover het PBO inkorte tijd moet adviseren en waarover de Stuurgroep (na bespreking in hetDO) in korte tijd besluiten moet nemen. Geïnterviewden zien als risico datIenM niet voldoende is georganiseerd om zich ervan te kunnen vergewissenof de producten van voldoende kwaliteit zijn. Zij zien als risico dat de OG decomplexiteit niet geheel overziet.

• Ondanks het feit dat op het hoogste niveau van ProRail en NS commitment isuitgesproken voor ERTMS, geven veel geïnterviewden aan dat op een lagerniveau bij NS en ProRail en in het programmateam, nut en noodzaak nietoveral worden gevoeld. De moederorganisaties NS, ProRail en IenM leverenmedewerkers aan het programmateam. Sommigen zien zichzelf meer alsvertegenwoordiger van de moedermaatschappij en minder als lid van eensamenwerkingsverband c.q. van het programmateam.

• Voor het programmateam was en is het lastig dat het hele programma onderde condities en spelregels van IenM moet functioneren. Het gebrek aankennis over de inkoop- en betaalprocedures heeft geleid tot veel vertragingen tot risico’s voor het maken van fouten.

• Bij het programmateam bestaat de perceptie dat IenM NS en ProRailaanstuurt via het prgrammateam.

2.2 InformatievoorzieningLeerpunt: De informatieachterstand wordt ingehaaldDe informatievoorziening aan IenM is verbeterd. Volgens geïnterviewden heeftdat te maken met de versterking van het management van het programmateamen de komst van nieuwe mensen als gevolg van de invoering van het IPMplusmodel. Daarnaast is er meer structuur door de ingezette verbeteringenbinnen de programmabeheersing.

3 Valt verder buiten de scope van dit onderzoek.


Voorts is ter voorbereiding van de komende programmabeslissing gestart met

het houden van zogenoemde ‘snapsessies’. De informatieachterstand wordtdaarmee ingelopen en betrokkenen gaan hierdoor het ERTMS-programma beter

begrijpen (snappen). Bij betrokkenen binnen IenM ontstaat een gevoel vantransparantie.

Verbeterpunt: Doorgaan met het verbeteren van de informatieverstrekkingVergaderstukken worden vaak te laat (kort voor het overleg waarin dezebesproken moeten worden) verzonden. Daardoor is het nagenoeg onmogelijk om

van alle stukken kennis te nemen en daarover een inhoudelijk goede discussie te

voeren. Van belang is dat wordt doorgegaan met het inlopen vaninformatieachterstand.

2.3 StuurgroepLeerpunt: De Stuurgroep functioneert steeds beter.Alle geïnterviewden vinden het een belangrijke verbetering dat de Regiegroep is

gewijzigd in een Stuurgroep en dat de Stuurgroep steeds beter functioneert. In

de Stuurgroep wordt gemeenschappelijk de verantwoordelijkheid genomen voor

het totale programma. Dat gaat makkelijker nu namens de moederorganisatiesvertegenwoordigers van het juiste niveau aan de Stuurgroep deelnemen, die de

urgentie begrijpen. Voorheen kwamen vaak vervangers naar de Regiegroep.IenM is meer in de “lead”. Het gesprek is volgens geinterviewden open en scherp

en de deelnemers kunnen zo nodig ‘op de rem trappen’.

Verbeterpunt: De Stuurgroep kan nog effectiever.De Stuurgroep functioneert volgens geïnterviewden nog niet op het niveau zodat

zij daadwerkelijk kan sturen. De Stuurgroep moet nog de slag maken van“snappen” naar “beslissen”. Er worden volgens het programmateam nog te

weinig kritische vragen gesteld, er wordt te weinig gechallanged.

De annotaties bij de stukken voor de Stuurgroep zijn nog niet op orde. Zo is

bijvoorbeeld niet duidelijk waarom stukken op dat moment worden geagendeerd,wat de dilemma’s zijn en welke varianten er zijn. Het programma levert destukken aan met een annotatie. De Iiaisonmanager maakt voor de voorzitter een

beleidsmatig advies. De Stuurgroep ontvangt geen annotatie of adviezen van het

PBO. De inbreng vanuit het DO vindt mondeling plaats via de vertegenwoordigervan IenM (het afdelingshoofd Grote Projecten).

Komende periode zal een groot aantal documenten voor de programmabeslissingworden geagendeerd in de Stuurgroep. De Stuurgroep heeft daarbinnen deonderwerpen geselecteerd, die zij nader willen doorexerceren. Dat kost tijd. De

frequentie van de Stuurgroepvergaderingen zal de komende tijd volgens

sommige deelnemers omhoog moeten.

2.4 DirecteurenoverlegLeerpunt: Het directeurenoverleg functioneert beter.Het DO is het interne overleg binnen IenM voor de standpuntbepaling van de

vertegenwoordiger van IenM (OVS afdelingshoofd grote Projecten en Planning) in

de Stuurgroep. Hij is ook voorzitter van het DO. Het DO functioneert volgens de

deelnemers steeds beter. Voorheen waren er veel personele wisselingen.

De programmamanager neemt, als link naar het programma, deel aan het DO.

Dit is belangrijk omdat er hierdoor in principe geen ruis op de lijn zit. De DO

leden worden gebriefd door de leden van het P80. Dit gaat beter nu deinformatievoorziening van het programma naar IenM beter wordt en de PBOleden hun inhoudelijke informatleachterstand aan het inlopen zijn. OVS stelt een


korte geannoteerde agenda op met een korte samenvatting van de bespreking inhet P80.

Verbeterpunt: Het directeurenoverleg kan effectiever.Het Directeurenoverleg kan effectiever, onder meer door een beterevoorbereiding. Bij de geagendeerde stukken ontbreekt een annotatie met korteinhoudsbeschrijving, urgentie, bespreek- of knelpunten en behandelvoorstelvanuit het programmateam. De stukken, vaak veel en omvangrijk, worden kortvoor het DO aan het DO verzonden. Sommige leden geven aan dat een goedeterugkoppeling vanuit de Stuurgroep naar het DO vaak ontbreekt.

Het DO zou volgens sommige geïnterviewden meer in synergie kunnen opereren:“hebben we het goede overzicht en het goede gevoel bij de gekozen richting”.Hoewel het DO nu strakker functioneert dan in het verleden, bestaat nog wel hetrisico dat het DO een herhaling wordt van het P80, onder meer door de kortevoorbereidingstijd.

2.5 Progi-ammabeheersingsoverlegLeerpunt: De transparantie en wederzijds vertrouwen nemen toe.Het P80 functioneert de laatste maanden beter. De deelnemers van het PBOhebben meer het gevoel transparantie doordat is gestart met inlopen van deinformatieachterstand. Ter voorbereiding van de behandeling van de productenvoor de programmabeslissing is het PBO gestart met het houden van de eerdergenoemde ‘snapsessies’. In deze sessies wordt geprobeerd de inhoud met elkaarte kennen en verrassingen op de inhoud te voorkomen. Hierdoor komt het PBOmeer toe aan begrijpen en gezamenlijk optrekken.

Voorheen werd het PBO te weinig op de inhoud meegenomen. Vaak werden ophet laatste moment stukken bij het PBO neergelegd Het PBO voelde zich onderdruk gezet en het programmateam voelde zich in de verdediging gedrukt,waardoor wederzijds wantrouwen ontstond. Het “wij-zij” denken is de afgelopentijd afgenomen.

Verbeterpunt: Van snappen naar analyseren en adviserenDe effectiviteit van de behandeling van de stukken in het P80 kan beter. Derolopvatting is niet altijd duidelijk. Het PBO moet nu na “snappen” toekomen aananalyseren en adviseren. Het PBO is een adviserend orgaan voor het DO en deStuurgroep, dat bestaat uit inhoudelijk specialisten op het gebied van projectc.q. programmabeheersing. Hoewel het PBO opmerkingen maakt en kan makenover de inhoud of kwaliteit van inhoudelijke stukken, heeft zij niet de rol (enkennis) om te adviseren over de inhoudelijke aspecten van stukken (dus niet:geen opmerkingen dan is het goed).

Niet duidelijk is wat met de uikomsten van het PBO gebeurt. Verschillendestuurgroepleden hadden daar geen beeld van. Het PBO komt er nog niet aan toeom zelf annotaties voor de Stuurgroep op te stellen met analyses en eenadviezen, zo nodig met de verschillende standpunten.

2.6 OVSLeerpunt: De rol van OVS is duidelijkerGeïnterviewden zijn momenteel tevreden over de invulling van de rol van OVS.OVS is sinds ongeveer een jaar veel sterker betrokken en stuurt ooknadrukkelijker. Dit komt door personele wijzigingen en uitbreiding van het opzich kleine team. Dit betreft met name de beleidskant en de voorbereiding vanbestuurlijke en politieke besluitvorming en verkeer met de TK. Met de beterescheiding tussen het programma en de aansturing is de rol van OVS isduidelijker. Doordat de OG-rol in het herziene convenant nadrukkelijk bij IenM is


gelegd, heeft OVS de rol van bevoegd gezag. Bij onvoldoende kwaliteit voorkomtOVS dat stukken de lijnorganisatie ingaan. De toegevoegde waarde van deliaisonmanager en de invulling van deze rol komt hier duidelijk naar voren.

Verbeterpunt: OVS moet kunnen challengen op inhoudGeïnterviewden geven aan dat binnen OVS kennis en capaciteit beperkt is.Binnen IenM is gekozen voor een structuur waarbij OVS een beroep kan doen opde kennis en deskundigheid van HB]Z en FMC. Dit gebeurt ook. In voorkomendegevallen gebeurt dat voor deze directies in een (te) laat stadium, waardoor,mede gezien hun beperkte capaciteit en beschikbaarheid, hun inzet in de knelkomt. Volgens sommigen binnen IenM kan de samenwerking beter en zoudenbetrokkenen meer kunnen opereren vanuit de gezamenlijkheid.

Volgens geïnterviewden is IenM en OVS in het bijzonder niet goed in staat om tekunnen challengen op inhoud en zijn er daardoor in het programma te weinigcheckes and balances. De informatie-asymetrie tussen uitvoerders en I&M is groot.Uit de interviews blijkt dat de asymetrie groter is dan bij andere grote projecten.I&M heeft onvoldoende geborgd zij de kennis over spoorinfrastructuur in huis heeftvoor het geven van countervailing power. OVS heeft bovendien geen kennis om hetvoorbereiden van IT-contracten voor de ontwikkeling van een nog niet bestaandsysteem te kunnen challengen. Met andere woorden OVS weet niet zeker of zij dejuiste vragen stelt of de antwoorden kan beoordelen.

2.7 HBJZHet beroep op de deskundigheid van HBJZ wordt steeds groterHB]Z brengt binnen IenM de benodigde juridische kennis in. Binnen HBJZ iscapaciteit vrijgemaakt voor de komende programmabeslissing. De specifiekbenodigde juridische kennis (denk aan aanbestedingsrecht) is volgensgeïnterviewden inhoudelijk in voldoende mate bij HBJZ aanwezig.

De behoefte aan inzet van HBJZ zal op termijn toenemen met de besluitvormingover de aanbestedingsdossiers. Het gaat bij ERTMS niet om één contract maarom meerdere contracten die onderling interfereren. Er ontstaat een behoorlijkewerkdruk, waardoor capaciteit een knelpunt kan worden. Voor een deel wordtook teruggevallen op inhuur.

2.8 FMCLeerpunt: FMC wordt beter geïnformeerdFMC heeft bij de inrichting van de governance een kaderstellende rol. Er is altijdsprake van verschillende rollen bij een project. FMC is zowel de hoeder van hetgovernancemodel, deelnemer bij de specifieke invulling van hetgovernancemodel voor ERTMS als de beleidscontroller.

De programmabeheersing wordt, door de ingrepen in de beheersing en deinvoering van het IPMplus-model, transparanter. FMC wordt hierover ook betergeïnformeerd.Doordat de informatie achterstand wordt ingelopen, onder meer door degenoemde snapsessies, gaan de discussies met de bedrijfsvoering beter. FMCpakt haar rol vooral rond de overleggen van het PBO en DO. Voorts denkt FMCmee met OVS en het programmateam, onder andere over het inrichten van hetgovernance voor de komende realisatiefase.

Verbeterpunt: De beschikbaarheid van FMC is beperktVeel geïnterviewden geven aan dat de capaciteit te gering is. FMC heeft, zoalshierboven aangegeven, verschillende petten, die een rol spelen bij de aanstu ring.FMC vervult primair de formele FEZ-rol vanuit de comptabiliteitswet. FMC heeftdaarnaast ook een Dl control- en adviesrol, maar de vervulling daarvan heeft eenlagere prioriteit vanwege de beschikbare capaciteit. Voorts kan FMC kan geen


mensen uitlenen aan het programma vanwege het daardoor ontstaan van ‘dubbelepetten’-problematiek.

Voorts wordt aangeven dat de beschikbaarheid van FMC op de korte termijn, bijde voorbereiding van de programmabesluiten, een knelpunt kan vormen. ImmersFMC vervult genoemde taken bij alle grote interne en externe projecten van IenMen moet daarvoor ook beschikbaar zijn. In tegenstelling tot HBJZ heeft FMCdaarvoor vooralsnog geen maatregelen in voorbereiding.


3 Aanbevelingen voor de resterende periodevan de planuitwerkingsfase

Onderzoeksvraag 2a: Welke aanbevelingen kunnen op basis van de geïdentificeerdeleer- en verbeterpunten worden gedaan voor de aansturing door IenM van hetProgramma ERTMS voor de resterende periode van de planuitwerkingsfase?

3.1 Van snappen via analyseren en adviseren naar besluitenOp basis van de in het vorige hoofdstuk gesignaleerde leer- en verbeterpuntenkomen wij tot de volgende aanbevelingen voor de resterende periode van deplanuitwerkingsfase:

.. Borg dat IenM goed georganiseerd is om de producten voor de komendeprogrammabeslissing te kunnen beoordelen door:o te zorgen voor voldoende beschikbaarheid van de diverse deskundigen4

binnen IenM,o het inschakelen of inhuren van (externe) deskundigen als countervailing

power op de binnen het programmateam geborgde kwaliteitsmaatregelenop de (technische) inhoud (qualityreviews, second opinions etc.),

o het verder inhalen van de informatieachterstand.

• Verhoog de effectiviteit van de Stuurgroep, het DO en het PBO:o door een betere voorbereiding van de vergaderingen door het

secretariaat van het Programmateam met een geannoteerde agenda enbehandelvoorstellen en met adviezen (of standpunten van dedeelnemers) van het PBO

o door de vergaderstukken tijdig beschikbaar te stellen,o doordat het programma behalve het PBO ook de leden van het DO

inhoudelijk meeneemt,o door de frequentie van de bijeenkomsten van de Stuurgroep te verhogen

en extra tijd te reserveren om de diverse producten voor deprogrammabeslissing nader door te exerceren.

• Zorg ervoor dat het commitment op het hoogste niveau van NS en ProRailwordt verbreed naar draagvlak bij de medewerkers die werkzaam zijn binnenhet ERTMS-programmateam en/of anderszins met ERTMS te maken zullenkrijgen5.

• Neem maatregelen om deskundige medewerkers, die ook nodig zijn in derealisatiefase, voor het programmateam te behouden.

4 Financieel, juridisch, IT, spoor, grote projectenS Voor commitment van de NS is van belang om de onvrede over de discussie over de bekostiging van de

materieelombouw op te lossen.


4 Aanbevelingen voor de gedachtenvormingvoor de aansturing in de realisatiefase

Onderzoeksvraag 2b: Welke aanbevelingen kunnen op basis van de geïdentificeerdeleer- en verbeterpunten worden gedaan voor de gedachtevorming voor de inrichtingvan de aansturing door IenM van het Programma ERTMS in de realisatiefase?

In dit hoofdstuk worden allereerst de karakteristieken van het programma en derandvoorwaarden geschetst die bepalend zijn voor de te maken keuzes bij deinrichting van de aansturing in de realisatiefase.

4.1 Karakteristieken van ERTMS in de realisatiefaseVoor de realisatiefase is een aantal karakteristieken van het programma teonderscheiden, die uit de interviews naar voren komen:

Naar verwachting is ProRail de aanbestedende dienst voor de contracten die geenbetrekking hebben op materieel. Voor het materieel wordt naar verwachting eeninkoopcentrale namens alle vervoerders ingericht, waarna door de geselecteerdeleverancier aparte contracten worden gesloten met de desbetreffendevervoerder.

De realisatiefase omvat meer dan alleen het sluiten en uitvoeren van contracten.ERTMS wordt gerealiseerd in een “brownfield”, dat wil zeggen: Met ERTMSworden fundamentele aanpassingen aangebracht in ‘het hart’ van hetspoorsysteem. Het gaat om verandering van infrastructuur, de ombouw vanmaterieel en een nog niet bestaand en complex IT-systeem waarbij dezecomponenten allen op elkaar ingrijpen. De IT grijpt in op het dagelijkse werk,processen, werkwijzen en rollen bij zowel ProRail als de vervoerders en op deinteractie daartussen. Het zijn veel kleine stapjes die op een bepaalde wijze aanelkaar geschakeld moeten worden.Voor veel mensen zullen werkwijze en de benodigde vaardigheden wijzigen, vaakmet bijscholing (bijvoorbeeld de machinisten).

In de realisatiefase kan een aantal subfasen worden onderscheiden:o de aanbestedingsfase met de aanbesteding en gunning van het contract,o de initiële fase ofwel de fase waarin coördinatie en het beheersen van de

risico’s die zich daadwerkelijk voordoen op het gebied van het“brownfield”, de onderlinge interactie, de systeemontwikkeling enmogelijk ontwerpfouten en fouten in de contracten plaats vindt. In dezefase vindt de daadwerkelijke (technische) systeemintegratie plaats.

o de verdere uitrol in de jaren daarna.

4.2 Randvoorwaarden bij de inrichting van de aansturing in de realisatiefaseUit de gesprekken komt een aantal randvoorwaarden naar boven, die gevolgenhebben voor de keuze van de inrichting van de aansturing:• Houdt rekening met de karakteristieken (zie hierboven),• Houdt rekening met de specifieke (top)risico’s van ERTMS,• Breng een scheiding aan tussen het opdrachtgeverschap en de uitvoering van

het programma.• Stel duidelijk vast wie de opdrachtgever (OG) is en wie de opdrachtnemer

(ON).• Stel vast wie voor de OG het eerste aanspreekpunt is als er iets mis gaat.

14 van 21 1 Onderzoek Aansturng Programma ERTMS

• Richt een effectieve escalatielijn in.• Zorg voor professioneel opdrachtgeverschap zodat op alle gebieden het

programma kan worden ‘gechallenged’. Zorg hierbij voor voldoendedeskundigheid, niet alleen op aspecten van projectbeheersing maar ook ophet gebied van de IT en het spoor.

• Zorg voor de betrokkenheid vanuit IenM bij de aanbesteding van decontracten, temeer IenM geen aanbestedende dienst is.

• Leg de afspraken met ProRail, NS en zo nodig de andere vervoerdersduidelijk (juridisch) vast.

• Stel duidelijk vast op welk niveau wijzigingen in de scope wordenvastgesteld.

4.3 Te maken keuzes bij de inrichting van de governanceDe in de interviews gedane suggesties voor mogelijke varianten hebben wijgetoetst aan bovenstaande karakteristieken en randvoorwaarden komen. Daaruitkomen de volgende oplossingsrichtingen naar boven:

a. OpdrachtgeverschapInrichten van een OG-unit binnen IenM. Deze OG-unit, verantwoordelijk voor deaansturing vanuit IenM, moet worden bemenst door deskundigen6.Meerderegeïnterviewden hebben een voorkeur voor een team binnen IenM waarin allebenodigde deskundigheid permanent beschikbaar is. Het opdrachtgeverschap ligtbinnen IenM op ambtelijk niveau bij DGB.Wij bevelen aan om bij OVS of elders binnen IenM eenopdrachtgeverschapsunit (OG-unit) in richten. Het voordeel daarvan is dat IenMhet programma beter kan aansturen en dat men niet langer afhankelijk van isvan beperkte beschikbaarheid van deskundigheid en capaciteit.

Zorgen voor de benodigde kennis. Knelpunt blijft dat binnen IenM te weinigspecifieke inhoudelijke kennis aanwezig is van van het spoor en de bijbehorendeIT.Wij bevelen aan dit op te lossen door middel van inhuur, het instellen vanquality reviews, second opnions vanuit de OG-unit en/of het inrichten vanexterne klankbordgroepen.

b. OpdrachtnemerschapDe coördinatie van de uitvoering en daadwerkelijke systeemintegratie kan opverschillende plaatsen worden belegd. In de interviews zijn verschillendevarianten aan bod gekomen.Wij doen de aanbeveling om af te wegen met welk model het meest wordtvoldaan aan de randvoorwaarden behorende bij de karakteristieken van ERTMSin de realisatiefase. Wij noemen in dit kader de onderstaande opties metbijbehorende voor- en nadelen:

Optie 1: Het programmateam is gepositioneerd bij IenMHet programma is gepositioneerd bij IenM in een team belast metsysteemintegratie alsmede de bewaking van tijd, geld, risico’s, scope enkwaliteit. ProRail en NS (en andere vervoerders) zijn verantwoordelijk voor decontractuitvoering en het contractmanagement en worden aangestuurd doorIenM. De relatie wordt vastgelegd in een bestuursovereenkomst.

Voordeel is korte aansturings- en escalatielijnen en dat duidelijk is wie aan hetstuur zit en bij wie de verantwoordelijkheid ligt. Een voorbeeld was het project“anders betalen voor mobiliteit”.Nadeel is dat IenM te weinig kennis heeft van spoorinfrastructuur, spoorbeheer,materieel en de technische systeemintegratie. De afstand tot de organisaties

6 Financieel (controller), juridisch, IT, spoor , grote projecten , bestuurlijk/politiek etc


waar de feitelijke implementatie en systeemintegratie (ProRail en NS) plaatsvindtis groot, onder meer voor de implementatie, systeemintegratie en het verkrijgenvan committment. De gewenste scheiding opdrachtnemer en opdrachtgeverwordt niet doorgevoerd.Voorwaarde is een goede projectorganisatie en inhoudelijk toereikendebemensing daarvan en directe, inhoudelijke aansturing van een afzonderlijkeprojectdirectie. Waarborgen voor het verkrijgen van committment en “sense ofurgence” voor implementatie in het “brownfield” en integratie van systemen.

Optie 2: Het programmateam is gepositioneerd bij ProRailIn deze optie is ProRail verantwoordelijk voor de daadwerkelijkesysteemintegratie en voor de coördinatie met de vervoerders. Binnen ProRailwordt een afzonderlijke projectdirectie ingericht met deskundigen van Prorail enNS, die wordt aangestuurd door de bovengenoemde OG-unit. De eerstelijnsbewaking van tijd, geld, scope, kwaliteit en risico’s ligt bij ProRail. Een voorbeeldhiervan is het Programma Hoogfrequent Spoorvervoer. Afspraken wordenvastgelegd in een BOK.

Voordeel is een duidelijke positionering en eenduidige aansturing vanuit de OG.ProRail heeft veel van de benodigde kennis. ProRail zal als spoorbeheerder naingebruikname de systeemverantwoordelijkheid hebben. Bovendien wordenvoorwaarde geschapen voor de benodigde committment.Nadeel is het draagvlak en mogelijke belangentegenstelling met de vervoerders,die in dit model door ProRail worden aangestuurd. De directe aansturing, deinformatievoorziening en de escalatielijn gaan over meer schijven en is veelformeler via overlegorganen.Voorwaarde is een adequate borging van volledige en tijdige informatie overwijzingen van risico’s, planning, budgetuitputting, scope, en kwaliteit eneffectieve governance teneinde de ministeriele verantwoordelijkheid te kunnenwaarborgen.

Optie 3: Getrapte structuur met afzonderlijke systeemintegratie en coördinatieIn deze optie is sprake van een klein deskundig programmateam met mensenvan NS (en andere vervoerders) en ProRail gepositioneerd tussen IenM enProRail/NS. Dit programmateam wordt aangestuurd door de OG-unit. Ditprogrammateam wordt belast met de coördinatie, systeemintegratie en bewakingvan tijd, geld, scope, risico’s en kwaliteit. De contractuitvoering en hetcontractmanagement liggen bij de contracteigenaren (ProRail en vervoerders),die worden aangestuurd door dit programmateam. Het team heeft eenprogrammadirecteur die is aangewezen door IenM met kennis van processen eneen netwerk binnen IenM. Afhankelijk van de subfasen wisselt de samenstellingen omvang van het team op basis van de benodigde deskundigheden.

Voordeel is dat de nadelen van de vorige optie wordt opgeheven.(belangenverstrengeling, draagvlak en korte aansturings- en escalatielijn).Nadeel is dat er sprake blijft van een lichtere variant van hetsamenwerkingsmodel. De positionering van het programmateam is nieteenduidig; er is geen scheiding tussen OG en opdrachtnemer. Voorts is er geendirecte aansturing van ProRail en de vervoerders. De administratievecomplexiteit blijft bestaan.Voorwaarde is professioneel opdrachtgeverschap, (meer) directere,inhoudelijke aansturing, borging van voldoende bemensing en inhoudelijkedeskundigheid, naleving van adequate afspraken met en committment vanpartners (ProRail en vervoerders) en het oplossen van de administratievecomplexiteit.

Optie 4: Een combinatie van modellen.


Op basis van de uitgangspunten en randvoorwaarden kan gekozen worden vooreen combinatie van bovengenoemde opties. Daarbij is het programmateam in deeerste twee subfasen van de realisatiefase gepositioneerd in Utrecht en insubfase drie (de uitrol) bij ProRail.

Voordeel: zie de voordelen van optie 3Nadeel: de nadelen van de bovengenoemd optie 2 worden niet opgelost.


5 Verantwoording onderzoek

5.1 OnderzoekHet vooronderzoek bestaat uit intakegesprekken met de contactpersonen van ditonderzoek (het afdelingshoofd Grote Projecten en Planning en een seniorbeleidsmedewerker van de directie OVS) en uit studie van relevante documententeneinde de context, doelstelling en object en reikwijdte van de opdracht vast tekunnen stellen.Als onderzoeksmethoden is gebruik gemaakt van documentenstudie eninterviews. In bijlage 3 is een overzicht met de geïnterviewde functionarissenopgenomen.

Het conceptrapport wordt getoetst in het kader van de internekwaliteitsbeoordeling. Het conceptrapport wordt voor wederhoor besproken metde contactpersonen van de opdrachtgever. Het finale conceptrapport wordtbesproken met de opdrachtgever waarna de definitieve versie van het rapportaan de opdrachtgever zal worden uitgebracht.

5.2 KwaliteitDeze opdracht is niet gericht op het verschaffen van assurance in het kader vande wettelijke controletaak van de ADR. Dit betreft een vraaggestuurde opdracht.Deze opdracht zal worden uitgevoerd in overeenstemming met de InternationaleStandaarden voor de Beroepsuitoefening van Internal Auditing. Op de uitvoeringvan de opdracht is de gedragscode van het Instituut van Internal AuditorsNederland (IIA) van toepassing. Wij benadrukken dat op grond daarvanverkregen vertrouwelijke gegevens uitsluitend voor de vervulling van dezeopdracht worden gebruikt. De ADR waarborgt dat er voldoende deskundigheidwordt ingezet en dat de auditors in voldoende mate onafhankelijk zijn voor deuitvoering van deze opdracht. Verder wordt verwezen naar het auditcharter vande ADR voor de uitgangspunten die voor de ADR van toepassing zijn.

5.3 Verspreiding rapportDe opdrachtgever, de Directeur-Generaal Bereikbaarheid, is eigenaar van ditrapport.

De ADR is de interne auditdienst van het Rijk. Dit rapport is primair bestemdvoor de opdrachtgever met wie wij deze opdracht zijn overeengekomen. In deministerraad is besloten dat het opdrachtgevende ministerie waarvoor de ADReen rapport heeft geschreven, het rapport binnen zes weken op de website vande rijksoverheid plaatst, tenzij daarvoor een uitzondering geldt. De minister vanFinanciën stuurt elk halfjaar een overzicht naar de Tweede Kamer met de titelsvan door de ADR uitgebrachte rapporten en plaatst dit overzicht op de website.


6 Ondertekening

Den Haag, 27 januari 2017

Auditdienst Rijk


Bijlage 1: Managementreactie

Managementreactie op onderzoek aansturing programma ERTMSGraag bedank ik de ADR voor het uitvoeren van het onderzoek naar deaansturing van het programma ERTMS door het ministerie van Infrastructuur enMilieu (IenM). Ik heb kennis genomen van de inhoud van het rapport, waarin deADR waardevolle leer- en verbeterpunten heeft vastgesteld.De aanbevelingen worden in de planuitwerkingsfase en de realisatiefasebetrokken bij de verdere aansturing van het programma ERTMS vanuit IenM.Hieronder ga ik op een aantal kort in.1. Om de producten voor de programmabeslissing goed te kunnen beoordelen stelt

IenM een reviewplan op waarin zal worden opgenomen wanneer welkedeskundigen beschikbaar moeten zijn voor het beoordelen van specifiekeproducten die onderdeel vormen van de programmabeslissing. IenM zal alsonderdeel van dit plan waar nodig externe kennis om zich heen organiseren omproducten voldoende te kunnen beoordelen. Tot slot zal IenM doorgaan met hetorganiseren van bijeenkomsten om inhoudelijke kennis verder te verbeteren.

2. De aanbevelingen voor het verhogen van de effectiviteit van de stuurgroep, DOen P80 worden in samenwerking met het programma ERTMS doorgevoerd.

3. Voor de aansturing van het programma ERTMS in de realisatiefase adviseert deADR een aparte opdrachtgeversunit binnen lenM in te richten. lenM onderzoektmomenteel wat hiervoor nodig is, welke vorm (en positie) wenselijk is en hoedeze unit al in de planuitwerkingsfase kan starten. Vooruitlopend hierop maaktlenM nu al praktische afspraken met betrokken partijen intern lenM om dezesamenwerking te versterken. Deze versterkte samenwerking is bovendienonderdeel van het reviewplan om te komen tot een adequate beoordeling van deproducten voor de programmabeslissing.

4. De door de ADR genoemde randvoorwaarden en opties voor de coördinatie vande uitvoering en daadwerkelijke systeemintegratie door de opdrachtnemerworden betrokken bij de verdere uitwerking van het governancemodel voor dereahsatiefase, welke onderdeel vormt van de programmabeslissing ERTMS.

Met vriendelijke groet,Mark Frequin

20 van 21 1 Onderzoek Aanstuing Programma ERTMS

Auditdienst RijkPostbus 202012500 EE Den Haag(070) 342 77 00

Rapport Onderzoek Aansturing Programma ERTMS · 1 Aanleiding en doel van het onderzoek 5 1.1...

Documents

Transcript of Rapport Onderzoek Aansturing Programma ERTMS · 1 Aanleiding en doel van het onderzoek 5 1.1...