Audit Standaard Platform 2016 - Rijksoverheid.nl · • de inrichting en het aanbieden van...

Auditdienst RijkMinisterie van Financiën

Audit Standaard Platform 2016Rapport van bevindingen

Colofon

Titel Audit Standaard Platform 2016

Uitgebracht aan Hoofddirecteur Financiën Management en Control

Datum 13 februari 2017

Kenmerk 2017-0000031424

InlichtingenAuditdienst Rijk070-342 7700

Inhoud

Aanleiding opdracht 4

1 Aan de BuCa-eisen is in opzet in belangrijke mate voorzien 5

2 SP/CA is uitbreidbaar door o.a. virtualisatie, echter nog niet getest 7

3 Onderzoek naar de inrichting van het Beheer uitgesteld naar september2017 8

4 Managementreactie programma Alliantie 9

5 Verantwoording onderzoek 105.1 Werkzaamheden en afbakening 105.2 Gehanteerde Standaard 105.3 Verspreiding rapport 10

6 Ondertekening 11

Bijlage vergelijking BuCa-eisen vs maatregelen 12

Aanleiding opdracht

Het Standaard Platform/Centraal Aansluitpunt (verder in het rapport afgekort totSP/CA) is in de Business Case gedefinieerd als ‘Een schaalbaar, cloud gebaseerdapplicatie platform met een groeiend aantal herbruikbare componenten metondersteuning voor automatisch testen en uitrollen van applicaties en —releases’.

Aanleiding voor dit onderzoek is de fase waarin het SP/CA zich bevindt, namelijkde “core” van het SP/CA is opgeleverd en de Alliantie (bestaande uitOCW/DUO/SSO Noord, EZ/DICTU, IenM/DCI) is zich aan het voorbereiden omeen tijdelijke Organisatie neer te zetten en om nieuwe klanten te werven.

De wens van de opdrachtgever, Hoofddirecteur IenM/FMC, is geweest om eenbeeld te verkrijgen ter beantwoording van de bestuurlijke vraag of met dehuidige stand van de techniek van het SP/CA aan de business case kan wordenvoldaan. De bevindingen uit ons onderzoek geven invulling aan dat beeld.

4 van 17 1 Audit Standaard Platform 2016

Aan de BuCa-eisen is in opzet1 in belangrijkemate voorzien

In de Business Case (BuCa) Standaard Platform (versie 1.0 d.d. 7 november2015) staan 24 eisen waaraan het SP/CA moeten voldoen (in de bijlage zijn deeisen voor hergebruik samengevoegd tot 1 eis). In ons onderzoek hebben wegetoetst in hoeverre aan deze buca-eisen is voldaan. Dit is gedaan naar hetmoment van december 2016. Het onderzoek betreft de opzet van demaatregelen. Wij hebben 2 demo’s bijgewoond waarbij met name is gekekennaar de implementatie van de componenten en omgevingen.

Een aantal eisen zijn geformuleerd in vergelijkende zin. Een voorbeeld daarvan:‘Sneller implementeren van nieuwe applicaties’. Er is echter geen nulmetinggeweest. Dus de vraag is dan: sneller in relatie tot wat? En de eis is ook niet ergSMART. We hebben een dergelijke eis geïnterpreteerd als zijn er maatregélengenomen die bijdragen aan het snel implementeren van applicaties (in ditspecifieke voorbeeld). Van de 24 eisen konden er 3 niet beoordeeld worden. Van14 eisen kunnen we zeggen dat in opzet daaraan is voldaan. Voor 5 eisen geldtdat deze eis in opzet niet beoordeeld kan worden (maar in ‘werking’ beoordeeldzou moeten worden in samenhang met een klant van het SP/CA) en bij 3 eisenplaatsen we een opmerking. De details zijn in de bijlage terug te vinden.

Het beeld uit ons onderzoek is als volgt:

De gekozen oplossing voor het SP/CA sluit aan bij de rijksbrede strategie zoalshet gebruik van open source infrastructuurcomponenten, een Cloud provider eneen Service Gerichte Architectuur. Eén van de voordelen van de keuze voor opensource infrastructuurcomponenten is het feit dat deze producten kostenloos zijn.Het is echter niet geheel kostenloos. De Alliantie heeft ervoor gekozen om eensupportcontract aan te gaan voor de WSO2-suite, waaraan supportkosten zijnverbonden, Tevens zijn er functionaliteiten (scripts: ook wel de ‘lijm’ tussen deinfrastructuur-componenten genoemd) die maatwerk zijn. Dat is kerinisintensief.Het vergt een goed versiebeheer van de open source producten in combinatiemet het maatwerk. Het maakt het ook noodzakelijk beheerders/ontwikkelaars inte zetten met kennis over de specifieke scripts. De intentie van de Alliantie is omeen belangrijk onderdeel van het maatwerk, de platformer, te vervangen dooreen product van de WSO2-suite.

De Alliantie heeft voor het SP/CA de volgende zaken in opzet geregeld:• inrichten van zowel klant als leveranciersomgevingen;• de inrichting en het aanbieden van identieke omgevingen in de OTAP-straat;• virtualisatie van machines (ODC Noord zorgt voor de uitvoering);• gebruik van standaard technische componenten;• geautomatiseerde tools voor de uitrol van omgevingen;• de geautomatiseerde uitrol en terugrol van applicaties;• verschillende blauwdrukken voor de inrichting van de technische

componenten;• het specificeren van de aansluitvoorwaarden voor applicaties en

componenten;

1 In opzet: een auditterm dat doelt op het stelsel van de beschreven maatregelen en middelen als object vanonderzoek.


• de door ons gebruikte documentatie is over het algemeen up-to-date enheeft een duidelijke structuur en onderlinge samenhang. Wel vragen weaandacht voor het actualiseren van de High Level Design (SoftwareArchitectuur Document - SAD). De daarin genoemde wijze vanimplementeren wijkt af van de beoogde realiteit.

Deze maatregelen zijn randvoorwaardelijk voor het beperken van decomplexiteit, hergebruik van componenten en de snelheid van de implementatievan omgevingen en applicaties. Ook ondersteunen deze maatregelen het Agileontwikkelen van applicaties.

Uit de bespreking tijdens de demo’s is gebleken dat het relatief snel eneenvoudig is om een hele omgeving in te richten en uit te rollen. Ook is tijdensde demo’s aangetoond dat, mits aangeleverd volgens de aansluitvoorwaarden,het relatief eenvoudig is om een applicatie uit te rollen over de omgevingen.Echter het vergt handwerk om een bestaande omgeving uit te breiden. Denkhierbij aan een uitbreiding en/of wijziging door een security-patch, een eventueleuitbreiding van een database e.d. Dergelijk handwerk verlaagt de snelheid vanhet doorvoeren van een wijziging.

SP/CA kent een groeimodel van producten. Het uitgangspunt voor de Alliantie isom met generieke producten te werken. Dan is de vraag ‘waar stopt generiek enwordt het klant-specifiek?’. Het antwoord is niet eenduidig te geven, omdat nietaltijd op voorhand te zeggen is of een product bij andere (potentiële) klanten zalworden gebruikt.

Aanbevelingen1. Onderzoek de mogelijkheden om uitbreidingen op reeds bestaande omgevingen

verder te automatiseren.2. Formuleer criteria waaraan mogelijke producten dienen te voldoen zodat SP/CA

blijvend kan voldoen aan de eisen uit de Business Case (wanneer is een productgeneriek?).

3. Actualiseer de High Level Design/SAD.


2 SP/CA is uitbreidbaar door oma. virtualisatie,echter nog niet getest

In hoofdstuk 1 is beschreven dat er maatregelen zijn genomen die tegemoet komenaan de vraag of het SP/CA zodanig is ingericht dat het uitbreidbaar is op basis vanwensen van (toekomstige) klanten. Een belangrijke factor daarbij zijn devirtualisatie van de infrastructuur en de standaardisatie van componenten.

Een kanttekening daarbij is dat er nog geen performancetesten zijn uitgevoerd.Dat resulteert erin dat niet bekend is in hoeverre de beschikbare infrastructuuren eventuele uitbreiding door virtualisatie van machines aansluit bij de teverwachten gegevensstromen. Naar wij hebben begrepen speelt hierbij een roldat een grote klant de te verwachten transacties in de gegevensstromen nog nietheeft gecommuniceerd.

Aanbevelingen1. Maak in overleg met één van de klanten (bv. DSO) een inschatting van de

aantallen transacties.2. Voer in samenwerking met de cloudprovider een statische performancetest

uit.3. Onderzoek de mogelijkheden een dynamische performancetest uit te voeren

met het Centraal Aansluitpunt.


3 Onderzoek naar de inrichting van het Beheeruitgesteld naar september 2017

In de opdrachtbevestiging (2016-0000194918 d.d. 1 november 2016) is eendeelvraag: Zijn de processen en de Organisatie rondom het SP/CA zödanigingericht dat het SP/CA uitbreidbaar is op basis van wensen van klanten?

Het beleid van de Alliantie is om de CobIT-beheerprocessen te gaanimplementeren. Uit gesprekken die we hebben gehad met vertegenwoordigersvan de Alliantie én met vertegenwoordigers van een klant van het SP/CA blijktdat de governance van de organisatie en de inrichting van de beheerprocessenvolop in beweging is. Het beeld is ontstaan dat er een flexibele beheerorganisatieis die snel inspeelt als de noodzaak van een beheeractiviteit naar boven komt. Debeheerorganisatie en —activiteiten vergen nog meer verankering. In overleg metde directeur van de Alliantie is voorgesteld om dit deel van de opdracht uit tegaan voeren in september 2017.


4 Managementreactie programma Alliantie

De programma Alliantie herkent zich in de inhoud van het auditrapport. Met deADR wordt (wederom) geconcludeerd dat het SP doet wat het moet doen. Het SPis in productie in een gesloten overheidsomgeving en is geschikt om klanten tefaciliteren die hun applicaties op het SP willen laten draaien.Terecht wijst de ADR erop dat nog niet aan alle eisen van de business case kanworden voldaan. Het automatisch schalen van het SP is hiervoor een belangrijkerandvoorwaarde. Deze functionaliteit is in de begroting voor 2017 in deplateauplanning meegenomen hiervoor belangrijke stappen te zetten in 2017.

De programma Alliantie is bezig met het ontwikkelen van het beleid voor watbetreft de criteria waaraan componenten moeten voldoen om ze generiek temaken.

Sinds het einde van 2016 heeft de programma Alliantie zich georganiseerd inSCRUM en DevOps teams. Hiermee kan klanten worden geboden wat isafgesproken in de DVO’s. Het verder professionaliseren van de organisatie met debeperkt beschikbare middelen is eveneens in de plateauplanning opgenomen. Opdit moment wordt het verder professionaliseren van de organisatie en debijbehorende processen vanuit de plateauplanning uitgewerkt in concretestappen.

Op korte termijn worden in samenspraak met het programma DSO en ODC Noordperformance, laad- en stresstests uitgewerkt en uitgevoerd. Hiernaast wordt ookeen vervolg gegeven aan eerder uitgevoerde penetratietests.


5 Verantwoording onderzoek

5.1 Werkzaamheden en afbakeningHet doel van de opdracht is bereikt als de volgende vragen zijn beantwoord:1. In hoeverre zijn de doelstellingen van de business case (versie 1.0 d.d. 7

november 2015) gerealiseerd uitgaande van het op het moment van onderzoekbeschikbare SP/CA?

2. Is het SP/CA zodanig ingericht dat het SP/CA uitbreidbaar is op basis vanwensen van (toekomstige) klanten?

3. Zijn de processen en de Organisatie rondom het SP/CA zodanig ingericht dat hetSP/CA uitbreidbaar is op basis van wensen van klanten?

Ad 1.Voor de beantwoording heeft de ADR een documentenstudie uitgevoerd. Dit heeftzich met name gericht op de eigen analyse van de Alliantie en de documenten dieaan deze analyse ten grondslag liggen. We hebben interviews gehad met deprogramma-architect (de gedelegeerd productowner) en de solutions architect omde onderbouwing te onderzoeken. We hebben niet onderzocht of er alternatievearchitectuur- en infrastructuurkeuzes zijn die mogelijk invulling kunnen geven aande eisen uit de business case.

Ad 2.De ADR heeft op basis van de generieke functionaliteit, zoals die inoktober/november 2016 operationeel is, getoetst op welke wijze en voor welkefactoren invulling wordt gegeven aan ‘uitbreidbaarheid’ van het SP/CA. Hiervoorheeft de ADR de uitgevoerde Proof of Concept’s en de aansluitdocumentatie op ditaspect beoordeeld.

Ad 3.Zoals aangegeven in hoofdstuk 3 zijn de werkzaamheden ter beantwoording vandeze vraag verschoven naar september 2017.

5.2 Gehanteerde StandaardDeze opdracht is uitgevoerd in overeenstemming met de InternationaleStandaarden voor de Beroepsuitoefening van Internal Auditing.

In dit rapport wordt geen zekerheid verschaft, omdat er geen assuranceopdracht is uitgevoerd.

5.3 Verspreiding rapportDe opdrachtgever, Hoofddirecteur IenM/FMC, is eigenaar van dit rapport.

De ADR is de interne auditdienst van het Rijk. Dit rapport is primair bestemdvoor de opdrachtgever met wie wij deze opdracht zijn overeengekomen. In deministerraad is besloten dat het opdrachtgevende ministerie waarvoor de ADReen rapport heeft geschreven, het rapport binnen zes weken op de website vande rijksoverheid plaatst, tenzij daarvoor een uitzondering geldt. De minister vanFinanciën stuurt elk halfjaar een overzicht naar de Tweede Kamer met de titelsvan door de ADR uitgebrachte rapporten en plaatst dit overzicht op de website.


6 Ondertekening

Groningen, 13 februari 2017

Auditdienst Rijk


Bijlage vergelijking BuCa-eisen VS.

maatregelen

Eis uit de Business Aangetroffen OpmerkingenCase documentatie,

maatregelenAansluiten bij IMEA-katern —

rijksbrede strategie en Standaardplatformontwikkelingen als Gebruik WSO2-platformCloud en Service (is Open Source)Gerichte Architectuur Eindbeeld SGA en Cloud

dienstverleningDwarskijkersadvies SGA(toetsing op gebruik SGAen Cloud).

Uit de documentatieblijkt de aansluiting bijde genoemde rijksbredestrategieën.

2 Aansluiten bij trend Uit de handleiding -

naar Agile applicatie-ontwikkelingsoftwareontwikkeling blijkt m.n. de(kort cyclisch) ondersteuning van het

SP met hetgeautomatiseerd uitrollenvan een applicatie.

Uit IenM - Deploymentservice - Ontwerp blijktde mogelijkheid eengeautomatiseerde uitrolvan ‘applicatie artefact’via WEB-interface. Ditversnelt de uitrol vannieuwe (releases van)applicaties.

3 Beperken benodigde SP stelt een technische De aandacht van deaandacht van de omgeving beschikbaar opdrachtgever hangtopdrachtgever voor de voor de ‘leveranciers’, ook mede af welketechniek Deze omgeving geeft de inspanning verricht

mogelijkheid om moet worden omgestandaardiseerd aan deapplicatieve aansluitvoorwaardenbeheerwerkzaamheden te voldoen.uit te voeren. Ook voorde aanlevering (vanbuiten naar binnen) iseen technische oplossing.Dit beperkt de aandacht


die een opdrachtgevernodig zou moetenhebben voor de techniek.

Uit: Aansluitvoorwaardenapplicaties encomponenten entechnische handleiding —

leveranciersinstantie.

4 Beperken gevolgen Deze eis niet verdercomplexiteit door deze beoordeeld. Geente concentreren documentatie die

specifiek ingaat opdeze eis.

5 Betalen voor Deze eis is nog nietdaadwerkelijk gebruik, te beoordelen. Dit isniet voor verder nog nietovercapaciteit geregeld.

6 Cloud is goedkoper dan In de documentatie staat Eis is een statement.traditionele omgeving veel over het gebruik van

standaarden en tools bijde inrichting, beveiligingen monitoring. Daaruit isaf te leiden dat deinrichting en beheergemakkelijk(er) is. Ookzijn er te verwachtenschaalvoordelen. Je zoukunnen concluderen dathet daarmee ookgoedkoper is, dat isechter niet aangetoond.

7 De complexiteit Complexiteit wordtbeheersbaar maken en beheersbaar gemaakthouden door verschillende

maatregelen gericht opstandaardisatie, zoals:

. Blauwdrukken (SEAL’s)

. ontwikkelomgeving isgelijk aan productie-omgeving

. geautomatiseerde uitrolvan applicaties via deplatformer

. gebruik van standaardcomponenten

. beschikbaar stellen vande laaS en de PaaS

8 Geautomatiseerde Uit IenM - Standaarduitrol van applicaties, Platform - Handleidingcomponenten en Componentenkoppelingen beschikbaar blijkt dat er

voor de uitrol maatwerkcomponenten zijn. Datbetreffen componentendie een

13 van 17 1 Audit standaard Platform 2016

Geen applicatie eigeninfrastructuur enmiddieware

Geen licentiekostendoor open sourcesoftware

Hergebruik vancomponenten enkoppelingen

Hergebruik vaninfrastructuur enmiddleware

geautomatiseerde uitrol -

mogelijk maken. Ditbetreft de platformer’.

In een demo deresultaten van hetuitrollen gezien.

Er is 1 standaard diegeleverd wordt doorSP/CA (zie de pdc). Voorde klanten zijn eraansluitvoorwaardenwaaraan voldoen moetzijn om op de standaardte kunnen draaien.

Er is geenapplicatiespecifiekeinfrastructuur enmiddelware.

Uit IenM — Handleiding —

Componentenbeschikbaar blijkt de tegebruiken open sourcesoftware en hetmaatwerk.

Meest is open source.Maatwerk betreft de‘lijm’ tussen decomponenten.

Hergebruik o.a. mogelijkdoor standaardisatie.Hiervoor zijnmaatregelen getroffen:

• Blauwdrukken (SEAL’s)• ontwikkelomgeving is

gelijk aan productie-omgeving

• geautomatiseerde uitrolvan applicaties via deplatformer

• gebruik van standaardcomponenten

• gebruik van instanties• gebruik van een

ingerichte OTAP-straat

Nog geen beleidontwikkeld wat alsgeneriek wordtbezien en wat niet.

Er is sprake vanSupportkosten vande open sourcesoftware. En er zijnkosten vanontwikkeling enbeheer maatwerk.

9

10

11

12 Minder beheer Standaardisatie, gelijke Het is (nog) nietvanwege identieke inrichting van omge- onderbouwd of datomgevingen vingen, geautomatiseerd ook zo is.

testen en hergebruik vangenerieke componentenkunnen leiden tot minderbeheer bij klanten.

13 Minder fouten door i Uit de opzetbeschrijving


identieke omgevingen en uit de demo’s blijkt ersprake is van identiekeomgevingen. SEAL’sworden gebruikt op deontwikkel- en deproductie-omgeving.

(zie ook 7)

14 Sneller doorvoeren van Er zijn maatregelen Uit de demo’s blijktaanpassingen en getroffen voor het snel dat het doorvoerenreleases kunnen implementeren van aanpassingen in

van gehele componenten een component ofen omgevingen (een omgeving handwerkrelease). vergt. Dit gaat niet

zo snel als bedoeld.(zie ook 11)

15 Sneller implementeren Standaard Platform —

nieuwe applicaties AansluitvoorwaardenApplicaties enComponentenCA - AansluitdocumentStandaard Platform —

Technische handleiding —

Applicatieontwikkeling.

Aanwezigheid van eeningerichte OTAP-straat.

16 Sneller ontwikkelen Randvoorwaardelijk biedt Het daadwerkelijkapplicaties SP/CA mogelijkheden om sneller ontwikkelen

snel applicaties up en van applicaties isrunning te krijgen, ook afhankelijk van

de klant.(Zie ook 2 en 15)

17 Verbeteren en Er zijn Security-patchesvereenvoudigen van standaardcomponenten implementeren blijktinformatie beveiliging gericht op beveiliging, niet zo eenvoudig.

IenM — CA — certificatenIenM — PKI-certhandlerIenM — standaardplatform — securitymodule

18 Vereenvoudigen van Het Centraalintegratie van en Aansluitpunt is hetgegevensuitwisselingen product dat detussen applicaties vereenvoudiging van

integratie engegevensuitwisselingenmogelijk maakt.

19 Vereenvoudigen van Het aanbieden van Het aanbieden vanvoldoen aan wet- en overheidsbreed geldende overheidsbreedregelgeving (noot: functionaliteit leidt tot geldendedeze eis geldt voor eenvoudiger voldoen aan functionaliteit is in


—

generieke de regelgeving (op 1 opbouw.functionaliteit) plaats wijzigingen

uitvoeren)20 Vergroten flexibiliteit IenM — Standaard Bij demo is gebleken

door schaalbare Platform — High Level dat het niet mogelijkcomputer capaciteit Design is om op te schalen

• voor componentenVirtualisatie van als ESB en API.machines Nog geen

performancetestenuitgevoerd.

21 Verhogen kwaliteit Zie 2 De opdrachtgeverapplicaties die gebruik maakt

van het SP/CA ishierin belangrijk.

22 Verhogen kwaliteit en Standaardisatie van destabiliteit koppelingen koppeling leidt tot

verhoging van dekwaliteit en stabiliteit

23 Verschuivend beheer Procesvolwassenheid Dit is een gevolg vanvan individueel naar SP/CA conform CobIT het concept.gezamenlijk gebruik


Auditdienst RijkPostbus 202012500 EE Den Haag(070) 342 77 00

Audit Standaard Platform 2016 - Rijksoverheid.nl · • de inrichting en het aanbieden van...

Documents

Transcript of Audit Standaard Platform 2016 - Rijksoverheid.nl · • de inrichting en het aanbieden van...