Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten,...

27
Verificatie & Validatie Evaluatie Projectervaringen rondom het V&V-proces juli 2009 Stuurgroep 4P Systems Engineering

Transcript of Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten,...

Page 1: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Verificatie & Validatie –

Evaluatie

Projectervaringen rondom het V&V-proces juli 2009 Stuurgroep 4P Systems Engineering

Page 2: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Werkgroep V&V: Roland Vissers (RWS, voorzitter) Johan de Vries (Prorail) Johan Hekker en Sjef van Heeswijk (ONRI/NL-ingenieurs) Peter van Gelderen (Vereniging van Waterbouwers) Gerrit Wemeijer (Bouwend Nederland) Jan de Liefde, Timo Kosters, Johan Naber en Vincent van der Meijden (RWS) Beyke Goris (Het Beyschrift, Tilburg) Status: versie 1.0, definitief

Page 3: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Inhoudsopgave

Inleiding 1

Managementsamenvatting

Hoofdstuk 1: Ervaringen met verificatie in de praktijk

4

5

Hoofdstuk 2: Mensenwerk 11

Hoofdstuk 3: V&V in de aanbesteding 16

Hoofdstuk 4: Evaluatie: voor de toekomst 21

Page 4: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 1

Inleiding In april 2007 is de Leidraad Systems Engineering uitgebracht. Deze „Leidraad SE‟ is het resultaat van een gezamenlijk en sectorbreed initiatief, gedragen/gecoördineerd door de volgende partijen:

Bouwend Nederland

ONRI

ProRail

Rijkswaterstaat

Vereniging van Waterbouwers (later aangesloten)

Het betrof een „eerste‟ versie van de Leidraad en van te voren was duidelijk dat deze in de toekomst op een aantal thema‟s nog verdere ontwikkeling behoefde. Het proces van Verificatie & Validatie is zo‟n thema. Deze rapportage is dan ook bedoeld voor lezers die bekend zijn met de Leidraad SE. Verificatie en Validatie: hoe gaat het in de praktijk? De vraag was hoe het Verificatie en Validatie (V&V) proces in de praktijk wordt ervaren. Welke ervaringen zijn er en wat valt daaruit te leren? Wat zijn de valkuilen, wat zijn de voordelen? In antwoord op deze vragen is besloten tot het uitvoeren van een projectscan, gevolgd door een rapportage voorzien van diverse lessons learned. Aan de hand hiervan kan de Stuurgroep SE het thema V&V verder ontwikkelen. Werkgroep V&V-scan Deze rapportage kwam tot stand via een aantal interviews met opdrachtgevers en –nemers van tien vooraf geselecteerde projecten. Met opdrachtgevers werd Rijkswaterstaat of ProRail bedoeld, met opdrachtnemers een partij uit de drie genoemde brancheorganisaties.

De Stuurgroep SE initieerde een werkgroep „V&V-scan‟, waarin leden van alle vijf genoemde partijen plaats namen. In de periode juli - september 2008 werkte de groep aan vier taken:

I. opstellen van de selectiecriteria voor de projecten II. selecteren van de tien projecten

III. vaststellen van de onderzoekscriteria IV. opstellen van de interviewvragen

I + II Opstellen selectiecriteria /Selecteren projecten Bij de te selecteren projecten ging het nadrukkelijk niet om best practices. Bedoeling was om als het ware een peilstok in een aantal „gewone‟ projecten te hangen, zodat een waarheidsgetrouw beeld ontstond van de huidige gang van zaken rondom V&V. De selectiecriteria waren:

De projecten moeten uit verschillende fases komen: tender, voorbereiding, uitvoering, opgeleverd

De projecten moeten een verschillende karakter hebben: droog, nat, spoor en multimodaal

Page 5: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 2

Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging van Waterbouwers.

III Vaststellen van de onderzoekscriteria De vier onderzoekscriteria vormden de basis voor de formulering van de interviewvragen:

1. proces 2. organisatie/structuur 3. inhoud 4. mens

IV Opstellen interviewvragen De leden van de werkgroep inventariseerden mogelijke interviewvragen. Deze werden geordend per onderzoekscriterium. De long list bestond uit 55 vragen: deze is naderhand ingekort naar een lijst van 20 vragen. Werkwijze Vanaf oktober 2008 werden de interviews uitgezet en afgenomen. Hoewel in eerste instantie het idee was van elk project de opdrachtnemer en –gever tegelijk te interviewen, is hier na enkele interviews vanaf gestapt. De vrijheid van spreken werd aanmerkelijk groter als er separate gesprekken plaatsvonden. Samen met de anonimiteit waarin de uitspraken konden worden gedaan, zorgde deze aanpak voor een openhartige sfeer. Op deze manier kwamen tal van geleerde lessen naar voren voor alle benoemde selectiecriteria. Er vonden enkel gezamenlijke interviews plaats als beide partijen zelf de wens hiertoe hadden. Kruislings interviewen In de werkgroep was grote belangstelling voor de wederzijdse ervaringen van opdrachtgevers en –nemers. Daarom werd gekozen voor de opzet van kruislings interviewen. Bij elk gesprek waren, behalve de externe partij voor de verslaglegging, personen aanwezig vanuit de V&V-werkgroep:

De twee opdrachtgevers woonden zo mogelijk de gesprekken bij van elkaars opdrachtnemers: betrof het een gesprek met een RWS-opdrachtnemer, dan was een werkgroeplid van ProRail erbij, en vice versa.

Bij elk gesprek was zo mogelijk iemand vanuit de marktpartijen aanwezig. Meer dan V&V alleen Al na enkele interviews werd duidelijk, dat voor de ondervraagden het V&V-proces veel los maakte. Dit „losmaken‟ heeft een dubbele betekenis: het ging voor hen zowel om het V&V-proces zelf als om de context waar het proces in staat. Alle interviewees refereerden in hun antwoorden niet alleen aan V&V in de praktijk, maar ook aan de aspecten eromheen. Zaken als de Systems Engineering-methodiek, functioneel

Page 6: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 3

specificeren, de relatie opdrachtgever-opdrachtnemer en D&C-contracten kwamen als vanzelf aan de orde in elk interview. Vanwege de waardevolle informatie die naar voren kwam, is besloten ook deze ervaringen in hoofdlijnen op te nemen in dit document. Daarmee wordt deze rapportage een lessons learned-document over V&V in de praktijk, in samenhang met de (nieuwe) werkwijzen van de opdrachtgevers. De peilstok, die in de projecten is gehangen voor het V&V-proces, heeft dus meer opgeleverd dan voorzien. Gezien de opbrengsten komt dit het totaalresultaat alleen maar ten goede.

Leeswijzer Om met de directe praktijk te beginnen, komen in Hoofdstuk 1 de ervaringen en lessons learned aan bod voor opdrachtnemers en -gevers. Ook worden praktische hulpmiddelen genoemd voor een werkbare verificatie. Hoofdstuk 2 gaat over het menselijke aspect van het bouwproces en het V&V-traject: hoe kan de communicatie tussen beide partijen verbeteren, waardoor het proces soepeler en sneller verloopt? Hoofdstuk 3 gaat terug naar de wortels van elk bouwproces: de fase tot aan de gunning. Welke slagen zijn hier al te maken, zodat SE en V&V kunnen worden ingezet zoals ze zijn bedoeld? Hoofdstuk 4 tenslotte formuleert vier hoofdconclusies en doet enkele aanbevelingen voor de toekomst.

Page 7: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 4

Managementsamenvatting V&V-scan Welk beeld geven de lessons learned en ervaringen rondom het V&V-proces in de nieuwe werkwijzen? In hoofdlijnen zijn er vier conclusies te formuleren, die zowel de huidige stand van zaken benoemen als een blik op de toekomst werpen. V&V wordt ervaren als een proces met grote voor- en nadelen. Voordelen zijn bijvoorbeeld de betere koppeling tussen eisen en verificatie en een toename van de transparantie. Bovendien is V&V een stimulans voor systematisch en helder werken. Op termijn levert V&V ongetwijfeld een vermindering van de faalkosten op. Aan de andere kant wordt het vele papierwerk van V&V als nadeel gezien. Daarnaast kost V&V behoorlijk wat tijd en geld. Ook ontbreekt het bij de opdrachtgever vaak aan praktische kennis over de toepassing van SE en V&V. Meer scholing op dit gebied is daarom zeker aan te bevelen. Een tweede conclusie is dat V&V in een transitiefase zit. Hoewel het proces al wel in gebruik is, is het nog niet echt geland. De opdrachtgever moet zijn sturende rol loslaten en de opdrachtnemer moet zelf meer aan de slag met oplossingen. V&V vraagt dus van beide kanten om forse gedragsverandering. Daarom is het belangrijk om SE, en dus V&V, stapje voor stapje in te voeren en niet direct een complete organisatie op zijn kop te zetten. Een derde punt heeft betrekking op functioneel specificeren. Functioneel gespecificeerde eisen zijn bedoeld om de opdrachtnemer de mogelijkheid te bieden om zijn eigen ontwerp te maken en oplossingen voor te stellen. Toch is dat nog steeds moeilijk. De kern van het probleem is dat eigenlijk niemand kan denken in functionele eisen. Dit kan aanzienlijke gevolgen hebben. Punt blijft dat een opdrachtgever met D&C in feite een project in de markt zet waarvan hij niet weet wat hij gaat krijgen. Dit pijnpunt moet meer in de schijnwerpers komen. Een laatste conclusie is dat het huidige systeem geregeerd wordt door angst. De opdrachtgever is bang dat de opdrachtnemer hem een oor aannaait met meerwerk, de opdrachtnemer is bang dat de opdrachtgever veel meer gaat eisen dan in het contract is afgesproken. Het verdient daarom aanbeveling om het huidige systeem onder de loep te nemen. Er zijn vast manieren denkbaar om opdrachtnemers eerder te betrekken bij het anders en slimmer opstellen van de eisen. Dit zou ongetwijfeld een forse kwaliteitsslag in het V&V-proces en het hele samenwerkingsproces in het algemeen teweeg brengen. De blik gericht houden op het gemeenschappelijke belang – het neerzetten van een goed product – genereert een houding die feitelijk niet in eisen vast te leggen is. Toch blijkt deze houding wel degelijk de kritische succesfactor te zijn. Zoals vaker in managementvakliteratuur wordt betoogd, blijkt ook hier de „zachte kant‟ in feite een keiharde voorwaarde te zijn voor succes. Kortom: hoeveel papier er ook bij komt kijken, een geslaagd V&V- en bouwproces is en blijft, net zoals elk ander proces, een kwestie van mensenwerk.

Page 8: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 5

Hoofdstuk 1 Ervaringen met verificatie in de praktijk Het verificatieproces kent in de praktijk veel facetten. Bij de ondervraagden leverde het dan ook een zeer divers palet op aan ervaringen en vragen. Wat is bijvoorbeeld een goede omgang met het grijze gebied tussen acceptatie en goedkeuring? Hoe houd je als opdrachtnemer de interne kwaliteitsborging op peil? Wat zijn manieren om de verificatie praktisch werkbaar te houden? Dit hoofdstuk geeft een overzicht van de belangrijkste lessons learned die zijn genoemd en is opgedeeld in drie categorieën:

Lessons learned voor de opdrachtgever

Lessons learned voor de opdrachtnemer

Hulpmiddelen voor een praktisch werkbare verificatie LESSONS LEARNED VOOR DE OPDRACHTGEVER Meer duidelijkheid voor de opdrachtnemer over de goede richting … Hoe weet je als opdrachtnemer of je op de goede weg zit met je ontwerp? Het feit dat er wel inhoudelijk commentaar komt, maar nooit ergens een handtekening onder, geeft toch de nodige onzekerheid, gaf het merendeel van de opdrachtnemers aan: “We dienden ook ontwerpnota's en werkplannen in, maar die werden formeel niet beoordeeld, terwijl daarin het uiteindelijke ontwerp en de uitvoering ervan wordt benoemd.” ON

Met een goed ontwerp zit je altijd op de goede weg, zeggen de D&C-voorstanders De werkelijkheid ligt gecompliceerder, zo blijkt: “Er zit iets tegenstrijdigs in een D&C-contract. Op geen enkel moment in het V&V-proces wordt gezegd: ik geef als opdrachtgever mijn zegen over het voorliggende ontwerp, de opdrachtnemer kan ermee aan de slag (NB: bij ProRail bestaat dit wel en heet dit moment Critical Design Review). Je gaat dus bouwen terwijl je niet weet of het aan de eisen voldoet. Maar als je het als opdrachtnemer niet goed verzonnen hebt, dan kun je dat volgens het contract pas op het allerlaatst te horen krijgen.” ON

… en meer duidelijkheid over de gevolgen van ‘acceptatie’ voor de opdrachtgever Bij zowel opdrachtgevers als opdrachtnemers bestaat het idee dat (officieuze) acceptatie gevolgen zou hebben voor de verdeling van verantwoordelijkheden. Zeker vanuit de opdrachtgever bestaat er terughoudendheid om aan te geven of een ontwerp wel of niet in de juiste richting zit: “Als opdrachtgever neem je de verantwoordelijkheid voor het contract, maar niet voor de

uitvoering. Dat is een rare tweespalt: wel acceptatie met stempel, maar geen goedkeuring

Page 9: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 6

met (dus) verschuiving van verantwoordelijkheid naar ons. Dit blijft een moeilijk punt in de

praktijk.” OG

“Als de opdrachtgever zegt „ik zou het zo doen‟ en we doen het als opdrachtnemer zo, dan trekken ze officieel gezien de verantwoordelijkheid naar zich toe en daar zijn ze angstig voor. Wij willen als opdrachtnemer meer zekerheid: de opdrachtgever hoeft geen verantwoording af te leggen, maar mag wel meer aangeven of de richting klopt. Nu toetsen ze alleen risicogestuurd.” ON

Deze veronderstelling is in strijd met de voorwaarden van de UAVgC 2005. Meer duidelijkheid bij de (RWS-)opdrachtgever over acceptatie en verantwoordelijkheid is daarom wenselijk. Opdrachtgever moet zelf meer gaan doen aan V&V De formele bedrijfsvoering die van de markt wordt gevraagd wat betreft V&V, moeten opdrachtgevers ook van zichzelf vragen, vinden opdrachtnemers én opdrachtgevers. “Als opdrachtgever zadelen jullie de opdrachtnemer op met een eis, terwijl jullie zelf eens goed naar die eis zouden moeten kijken. Eigenlijk moet diegene die de tender regelt, de verificatie nog eens doen. Waarom zou je het als opdrachtnemer moeten doen, als de opdrachtgever het niet doet?” ON “De kwaliteitsborging bij ons als opdrachtgever is niet geweldig. Daar sloeg de opdrachtnemer ons soms terecht mee om de oren: „jullie vragen van alles van ons op het gebied van aantonen, maar zelf weten jullie ook niet hoe het zou moeten.‟ Het is zaak goed het eigen proces in te richten.” OG “Een stukje V&V ligt ook bij onszelf als opdrachtgever. We hebben zelf de eisen gedecomponeerd omdat we risico‟s zagen: kortom, dan moet je ook zelf V&V uitvoeren. De overgang opdrachtgever-opdrachtnemer wordt dan ook veel simpeler. Er ontstaat bovendien een bepaalde uniformiteit, een kwaliteitssysteem, waardoor projecten met elkaar vergelijkbaar blijven.” OG

Let als opdrachtgever op de technische competenties van toetsers De technische kennis moet meer worden geborgd binnen de opdrachtgever: “Je moet zelf verstand van zaken blijven houden, zeker als je risicogestuurd wilt toetsen. Anders ben je overgeleverd aan de markt.” OG

“De ideale toetsing gebeurt het beste door een „procesman‟ met technische kennis, of door een tweemanschap, waarbij de een de processen controleert en de ander de technisch- inhoudelijke kant.” OG

Opdrachtnemer mag meer aandacht geven aan verificatie De opdrachtgevers die geen verificatiemethodes voorschreven, hadden meer dan eens het idee dat de opdrachtnemer vaak te eenvoudig met de verificatie omging: “In verificatierapporten is een vinkje bij „voldaan‟, wel magere bewijsvoering. De opdrachtnemer zou meer bewijs mogen leveren. Hier zijn we in contract niet scherp genoeg

Page 10: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 7

op geweest. Het is een uitloper van het feit dat we het proces zelf niet goed hadden ingericht: dan geef je het uit handen.” OG

“Bij een aantal eisen had de opdrachtnemer de vrije hand wat betreft de verificatie: dat heeft bij allemaal geresulteerd in simpele demonstraties. Daaruit blijkt dus dat je ook hier sturing aan moet geven. Testplannen en matrixen hebben we gezien, maar te weinig en te summier. De markt is nog sterk door geld gedreven ten opzichte van de kwaliteitsdrive van de opdrachtgever. Daardoor was er telkens een minimalistische insteek.” OG

LESSONS LEARNED VOOR DE OPDRACHTNEMER Knippen en plakken uit het contract niet handig Ook de opdrachtnemer zelf kan in de praktijk tot de conclusie komen dat zijn V&V-strategie niet erg doordacht was: “We hebben standaard keuringsplannen ingediend en nu we in de uitvoering zitten, hebben we daar spijt van. De aanpak blijkt in de praktijk omslachtig en tot veel overbodig werk te leiden. Het „knip- en plakgedrag‟ uit het SE-contract leidt tot veel overwerk. In de toekomst pakken we dit anders aan.” ON

Suggesties voor interne kwaliteitsborging opdrachtnemer De wijze van kwaliteitsborging door de opdrachtnemer vonden meerdere opdrachtgevers een lastig punt, omdat de integrale borging in de eigen audits van de opdrachtnemer ‘zit’. “Tijdens de procestoets ontdekten we dat „de slager (opdrachtnemer) zijn eigen vlees keurt‟.. De ontwerper maakt het ontwerp op basis van de eisen, en diezelfde persoon gaat vervolgens kijken of het ontwerp voldoet aan de eisen. Maar je kunt blind zijn voor zaken die er niet inzitten, waarvan jij denkt dat ze er echt wel in zitten." OG

Om de opdrachtnemer te prikkelen tot goede kwaliteit, kwamen opdrachtgevers met diverse ideeën: “Het is een idee om een „verborgen gebreken-verzekering‟ te introduceren in de sector. Ook zou de opdrachtnemer verplicht kunnen worden tot een second opinion door een bureau dat de opdrachtgever aanwijst.” OG

Opdrachtnemers hanteren al diverse oplossingen hiervoor: “Je zou een onafhankelijk ander iemand ernaar moeten laten kijken, dat kan ook iemand binnen de organisatie zijn.” ON

“Onderdeel van de verificatie is bij ons een second reader, die controleert altijd je ontwerpen voordat die naar buiten gaan. Dat is de kwaliteitsverificatie, zo verifieer je of het uitvoerbaar is en economisch, al is dat een andere verificatie zoals het hier bedoeld is.” ON

“We hanteren het vier-ogenprincipe: de één doet de verificatie, een ander maakt de nota en weer een ander checkt deze, zodat je een minimalisering van risico‟s krijgt.” ON

Page 11: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 8

Pas het abstractieniveau aan aan de werklaag Zoals een opdrachtnemer het formuleerde: “Ik vind het onzin om een uitvoerder droevig te maken met voor hem onbegrijpelijke eisen. Een topeis als veiligheid kan daarom vertaald worden in: plaats een hek rondom een steiger of vloer bij werken vanaf een hoogte van 2,5 meter.” ON

Opdrachtnemer moet zijn V&V-strategie naar onderaannemers aangeven De verantwoordelijkheid met betrekking tot de V&V ligt bij de hoofdaannemer. Toch zou het verstandig zijn als een opdrachtnemer aangeeft naar zijn onderaannemers hoe hij zelf omgaat met de V&V-strategie, werd meermalen opgemerkt. Daarbij moet de opdrachtnemer er wel voor zorgen dat een onderaannemer uiteindelijk alles oplevert: “Het is van belang dat de opdrachtnemer de eisen richting de leveranciers tot een voldoende detailniveau uitwerkt in hapklare brokken. Wanneer eisen op een te hoog niveau naar een leverancier worden doorgezet, ontstaat het gevaar dat de leverancier er niets mee kan, en je als opdrachtnemer uiteindelijk niet het juiste resultaat krijgt.” ON

“We hebben als opdrachtnemer aan onze onderaannemers voorgeschreven hoe ze de V&V konden uitvoeren. In feite geldt voor onderaannemers wat voor uitvoerders geldt: belast ze niet teveel met V&V, ze moeten immers zorgen voor de uitvoering en willen niet lastig gevallen worden met de abstracties van moeilijk verifieerbare topeisen.” ON

PRAKTISCHE HULPMIDDELEN VOOR EEN WERKBARE VERIFICATIE Gebruik bestaande technische normen en richtlijnen Alles in eisen zetten is bijna onmogelijk. Het gaat erom een kader te scheppen van wat „goed genoeg‟ is. Daarbij helpt het zoveel mogelijk gebruik te maken van bepaalde normen en gebruiken in de technische wereld: “Hieraan zitten praktische maatstaven voor het meten van zaken. Die maken het weer mogelijk echte ja/nee vragen op te stellen, die helder antwoord geven op de vraag of iets voldoet of niet.” ON

Voor meerdere opdrachtgevers was bijvoorbeeld het bestaan van de UAV-GC een hulp bij onverhoopte onduidelijke verdeling van verantwoordelijkheden: “Als het niet in de vraagspecificatie stond, kon ik de opdrachtnemer wijzen op het UAV-GC contract. Ik vond het prettig dat we dat konden gebruiken.” OG

Alle voorgeschreven normen verifiëren? V&V, volgens de zuivere theorie, houdt in dat alle voorgeschreven normen ook geverifieerd moeten worden. In praktisch opzicht levert dat problemen op, zoals met de NEN 1010:

Page 12: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 9

“De NEN 1010 heeft duizenden regels: moeten we die als opdrachtgever nu allemaal verifiëren? We hebben het idee dat impliciet die eisen worden meegenomen, maar expliciet zit de bewijsvoering nog niet goed. De opdrachtnemer weet dat hij aan die bindende documenten moet voldoen, maar maakt het niet aantoonbaar. Dat is nog een missing link in het proces.” OG

Een voorstel tot een mogelijke oplossing: “Vanuit ons vak hadden we te maken met de NEN 1010. Die hebben we niet opnieuw in de boom gehangen, maar genoemd als technische bestelspecificatie. In het eisendocument stond dat aan deze bestelspecs moest worden voldaan.” ON

Van eisen toetsen naar het bekijken van de werkwijze Het verificatieproces van de opdrachtnemer volgen werkt vaak sneller dan de eisen inhoudelijk aflopen, getuige de mening van een opdrachtgever die deze methode volgde: “Het verificatierapport was eerst een kille opsomming van „er is voldaan aan deze eisen op deze wijze‟. Dan kwam er een steekkarretje papier binnen, reeds in de VO-fase nota bene... Daar waren we zelf debet aan, door die eisen zo te stellen. Toen hebben we het omgeturnd tot een nieuw proces: het volgen van de werkwijze van verificatie. Dan kom je een stuk sneller door de stapel heen. Het verificatierapport is daarom meer een weergave over de integriteit van het ontwerpproces, dan dat het gaat over „echte‟ producten.” OG

Software voor V&V: handig in gebruik en bij betalingen Het merendeel van de opdrachtnemers werkt met databaseprogramma‟s om de verificatie en validatie van alle eisen in een contract op eenvoudige wijze te kunnen invoeren en bewaken. "Als opdrachtnemer hebben we een database gebouwd waarin mensen vanaf verschillende

locaties eisen konden bekijken én daar hun bewijsvoering aan konden toevoegen. Dat hield de gang van zaken uniform en up-to-date. Het resultaat ervan kon bovendien eenvoudig aan de opdrachtgever ter beschikking worden gesteld.” ON

“In de eisendatabase kunnen ook steekproefsgewijs zogeheten „weeseisen‟ of doodlopende eisen naar boven worden gehaald door bepaalde zoekargumenten erop los te laten.” OG

“Een bijkomend voordeel voor de opdrachtnemer is het direct kunnen aantonen dat bij een activiteit aan alle eisen gesteld in het contract is voldaan. Zo is voor de opdrachtgever bij elke betaling aantoonbaar dat deze rechtmatig was.” ON

Werkpakketten: goed voor de aantoonbaarheid en duidelijke betalingsmomenten Meerdere opdrachtnemers werkten met een soort werkpakketten, die elk een eisenverificatieplan en eisenverificatierapport kenden. Een werkpakket is een van te voren met de opdrachtgever overeengekomen onderdeel van het contract met een bepaalde financiële omvang en te realiseren in een afzienbare tijd.

Page 13: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 10

“Met werkpakketten hielden wij als opdrachtnemer de eisen „werkbaar aantoonbaar‟ en hoefde geen onnodige voorfinanciering plaats te vinden. De aanpak werkt ook versnellend op de betalingsafhandeling, omdat opdrachtgever en opdrachtnemer eventuele geschilpunten al in het voortraject konden aanpakken.” ON “Elke verificatie van een gegroepeerd aantal eisen is beschreven in een bijbehorende ontwerpnota van een beperkt aantal pagina‟s. Deze nota‟s moeten stand-alone gelezen kunnen worden. Dat geldt ook voor ontwerptekeningen. Op deze manier weet de linkerhand wat de rechter doet.” ON

“In een speciale database kwamen alle eisen te staan. Alle eisen kregen een nummer, een omschrijving en de vereiste methode van aantonen mee. Bovendien werden voor elke eis criteria bepaald die aangaven of aan een eis was voldaan of niet.” OG

V&V zorgt voor traceerbaarheid en transparantie Ondanks de kritische noten deelden zo goed als alle geïnterviewden de mening dat het V&V-proces een transparante en traceerbare manier is voor het voldoen aan eisen. Het gaat niet meer over meningen maar over feiten. Bovendien is het zeer expliciet, waardoor problemen al in een vroeg stadium naar boven komen: “Traceerbaarheid geeft aan van welke topeis een subeis komt. Dat is dus niet hetzelfde als verificatie, maar kan wel heel handig zijn voor het werk buiten: een uitvoerder bijvoorbeeld kan zo veel sneller helder krijgen waar de eis vandaan komt en hoe hij deze moet „plaatsen‟.” ON “Je hoeft elkaar niet in het wilde weg met paraplu‟s te bestoken, de pijnpunten zijn duidelijk te lokaliseren. Ook de rollenscheiding wordt goed ondersteund door dit proces.” OG

“Het levert een goed ontwerp op, met alle eisen gedefinieerd. Het is een extra op de ISO 9000-normering, met een transparante manier van aantonen dat aan de ontwerpnorm is voldaan.” ON

Page 14: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 11

Hoofdstuk 2 Mensenwerk Als een mantra kwam het in elk interview terug: papier alleen werkt niet. Persoonlijke en heldere communicatie tussen opdrachtgever en opdrachtnemer is belangrijk en verdient een goede investering en organisatie. Meer aandacht voor communicatieve schil rendeert. “Doe je het niet, dan houd je onnodig veel problemen”, aldus een opdrachtgever. De relatie opdrachtgever-opdrachtnemer blijkt een enorme invloed te hebben op de voortgang van het V&V-proces. De lessons learned hieromtrent kennen de volgende tweedeling:

Gesprekken en taal

Teams en mensen GESPREKKEN EN TAAL Eén gesprek doet meer dan tien brieven Brieven schrijven kan altijd, maar woorden op papier zeggen veel minder dan een live gesprek. Brieven worden ervaren als veel afstandelijker en leiden daarom sneller tot escalatie, is de ervaring: “„Gewoon praten met elkaar‟ is een essentieel onderdeel voor een soepel projectverloop, ook wat V&V betreft. Geen briefwisselingen dus - behalve in het uiterste geval - maar live afstemmen.” OG

Hanteer gewone taal Het gebruik van heldere taal voor het beschrijven van de eisen is (nog) niet ingeburgerd. Meerdere opdrachtnemers adviseren de opdrachtgever: verlies je niet in hoogacademisch jargon, maar blijft met beide benen op de grond staan. “Je moet niet doorschieten in zware taal die is doorspekt met Engelse termen. Dat werkt bureaucratie in de hand. Bovendien zijn er genoeg duidelijke Nederlandse begrippen voorhanden die hetzelfde betekenen en direct helder zijn.” ON

Maak letterlijk zichtbaar wat de afspraken zijn Een beeld zegt meer dan duizend woorden, ook (of juist vooral?) in vergaderingen: “Er werd gewerkt met beamers tijdens de opdrachtgever-opdrachtnemer overleggen. Er werd, zichtbaar voor iedereen, direct in de eisendatabase ingetypt wat er werd afgesproken. Er waren dan ook geen notulen of actielijsten. Deze werkwijze gaf een helder inzicht en maakte dergelijke sessies bovendien tot een gezamenlijke inspanning: goed voor het groepsgevoel!” OG

“Aan het eind van elk overleg werd een grafiek bijgewerkt. Die liet zien aan hoeveel eisen was voldaan en welke nog moesten. Deze fungeerde als een soort thermometer van de voortgang van het proces. Het was de eerste keer voor het management dat het echt inzicht kreeg in de stand van zaken van het project. De grafiek gaf nooit aanleiding tot discussie en

Page 15: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 12

vergrootte het vertrouwen aanzienlijk. Ook leende hij zich goed om betalingsmomenten aan te koppelen.” OG

TEAMS EN MENSEN

Houd de ‘geest van het contract’ levend Woorden zijn multi-interpretabel, zo luidde de algemene consensus. Juist daarom is het belangrijk om mensen in het team te hebben die bij de opstelling van het contract betrokken waren. Zij kennen de gedachtegang achter de woordkeuze van eisen en kunnen de achterliggende redenering verklaren. “Bij dit project zat iemand die er al vanaf het begin bij was betrokken (…) Hij kon heel gemakkelijk aangeven wat nu de bedoeling was bij bepaalde eisen. Dat scheelt enorm in de ideevorming over de bedoeling en richting van het contract.” OG

“Om eisen nu eenduidig uit te kunnen blijven leggen, zijn de personen uit de vorige fase hard nodig. Ze moeten erbij betrokken blijven. Dit is heel belangrijk: een verhaal met een historie lees je anders dan één zonder.” OG

“Hier zitten twee van de vijf mensen nog in het project, waaronder een technicus die inhoudelijk goed op de hoogte is. Dat scheelt heel veel in de interpretatie van eisen. Toch komen we zelf soms nog dingen tegen waarvan we zeggen: waarom hebben we het eigenlijk zo opgeschreven?” OG

Contractwijzigingen: ‘gewoon’ doen Als blijkt dat een eis meer tegen gaat werken dan mee, bijvoorbeeld als het ontwerp van de opdrachtnemer anders is dan gedacht: gewoon eruit wippen, luidt het advies van het merendeel van de opdrachtgevers. “Het werkt frustrerend voor de opdrachtnemer als wij als opdrachtgever aan de eisen blijven vasthouden. Dat kan aan de sfeer vreten: „die mafkezen blijven maar vasthouden aan die onzinnige eisen, ze weten niet waarover ze praten.‟ Een flexibele opstelling is dus in onze ogen niet alleen handig, maar zelfs noodzakelijk!” OG “In de startbesprekingen met de opdrachtnemer werd elke eis besproken. Stond er eentje niet goed omschreven, dan vond er een contractwijziging plaats. Dat was geen probleem, want we werkten transparant (…) Maak dus geen halszaak van contractwijziging.” OG

Goede project-startups zijn essentieel Iets wat volgens diverse geïnterviewden te weinig aandacht krijgt, is een goede project start-up. Dat is hét moment om goede afspraken te maken, ook over het V&V-proces. Zowel opdrachtgevers als –nemers maken te weinig gebruik van deze gelegenheid om de processtappen helder te formuleren en als ijkpunt te kunnen hanteren. “Iedereen grijpt altijd terug naar de project start-up, maar eigenlijk wordt daar heel weinig in besproken. Het is bedoeld om goede afspraken in te maken, maar dat gebeurt veel te weinig.” ON

Page 16: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 13

“Met een project start-up kan vanaf het prilste begin een vinger aan de pols worden gehouden. Het voorkomt ook dat de Leidraad SE over de schutting van de opdrachtnemer wordt gegooid. Je kunt erin de momenten vastleggen waarop je bekijkt hoe de opdrachtnemer met SE en V&V omgaat, hoe het systeem werkt en hoe het aansluit op je verwachtingen als opdrachtgever.” OG

Zet teams fysiek bij elkaar Houd er rekening mee dat het even duurt voor iedereen dezelfde taal spreekt. Dat geldt zowel voor de relatie met de andere partij als in de interne organisatie. “Het bij elkaar brengen van de projectteams van opdrachtgever en opdrachtnemer in de eerste fase zou de communicatie onderling veel goed doen. Het ver uit elkaar zitten zorgt voor het ontstaan van – grote – perceptieverschillen.” ON

Geregeld overleg is belangrijk… V&V is een prima ondersteuning, maar niet zaligmakend voor de totstandkoming van een werk. Regulier contact is minstens zo belangrijk. “We zijn het proces ingegaan met de hands-off-insteek. Maar dit Bahama-model van rustig sigaren roken en kijken of de ander het voor elkaar krijgt, kan naar de prullenbak verwezen worden.” OG “Een dagelijks overleg op het werk tussen beide partijen is een vereiste om grootschalige projecten te realiseren. Dat gebeurt in dit project te weinig. Ik snap niet hoe je tientallen miljoenen op afstand kan doen.” ON “In verband met interpretatieverschillen, nemen we nu als beheersingsmaatregel altijd „overleg‟ op in het risicodossier. Zo kunnen we zeggen: je hebt ons plan toentertijd goedgekeurd bij de aanbesteding, nu eisen we dat overleg om interpretatieverschillen weg te nemen.” OG

… bij voorkeur met een vaste club mensen Open deur of niet: langere samenwerking tussen dezelfde mensen loopt een stuk gesmeerder dan tussen wisselende personen. “Er zat een SE-expert in het team. Dit maakte de lijnen kort: vragen hoefden niet langs de hiërarchische lijnen van de projectorganisatie, maar kwamen direct bij hem terecht. Dat scheelde tijd en dus geld.” ON

De snelkookpanmethode: voor de vlotte vooruitgang Het figuurlijk opsluiten van beide groepen in dezelfde ruimte met hetzelfde doel kan versnellend werken op de besluitvorming: “De stuurteams van beide kanten namen de eisen door in monstersessies. De insteek was: niemand de deur uit voordat er besluiten zijn genomen. Beide teams trokken hierdoor veel met elkaar op.” OG

Page 17: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 14

Zet de juiste mensen op de juiste taken Zowel opdrachtgevers als opdrachtnemers moeten goed kijken naar de eigen organisatie of de juiste mensen zijn toegewezen aan de desbetreffende taken. “Een vastgeroeste bok op SE zetten heeft geen zin, net zo min als een fris groentje een complexe uitvoering te laten doen.” OG

Korte lijnen met de ‘top’ van opdrachtnemer en opdrachtgever houden de insteek praktisch Liever niet natuurlijk, maar escalatie is nu eenmaal bekend in de praktijk. Korte lijnen voorkomen langslepende patstellingen: “Het projectmanagement kende een wekelijks overleg tijdens de opleveringsfase. Dit fungeerde ook als een soort escalatieplatform. Als we niet uit een eis kwamen, kon dat hier geëscaleerd worden. Dat zorgde voor een snelle praktische insteek. Beide partijen hadden hetzelfde belang, namelijk op tijd de infrastructuur beschikbaar hebben, hetgeen erg belangrijk was voor de voortgang van het V&V-proces.” ON

Abstract kunnen denken is belangrijk Het verificatieproces vraagt om een bepaald abstractieniveau bij de opdrachtnemer: “Als je aan het systeem wilt voldoen, zijn in feite twee ontwerpers nodig: eentje die het bedenkt en eentje die het uitvoeringsgereed maakt. Er is zowel academisch inzicht als HTS-kennis voor nodig. Je moet mensen hebben die in staat zijn de hogere eisen te doorgronden en de vertaalslag te maken naar wat het dan in de praktijk betekent.” ON

Een goed team heeft diverse competenties Aandacht voor de opbouw van het team is belangrijk. Dit geldt zeker voor de selectie van goede specialisten. “Echte techneuten zijn vaak heel goed in hun vak, maar schieten te snel diep de oplossing in. Enkele benodigde competenties zijn:

performancedenken: waarom doe ik dit, hoe belangrijk is het echt?

afstand kunnen nemen van de inhoud: door relativering houd je zicht op de kern van de zaak;

empathie: inlevingsvermogen in de andere partij versterkt de samenwerking. En, al staan ze nergens: de ongeschreven principes van redelijkheid en billijkheid zijn belangrijk in de toepassing van het contract!” OG

Een waterdicht contract bestaat niet Op een enkele uitzondering na, is de eensluidende conclusie van de interviewdeelnemers: al is een eis nog zo SMART en duidelijk geformuleerd, hij zal altijd voor verschillende interpretaties vatbaar zijn. Een waterdicht contract bestaat niet. Overleg tussen opdrachtnemer en opdrachtgever over de eisen is dus een must.

Page 18: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 15

“Contact met de opdrachtnemer is essentieel voor een goedlopend project. Na gunning stonden we een maand later bij de opdrachtnemer met de club die de vraagspecificaties had opgesteld. Dat wist de opdrachtnemer ook van te voren. We gingen vragen stellen: niet over hun oplossingen, maar over het contract. Als we bijvoorbeeld zagen dat aan bepaalde eisen niet werd voldaan in de voorgestelde oplossingen, vroegen we: heb je hoofdstuk 6 wel goed gelezen? Het is een vorm van begeleiden zonder de oplossing in te schieten.” OG “Eerst was het idee om de bouwvergadering alleen over de voortgang van het proces te houden, maar we kwamen erachter dat opdrachtnemer wilde sparren over technische dingen. Waarom zouden we het niet doen? Uiteraard blijft de verantwoordelijkheid bij de opdrachtnemer, maar je moet als opdrachtgever uitleg geven over wat je wilt. Met alleen papier bereik je namelijk echt niet wat je wilt. En: als de opdrachtnemer komt met een ontwerp dat we niet zien zitten gezien de eisen, biedt deze manier ook de ruimte om dat

duidelijk te maken.” OG

V&V: niet ieders pakkie-an Hoe technisch V&V ook klinkt, het blijft een zaak van mensen: de interesse voor V&V wisselt per persoon. “Een eerste projectmanager van een extern ingenieursbureau bleek minder geschikt voor participatie in de pilot omdat eenvoudigweg de interesse voor de V&V-aanpak bij hem ontbrak.” OG

Page 19: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 16

Hoofdstuk 3 SE en V&V in de aanbesteding De wortels van een goedlopend SE- en V&V-proces liggen al vroeg in de aanbesteding. In de praktijk blijken hier nog veel kansen te liggen. De geleerde lessen die naar voren kwamen voor deze fase zijn opgedeeld in de categorieën

Voorbereiding (tijd, strategiebepaling V&V)

Opstellen van eisen

VOORBEREIDING Tijd Verleng de tenderfase om als opdrachtnemer het werk goed voor te kunnen bereiden De tenderfase is te kort om een goede voorbereiding van het werk, dus ook van V&V, te kunnen doen, zo oordeelt een aantal opdrachtnemers. Meer tijd, bijvoorbeeld een half jaar, geeft meer lucht en komt een doordacht V&V-plan ten goede. “Het V&V-proces kan de kwaliteit zeker ten goede komen, maar er is dikwijls te weinig tijd. De opdrachtgever is soms jaren bezig met de voorbereiding van zo‟n werk en wij als opdrachtnemer moeten in twee, drie maanden ineens zes keer zo veel werk zien te verzetten. Op die manier kunnen we ook niets doen aan innovatie of varianten vergelijken: en dat is wel waar D&C-contracten ook voor bedoeld zijn.” ON “Aannemers worden nu meer dan vroeger er eerder bij betrokken, maar dan weten ze nog niet of ze het mogen maken. Meer tijd voor de aannemer – een half jaar in plaats van een paar maanden - zou goed werken.” ON

Wees al aan het begin bewust: V&V is kostbaar Bij meerdere projecten was er in het begin sprake van weinig zicht op wat het V&V-proces eigenlijk inhield. Vroege bewustwording over de kosten voorkomt verrassingen: “Feit is dat de productie van en omgang met de gevraagde V&V-documenten behoorlijk wat tijd kost, aan beide kanten. Daarom moet al in de aanbestedingsfase duidelijk worden gemaakt dat V&V het nodige kost qua beheersing en administratie.” OG

“Uiteindelijk hebben acht man gewerkt aan het V&V-proces. Die kosten hebben we niet van te voren ingeschat. We wisten niet dat het zoveel menskracht zou gaan kosten.” ON

Maak individueel overleg mogelijk In de aanbestedingsfase zijn vragen over onduidelijkheden over gestelde contracteisen en bijbehorende verificatie nog makkelijk te beantwoorden. In een ronde van inlichtingen kan de opdrachtnemer vragen stellen, maar een dergelijke ronde kent zijn beperkingen, geven diverse opdrachtnemers aan.

Page 20: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 17

“Naar ons idee worden veel vragen niet gesteld bij de inlichtingen, want partij B kan wel eens wakker worden als partij A een vraag stelt.” ON

Deze opmerking geeft de spagaat aan waar opdrachtnemers zich nog in voelen in het huidige systeem waarin gunnen op de laagste prijs vooralsnog de boventoon voert. Dit werkt een tekortschietende voorbereiding in de hand, ook wat betreft V&V. Een mogelijke oplossing: “Als een opdrachtnemer vrijelijk vragen kan stellen in individuele gesprekken met de opdrachtgever, ontstaat er meer duidelijkheid over hoe bepaalde eisen „gelezen‟ moeten worden.” ON

Strategiebepaling Nadenken over verificatie in voortraject maakt problemen zichtbaar Door intensief met eisen en verificatie van eisen in het voortraject bezig te zijn, komen vanzelf mogelijke problemen naar voren. “We wilden een uitbreiding van een bestaand object, maar het werd door het denkproces over verificatie duidelijk dat we als opdrachtgever tegen de grenzen aan liepen van wat constructief mogelijk was. Verificatie heeft er dus in dit stadium – de aanbesteding – al voor gezorgd dat we de eisen hebben moeten concretiseren of aan moeten passen. De grootste winst die tot nu toe is gemaakt, is dat de vragen al scherp zijn gemaakt in de voorbereiding.” OG

Goed verwachtingenmanagement is het halve werk Opdrachtgever en opdrachtnemer moeten al in een vroeg stadium gaan praten over de eindfase van het project, is de mening van meerdere opdrachtnemers. “Wat verwacht je van elkaar? Welk proces gebruik je voor de oplevering? Hoe ga je het beoordelen? Een goed verwachtingenmanagement bij V&V is onontbeerlijk. In contracten wordt hier niet altijd voldoende aandacht aan besteed.” ON

Bepaal V&V-strategie vooraf Meerdere opdrachtnemers gaven aan dat er meer aandacht moet komen voor een vooraf bepaalde strategie: “De strategie stond niet in het contract en was voorafgaand aan de start van het project niet volledig uitgekristalliseerd. In ons geval is de strategie dus eigenlijk gedurende de eerste fase het proces bepaald en zo nodig bijgestuurd. Bij een volgend project moet de strategie, met de in dit project opgedane ervaring, zoveel mogelijk van te voren worden bepaald.” ON “Het besef dat we V&V moesten doen was continu aanwezig, maar de plannen op hoofd- en op deelsysteemniveau zijn pas gedurende het proces naar elkaar toegegroeid. Dit had doelmatiger gekund dan het nu is verlopen. Kortom een V&V proces dient top-down te worden ingericht terwijl de bewijsvoering natuurlijk in belangrijke mate bottum-up wordt opgebouwd. ON

Page 21: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 18

Ook meerdere opdrachtgevers zien achteraf het nut in van een vooraf duidelijk omschreven omgang met verificatie: “We vroegen gelijk om een verificatieplan aan de opdrachtnemer, maar de opdrachtnemer had nog te weinig gegevens om dat te maken. Het was beter geweest als we een managementplan omtrent verificatie hadden gevraagd: hoe ga je om met verifiëren binnen je organisatie? Dat hebben we niet opgenomen in het contract en hadden we wel moeten doen.” OG

“We vroegen om een verificatieplan en -rapport, maar nooit om het V&V-proces dat de producten tot stand brengt. Het was dus een impliciet proces en dat is niet slim. Zoals je voor kwaliteit allerlei processen hebt, bijvoorbeeld audits, zo moet je dat ook voor V&V inrichten. Pas onderweg bedachten we dat het een expliciet proces moest zijn. Inmiddels zit het in het kwaliteitsplan gebakken en is er een eis van gemaakt.” OG

Bepaal de mate van V&V vooraf Er wordt veel discussie gevoerd over de mate waarin V&V moet worden uitgevoerd. “Het aantonen ging soms wel erg ver. We kregen soms het gevoel de binnenkant van de darmen te zien. Minder diepgang had best gekund op een aantal punten.” OG “De eisen liggen op een hoog abstractieniveau, maar in de praktijk gaat de toetsing door tot op het moertje. Die vindt dus niet plaats op het niveau van gestelde eisen.” ON

Het aanleveren van goede formats in de vraagspecificatie kan hierbij helpen, aldus een opdrachtgever: “Als advies geef ik mee dat het zaak is van te voren formats aan te leveren voor het V&V-proces, die als bijlagen kunnen dienen. Als aan het begin van het traject helder is wat de opdrachtgever verwacht van de opdrachtnemer hierin, voorkom je gedurende het bouwtraject problemen.” OG

Maak geld vrij voor aanbiedingen Een opdrachtnemer verricht veel werk vooraf. En: hoe beter de voorbereiding, hoe meer geld het kost. Een opdrachtgever beaamde de hartenkreet van meerdere opdrachtnemers: “Er moet iets tegenover staan. Een reële vergoeding is eigenlijk niet meer dan normaal.” OG Vervlecht bestuurlijk voortraject met aanbesteding Door bestuurlijke voortrajecten, zoals een MER, worden in principe mooie oplossingen nogal eens onmogelijk gemaakt: “In een MER worden vaak oplossingen bedacht die niet worden beoordeeld op geld: kortom, de MER maakt het vaak onmogelijk om met slimme oplossingen te komen. Doe het bestuurlijke voortraject, zoals de MER, en de aanbesteding parallel.”

Page 22: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 19

OPSTELLEN VAN EISEN Geef meer aandacht aan het opstellen van eisen De opdrachtgever moet meer tijd besteden aan het opstellen van eisen, in plaats van het over de schutting gooien van een „bak‟ eisen, vonden meerdere opdrachtnemers: “Kijk als opdrachtgever wat een redelijke eis is en besteed er tijd aan. Weet wat een aannemer kan en wat zijn expertise is - laat niet alleen de markt werken, maar benut elkaars kennis en kracht. Mocht een opdrachtnemer minder kennis in huis hebben op een bepaald gebied, help hem dan met zijn detaillering.” ON

Zet een goede schrijver op de eisen Er blijkt behoefte te zijn aan techneuten die de juridische reikwijdte van hun zinsconstructie begrijpen. Naar de aard van hun vak zijn deze uiteraard vrij dun gezaaid. Ontwerpteams moeten elk een goede eisenschrijver hebben, die verantwoordelijk is voor de tekst: “Hij moet op de stoel gaan zitten van de klant, door zijn ogen kunnen kijken. Daarbij hoeft hij niet inhoudelijk tot in detail te kunnen snappen waar het om gaat. Als hij tekstueel goed onderlegd is, komen daar ook goede eisen uit.” ON

Van sommige eisenschrijvers laat hun achtergrond zich eenvoudig raden: “Het is duidelijk te merken dat er vliegtuigbouwers meeschreven aan het contract, gezien de eisenomschrijving. Die bestond vaak uit gestaffelde samenbouw. Maar in de installatietechniek is alles veel meer geïntegreerd. De eisen leiden soms tot voor ons onherkenbare processen. Het verificatieproces sluit dus ook niet goed aan op de praktijk: we bouwen nu eenmaal geen vliegtuig.” ON

Laat mensen uit de praktijk kijken naar eisen In de praktijk zullen de eisen uiteindelijk hun werkbaarheid bewijzen. Een goede controle op het opstellen van de eisen komt dan ook vanuit die hoek: “Toen wij een eisenboom en verificatiematrix hadden opgesteld, hebben we twee projectmanagers die met pensioen waren gevraagd een paar dagen langs te komen en het te lezen en te beoordelen vanuit hun grote praktijkervaring. Deze mensen hadden nog nooit van eisenboom of verificatiematrix gehoord. Er kwam veel naar boven wat onduidelijk was, ze konden dus veel nuttige tips geven. Puur omdat ze de valkuilen vanuit de praktijk kennen

Ze vonden het bovendien leuk om te doen.” ON

Onderliggende eisen moeten matchen met bovenliggende eisen In de interviews een met regelmaat terugkerend onderwerp: onderliggende eisen die niet onder topeisen hingen, terwijl dit nodig is voor een goede V&V-slag: “We begonnen met een stel eisen en aan het eind van het DO waren het er drie keer zoveel. Eisen groeien eindeloos, het is zelfrijzend bakmeel. En er zijn er al tig te noemen die geen

Page 23: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 20

bovenliggende eis hebben, al vanuit het contract niet. Gaandeweg worden de hiaten duidelijk van het contract. De opdrachtgever wil een heldere structuur van ons, maar volgt er zelf geen. Oplossing: zet een goede eisenboom op.” ON

“We wilden een bepaalde functie onderbrengen in een andere tak van de eisenboom. Waar hij was ondergebracht, klopte echt niet. Dat was een enorme administratieve molen, waar ook de betalingen aan vast zaten. Ons advies: de opdrachtgever moet die boom voortaan niet meer vastleggen, laat de opdrachtnemer dat doen. In D&C ligt de ontwerpvrijheid toch bij de opdrachtnemer?” ON

Houd balans in het abstractieniveau van de eisen Het evenwicht tussen abstract en concreet in de eisen is belangrijk bij een goede interpretatie van de eisen. Deze balans blijkt nog voor verbetering vatbaar: “Dit D&C-contract was eerst een RAW-bestek, dat is teruggeschreven naar eisen. Dat maakte de eisen heel variabel: van enorm abstract naar het detailniveau à la RAW. Hier hebben we veel problemen mee gehad in het begin. Het was een beetje een kreupele eisenboom. Eisen kwamen opeens heel gedetailleerd onder een topeis te hangen.” ON “We hebben veel onbalans in definities van eisen gezien. Dan is de afrastering tot op de centimeter gedefinieerd, en het gebouw helemaal niet. Dit leidt tot de nodige hilariteit, maar ook ergernis.” ON

Page 24: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 21

Hoofdstuk 4 Evaluatie: voor de toekomst Welk beeld geven de lessons learned en ervaringen ten aanzien van het V&V-proces in de nieuwe werkwijzen? In hoofdlijnen zijn er vier conclusies te formuleren, die zowel de huidige stand van zaken benoemen als een blik op de toekomst werpen. Eerste conclusie: V&V wordt ervaren als een proces met grote voordelen en grote nadelen. De voordelen zijn bijzonder duidelijk... V&V heeft een betere koppeling tussen eisen en verificatie opgeleverd en zorgt voor een toename van de transparantie. Werken met V&V is erg goed voor de aantoonbaarheid: die ligt rotsvast. Bovendien is het een stimulans voor systematisch en helder werken. Discussies over meer- en minderwerk komen veel minder voor: de focus verschuift van kwantiteit naar kwaliteit. Op termijn levert V&V ongetwijfeld een vermindering van de faalkosten op. Nadenken over verificatie in de aanbesteding zorgt ervoor dat eisen praktisch werkbaar blijven en behoedt voor onmogelijke of onterechte eisen. Het is in feite een extra kwaliteitsborging. Zoals een SE-expert bij een opdrachtnemer opmerkte: “Het hele V&V model en SE doe je niet voor de opdrachtgever, maar voor jezelf in het kader van je interne kwaliteitssysteem. Zo wordt voorkomen dat je niet kunt aantonen dat er aan het contract wordt voldaan of dat de uitvoering opnieuw moet. Het is een kwestie van (…) expliciet werken en specifiek maken. Alleen zo wordt geborgd of je op de goede weg bent.” ON

“De aannemer, die het proces van V&V volledig beheerst, is een complete en aantrekkelijkere opdrachtnemer voor de opdrachtgever.” ON

…maar de nadelen zijn dit ook Het is geen geheim: veel mensen in de uitvoering zijn geen administrateurs. Ze ervaren papierwerk doorgaans niet als een uitdaging, maar als een belemmering. Zeker de mensen buiten zien de noodzaak van het proces en zijn producten vaak niet in. Dat V&V een enorme berg papierwerk oplevert, is niet iets waar de professionals op zitten te wachten. Toch is juist de discipline om dingen administratief bij te houden een must, evenals abstract denken. “Het hoofd van ons SE-team had de materie gelukkig goed in de vingers en begreep het belang van vastleggen. Een hbo‟er of academicus kan dit nog, lager niet: je kunt geen tekenaar een stuk eisenboom in laten vullen. Het is dus relatief dure tekst.” ON

Daarnaast kost V&V behoorlijk wat tijd en geld, iets wat aan het begin vaak wordt onderschat. Bovendien ademt het nog te veel de sfeer van een „dictaat‟ van Rijkswaterstaat en ProRail. Het wordt theoretisch ingezet en aan de tijd en menskracht die het kost, heeft de opdrachtgever weinig boodschap: dit omdat de praktische kennis van de toepassing van SE en V&V nogal eens ontbreekt bij hem. Meer scholing op dit gebied is een aanbeveling op dit punt.

Page 25: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 22

“We hebben als opdrachtgever wel een interne opleiding SE, maar V&V komt daarbij niet aan bod. Dat is wel een beetje vreemd.” OG Tweede conclusie: V&V zit in een transitiefase en vraagt om een nieuwe cultuur Hoewel het proces al wel in gebruik is, is het nog niet echt geland. De opdrachtgever moet zijn sturende rol loslaten, en na decennia is dat niet eenvoudig. Anderzijds moet de opdrachtnemer zelf meer aan de slag met oplossingen en is dat nog niet gewend. V&V is een nieuw proces dat van beide kanten om forse gedragsverandering vraagt. Daarom is het belangrijk SE, en dus V&V, stapje voor stapje in te voeren en niet direct een complete organisatie op zijn kop te zetten. Alleen als het zo wordt doorgevoerd, wijzen alle neuzen op termijn dezelfde richting uit, aldus een opdrachtnemer: “Het dringt langzaam intern door dat SE en V&V noodzakelijk is voor de kwaliteitsborging en aantoonbaarheid van de juistheid van het geleverde product.” ON

Zeker „buiten‟ moet nog wennen aan het V&V-verhaal. Om iedereen de noodzaak van het proces en zijn producten te laten inzien is moeilijk: het wordt al snel als een last gezien. “Elke uitvoerder is in principe een klein projectleidertje. Met D&C wordt hij in een stramien gezet dat hij niet gewend is”, aldus een opdrachtnemer. Een andere opdrachtnemer vergelijkt het met de invoering van kwaliteitscertificering eind jaren tachtig: “Dat gaf aan het begin ook een overvloed aan dikke ordners, die op termijn steeds minder en dunner werden. We zitten qua V&V nu nog in de dikke ordners-fase.” ON

Derde conclusie: Er bestaat nog veel problematiek rondom functioneel specificeren Functioneel gespecificeerde eisen zijn onderdeel van de SE-systematiek en een bepalende factor in V&V. Ze zijn bedoeld om de opdrachtnemer de mogelijkheid te bieden om zijn eigen ontwerp te maken en oplossingen voor te stellen. Toch is dat nog steeds moeilijk, ondervonden bijna alle opdrachtnemers: “Nog steeds grijpt de opdrachtgever terug naar een eerder ontwerp van ons, maar wij zeggen dan dat hij nooit een formeel ontwerp van ons heeft gezien. Of –nog erger- hij verwijst naar het eigen referentieontwerp dat wij echter niet kennen. Een dergelijk ontwerp mag geen rol spelen in de ontwerpvrijheid die het PvE de opdrachtnemer biedt.” ON

De kern van het dilemma zit volgens de ondervraagden in het feit dat eigenlijk niemand kan denken in functionele eisen. Uiteindelijk ziet iedereen toch altijd een plaatje voor zich. Toch zul je dit moeten loslaten als opdrachtgever, als je serieus functioneel wilt specificeren, betogen de opdrachtnemers. Dan ontstaat er ook minder verwarring over gehanteerde verificatietypes:

Page 26: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 23

“Ons ontwerp van een deel van het project zag er anders uit dan door de opdrachtgever was voorzien volgens hun eisen. De opdrachtgever zag dat zijn verificatietype niet meer klopte voor onze innovatieve oplossing. De acceptatie van onze rekenmethode verliep daardoor heel moeizaam. Je komt in de plaatgroef dat je je klant moet gaan overtuigen van jouw rekenmethode, en hij maar blijft vinden dat het niet voldoet.” ON

Opdrachtgevers zien zelf ook de problematiek van onvoldoende functioneel specificeren: “Het is te vergelijken met dit beeld: je wilt een pen, maar die moet functioneel beschreven worden. Dat wordt een heel pakket dat de markt opgaat. En dan wordt er gezegd: wat een moeilijk pakket, je bedoelt zeker die pen? Zeg dat dan meteen.” OG

Het probleem rondom functioneel specificeren kan aanzienlijke gevolgen hebben. Omdat het menseigen is in beelden en oplossingen te denken, kan een opdrachtgever in principe iets krijgen wat hij niet voor ogen had. Dan volgt vaak een reactie in de trant van „wij vinden dit niet in de geest van het contract‟, gevolgd door lange discussies. Punt blijft dat een opdrachtgever met D&C in feite een project in de markt zet waarvan hij niet weet wat hij gaat krijgen. Dit pijnpunt moet meer in de schijnwerpers komen: “Er moet meer aandacht komen voor het zoeken naar een evenwicht: hoe kan de opdrachtgever meer houvast geven aan de leverancier, zonder alles uit te schrijven?” ON

“De opdrachtgever heeft vaak een oplossingswens in zijn hoofd. Het is lastig om deze wens te vertalen in een functionele eis. Daarom zullen er altijd eisen blijven die je als opdrachtnemer sturen naar een bepaalde oplossing. In mijn ogen zal er nooit volledig functioneel gespecificeerd worden.” ON

De vraag is ook of elk project zich leent voor een SE-aanpak. Alleen grote, nieuwe werken zijn geschikt, werd meerdere malen aangegeven. Daar is de hoeveelheid vereiste aantoonbaarheid relevant genoeg om een V&V-proces voor op te zetten. Houd voor ogen dat het gaat om de praktijk en de kwaliteit van het werk. De algemene boodschap van de opdrachtgevers aan collega‟s. “'Freak' niet op eisen, maar ga bewust om met de 'uitvraag'. De eisen zijn een hulpmiddel en geen doel. Je moet je rol als opdrachtgever kennen en weten wat je aan de markt overlaat. Zelf weten wat je vraagt als opdrachtgever brengt de partijen dichter bij elkaar, geeft een beter inzicht in de risico's en voorkomt verrassingen.” OG

Vierde conclusie: Samenwerking is de basis van elk geslaagd V&V-proces „Al zijn er tekenen van verandering, de markt wordt nog steeds geregeerd door angst, zowel bij opdrachtgever als opdrachtnemer‟, vat een opdrachtgever het huidige klimaat samen. De eerste is bang dat de opdrachtnemer hem een oor aannaait met meerwerk, de opdrachtnemer is bang dat de opdrachtgever veel meer gaat eisen dan in het contract is afgesproken. Dit is te doorbreken door het laten groeien van vertrouwen door eigen gedrag: “Was een eis als voldaan aangemerkt, dan bleef hij dat ook. Als er vanuit ons als opdrachtgever intern werd geprobeerd nog een aanvulling „via de achterdeur‟ erin te

Page 27: Verificatie & Validatie – Evaluatie€¦ · Er moet een evenwicht zijn tussen RWS-projecten, ProRail-projecten en projecten voorgesteld vanuit Bouwend Nederland, ONRI en de Vereniging

Stuurgroep 4P SE, juli 2009 – Projectervaringen V&V 24

stoppen, moet je je rug recht houden en dit tegenhouden. Anders verzand je weer in de oude manier van werken. Kortom, vertrouwen is cruciaal. Uiteraard is hier ook steun van het hogere management voor nodig”. OG

Het vigerende systeem kent een belangrijk manco: degene die het werk maakt, weet vaak meer van het werk af dan degene die het bedenkt. Zoals een opdrachtnemer opmerkte: “Nu komt de uitvoerende partij er vaak pas in het werk achter waar de risico‟s zitten. Eigenlijk zou de opdrachtnemer in het voortraject aan tafel moet zitten. Maar als we ervoor betaald worden, mogen we geen aanbieding meer doen.” ON

Het verdient aanbeveling het huidige systeem onder de loep te nemen en te bezien of er manieren denkbaar zijn om opdrachtnemers eerder te betrekken bij het anders en slimmer opstellen van de eisen. Dit zou ongetwijfeld een forse kwaliteitsslag in het V&V-proces en het hele samenwerkingsproces in het algemeen teweeg brengen. Succes komt van twee kanten In succesvolle V&V-trajecten stonden beide partijen open voor overleg: er werd naar elkaar geluisterd, samen gebrainstormd, men kon „wat van elkaar hebben‟ en de sfeer bleef goed, ook bij kwesties met tegenstrijdige belangen. De controle verminderde dan als vanzelf: “Er zijn afspraken gemaakt over de eisenverificatieplannen en –rapporten: die worden ter acceptatie ingediend. De opdrachtgever hoeft ze echter echt niet allemaal in te zien of te ontvangen. Het onderlinge vertrouwen is hoog en we durven samen risico‟s te nemen.” ON

“Verificatie zou praktischer en prettiger kunnen: bijvoorbeeld door een presentatie te geven over het ontwikkelde systeem, in plaats van de „droge‟ rapporten op te sturen. Dat schept ook meer onderling vertrouwen.” ON

“Als opdrachtnemer horen we het liefste van de opdrachtgever: ik heb vertrouwen in het systeem van aannemer, met die moertjes zit het wel goed. Laten we vooraf overleggen over proces- en systeemtoetsen en onze beelden op elkaar afstemmen.” ON

De blik gericht houden op het gemeenschappelijke belang, het neerzetten van een goed product, genereert een houding die feitelijk niet in eisen vast te leggen is. Toch blijkt deze wel degelijk de kritische succesfactor te zijn. Zoals vaker in managementvakliteratuur wordt betoogd, blijkt ook hier de „zachte kant‟ in feite een keiharde voorwaarde te zijn tot succes. Kortom: hoeveel papier er ook bij komt kijken, een geslaagd V&V- en bouwproces is en blijft, net zoals elk ander proces, een kwestie van mensenwerk.