Hetevalueren vancrises - COB...crisis, dan isevaluatie volgens deze leidraad niet verplicht....

_ 0010 _ iO I

Het evalueren van crisesEen leidraad

November 2005

Den Haag, november 2005

Marc Bökkerink, BZKChris Dijkens, VROMGerard laanen, VenWRob Westra, OCWTon Zwennes, VWS

2 Het evalueren van crises - november 2005

Inhoud

1. Inleiding 4

2. Wanneer deze leidraad gebruiken? 4

3. Fasering evaluatie 4

4. hlh()ud van de evaluatie 5

5. Wie is verantwoordelijk voor een evaluatie? 6

6. Wat moet in ieder geval? 7

7. Een blik naar de toekomst 7

Bijlage I: Schematische fasering van de evaluatie 8

Bijlage 11:Toelichting per fase van de evaluatie 11

Bijlage 11I:Checklist voor een evaluatie 17

Bijlage IV: Literatuur I gebruikte bronnen 21

Het evalueren van crises - november 2005 3

1. InleidingBehouden wat goed ging, verbeteren wat beter kan. Dat is het uitgangspunt van iedereevaluatie. Nu de aandacht voor crisisbeheersing de afgelopen jaren is toegenomen enmodeme typen crisis vragen om een meer integrale benadering van crisisbeheersing is hettijd om ook met die bril te kijken naar het evalueren van crises. De aanwijzingen die in deven;cl1iJ1end~.(j~part~mentalehandboeken.crisisbesluitvorming. zijn opgenomen volstaanniet meer. In het beleidsplan crisisbeheersing 2004-2007 is daarom aangekondigd dat voorevaluaties een minimale opzet en doorlooptijd wordt vastgesteld. Deze leidraad is deuitwerking hiervan.

Hierna wordt allereerst in paragraaf twee aangegeven in welke gevallen de leidraad moetworden gebruikt. In paragraaf drie wordt de fasering van een evaluatie op hoofdlijnengeschetst. In twee bijlagen zijn een uitwerking van de fasering en een toelichting per faseopgenomen. Vervolgens wordt in paragraaf vier ingegaan op de inhoud van de evaluatie.Over welke onderwerpen gaat de evaluatie? In de bijlage is een checklist opgenomen metmogelijke vragen die in de evaluatie aan de orde kunnen komen. In paragraaf vijf wordtingegaan op de vraag wie over een evaluatie beslissen. De minimumeisen aan eenevaluatie zijn opgenomen in paragraaf zes.

2. Wanneer deze leidraad gebruiken?In die gevallen dat een crisis, van welke omvang ook, heeft geleid tot het bijeenroepen vaneen Interdepartementaal Beleidsteam, wordt gebruik gemaakt van deze leidraad. Ditbetekent niet dat deze leidraad een keurslijf is waarin de evaluatie moet worden ingepast.In paragraaf zes is aangegeven welke onderdelen moeten worden gebruikt. De overigeonderdelen kunnen worden aangepast aan de specifieke situatie.

Wanneer sprake is van een beperkte crisis die niet heeft geleid tot een InterdepartementaalBeleidsteam of wanneer sprake is van een departementale crisis dan is het gebruik vandeze leidraad aan te bevelen maar niet verplicht. Ook wanneer een InterdepartementaalBeleidsteam bijeengekomen is terwijl geen sprake is geweest van een daadwerkelijkecrisis, dan is evaluatie volgens deze leidraad niet verplicht.

Elementen uit deze leidraad zijn ook bruikbaar voor het evalueren van oefeningen.

3. Fasering evaluatieStartpunt voor een evaluatie is een crisis, een incident of een andere gebeurtenis waarvangeleerd kan worden. De evaluatie mondt uiteindelijk uit in een aantal geleerde lessen.Daartussenin worden de volgende stappen doorlopen.

A. Besluit verkenning evaluatieB. Verkenning evaluatieC. Besluit tot evaluatieD. Uitwerken plan van aanpakE. Instemming plan van aanpakF. Feitelijke evaluatieG. Rapport


H. Vaststellen rapportI. Terugkijken op de evaluatieJ. Vervolg

De grootte van een crisis is niet het enige criterium voor een evaluatie. Er zijn kleinegebeurtenissen waarvan veel te leren valt. Soms is niet duidelijk of er iets te leren valt. In aldie gevallen wordt besloten (A) tot een verkenning (B) met als doel antwoord te krijgen optwee vragen: Is een evaluatie nuttig en nodig? en Wat moeten we evalueren? Om eenantwoord te krijgen opdez:e vragel'1lT1oeter een globäaliichfkómen op het verloop van decrisis of de gebeurtenis. De globale afbakening van de evaluatie ten opzichte van andereevaluaties moet worden voorgesteld. Ook kan een voorstel voor een gecombineerdeevaluatie worden gedaan. Tenslotte wordt een ruwe schets gemaakt van de benodigdemensen en middelen voor de uitvoering van de evaluatie. De uitkomsten van de verkenningworden neergelegd in een rapportage.

Wanneer besloten is tot uitvoering van de evaluatie (C) wordt het plan van aanpakuitgewerkt (0). Hierin wordt vastgelegd wat het doel en de reikwijdte zijn van de evaluatie,wie de evaluatie uitvoeren, welke onderzoeksmethode gehanteerd wordt - inclusief deinstrumenten om de validiteit te waarborgen - en welke organisaties en functionarissenmoeten bevraagd worden. Na instemming door de opdrachtgever met hetplan van aanpak(E) kan de feitelijke evaluatie (F) worden gehouden. Dit leidt uiteindelijk tot een rapportage(G) waarin de bevindingen en de conclusies en eventuele aanbevelingen zijn opgenomen.Wanneer het rapport van de evaluatie is vastgesteld (H)is de feitelijke evaluatie afgelopen.Daarna volgt de implementatie van de geaccepteerde conclusies en aanbevelingen (J). Inbijlage I is de fasering schematisch verder uitgewerkt. In bijlage 11 is een toelichting bij deverschillende fasen te vinden.

4. Inhoud van de evaluatieIn de vorige paragraaf is vooral ingegaan op de inrichting van het proces van de evaluatie.In deze paragraaf komt aan de orde welke vragen in de evaluatie aan de orde kunnenkomen. Een gebruikelijke methode van onderzoek is antwoord te geven op de volgendedrie vragen: wat is er gebeurd, wat was de afspraak en hoe is het verschil tussen die beidete beoordelen? Het is raadzaam deze vragen te bezien vanuit de relevante processen. Devolgende processen zijn geïdentificeerd.

A. NetwerkmanagementB. InformatievoorzieningC. Anticipatie en vooruitdenkenD. BesluitvormingE. ProcesbewakingF. Voorlichting en communicatieG. Verantwoording

Het kan ook zinvol zijn om aan de hand van specifieke onderwerpen de vragen tebeantwoorden. Aandachtspunten hierbij zijn:

H. Planvormingi. DCCs en plannen: referentiekader departementale coördinatiecentraJ. Taken, verantwoordelijkheden, bevoegdhedenK. CommunicatiemiddelenL. Overige middelenM. Personeel


N. Ondersteuning (faciliteiten)De belangrijkste en meest algemene vraag is natuurlijk wat het effect van de respons was.

O. Effect van de responsHandelen volgens de procedures en plannen met de juiste middelen en mensen is immersgeen verzekering van een goed effect. Andersom geldt evenmin dat een goed effectbetekent dat volgens de plannen is gehandeld.

In bijlage 111is een checklist met vragen opgenomen die bovenstaande indeling volgt.

5. Wie is verantwoordelijk voor een evaluatie?Deze leidraad is te gebruiken voor de evaluatie van crises van verschillende omvangwaarbij de nationale overheid betrokken is. De crisis kan betrekking op het vakgebied vaneen .departement, maar kan· ook meerdere departementen raken. Voor de onderwerpen dievoor evaluatie in aanmerking komen geldt eveneens dat het afzonderlijke departementen ofjuist meerdere departementen kan betreffen.

In deze paragraaf wordt beschreven wie over de evaluatie kan beslissen.

leder ministerie is zelf verantwoordeUjk voor het uitvoeren van een evaluatie. Eenkanttekening is hierbij op zijn plaats: de Onderzoeksraad voor Veiligheid kan bijvoorbeeldzelfstandig beslissen tot het doen van een onderzoek.

Heeft de crisis betrekking op één departement dan is het betreffende ministerieverantwoordelijk voor het al dan niet uitvoeren· van een evaluatie.

Wanneer meerdere departementen betrokken zijn bij de crisis zijn er twee mogelijkheden.In het geval de te evalueren onderwerpen steeds betrekking hebben op één departementen er ook geen overlap is tussen de bij de evaluatie te betrekken partijen blijven deafzonderlijke ministeries zelf verantwoordelijk voor de evaluatie. Wel zorgen dedepartementen voor afstemming, bijvoorbeeld over de planning van de evaluatie en hetvervolgtraject. Deze afstemming kan beperkt zijn. Er kan uiteraard ook voor gekozenworden om te komen tot een gezamenlijk eindproduct.

Heeft een te evalueren onderwerp betrekking op meerdere departementen dan kan nietworden volstaan met afzonderlijke evaluaties. Verregaande afstemming tussen dedepartementen is nodig. Dit kan leiden tot afzonderlijke deelevaluaties die wordensamengevoegd tot een gezamenlijke evaluatie. Ook kan van meet af aan worden gekozenvoor een gezamenlijke opzet en uitvoering van de evaluatie. De verantwoordelijkheid voorde uitvoering van de evaluatie wordt dan een gezamenlijke verantwoordelijkheid van deverschillende departementen.

De rol van het 10GBHet is aan te bevelen in het Interdepartementaal Overleg Crisisbeheersing (IOCB) tespreken over de wenselijkheid van een evaluatie na een crisis op het terrein van meerderedepartementen. Het 10CB adviSeert· aan de verantwoordelijken om een evaluatie uit tevoeren. De primaire verantwoordelijkheid voor de uitvoering van de evaluatie ligt bij dedepartementen die met de crisis geconfronteerd zijn.


6. Wat moet in ieder geval?Een groot deel van deze leidraad bevat aanbevelingen om in gedachten te houden bij hetdoen van een evaluatie. Een aantal onderdelen van de leidraad is niet vrijblijvend.

Het is in alle gevallen nodig expliciet te besluiten over het uitvoeren van (een verkenningvan) een evaluatie, inclusief de argumenten om een (verkenning van een) evaluatieachterwege te laten (Onderdelen A.a. en A.b.i. uit de fasering). Verder is het, wanneergekozen wordt vooreen verkenning, inallegevallen van belang een onderbouwing van hetbelang, de doelstelling en de afbakening van de evaluatie te geven (B.b.iv.). Ook is het,wanneer is besloten tot een evaluatie, nodig in het plan van aanpak te formuleren hoe deevaluatie wordt ingericht (D.b.iii.-viii.). Wanneer van toepassing moet in de feitelijkeevaluatie (F.b.iii-vi) antwoord worden gegeven op de vragen zoals die in bijlage 11Izijngeformuleerd. Verder moet een eindrapportage met de beschreven onderdelen (G.c.) doorde opdrachtgever worden geaccepteerd (H.a.). Een evaluatie dient binnen 6 maanden naafloop van de crisis te zijn afgerond. In het uitzonderlijke geval waar het einde van de crisisniet helder te definiëren is begint de periode van 6 maanden op het moment datbetrokkenen van mening zijn dat een evaluatie van een gedeelte van de crisis kan wordengehouden. De resultaten van de verplichte evaluatie na een InterdepartementaalBeleidsteam worden voorgelegd in de Raad voor de Veiligheid en de Rechtsorde.

7. Een bUk naar de toekomstDeze leidraad is een belangrijke stap op weg naar een borging van het instrument van deevaluatie in de (voorbereiding) op de crisisbeheersing. De ervaring met het gebruik vandeze leidraad moet leren welke volgende stappen gemaakt kunnen worden. Hoe meergebruik wordt gemaakt van deze leidraad hoe sneller het als vanzelfsprekend onderdeelvan de crisisbeheersing wordt gezien, hoe sneller het ook mogelijk is om te leren overevalueren en te zien welke ontwikkelingen gewenst zijn. Willen we toe naar een situatiewaar tijdens de crisis observatoren worden ingezet om waarnemingen te doen ten behoevevan de evaluatie? Bij oefeningen is dit de gebruikelijke gang van zaken. Daarin kan nog eenverdere stap gezet worden: gaan we observatoren inzetten die al tijdens de crisis, opgezette tijden, aan de crisismanagers terugkoppelen wat hen opvalt. De uitdrukkingleaming on the job krijgt hiermee een nieuwe invulling. Zien we mogelijkheden om de(uitkomsten van de) evaluaties een integraal onderdeel te laten zijn van onze inspanningenom de crisisbeheersing te verbeteren? Krijgen evaluaties een logische plek in de cyclus vande planvorming, kwaliteitsaudits en toezicht? In ieder geval kan een aantal praktischezaken voor de verplichte evaluatie na een Interdepartementaal Beleidsteam nu al wordengeregeld.


Bijlage I: Schematische fasering van de evaluatieA. Besluit verkenning evaluatie

a. Doel: Beslissen tot een verkenningb, Taken: Afwegen mogelijk nut en belang evaluatie (rechtvaardiging)

i. Criteria: leermogelijkheden, andere (deel)evaluaties en onderzoeken,opinie van betrokkenen, publiek en politiek

ii. Op basis van globale totaalplanningkiezenvoorintegratie vanverkenning met uitwerken van de planning (0)

c. Wie: departementaal verantwoordelijkenB. Verkenning evaluatie

a. Doel: bepalen nut, noodzaak, reikwijdte evaluatieb. Taken:

i. Bepalen aanpakii. Verzamelen globale informatie over incident/crisisiii. Beoordelen informatieivo Formuleren belang, evalueerbaarheid, doelstelling, afbakening

evaluatieV. Voorstel voor organisatie van de evaluatie (deelevaluaties,

departementaal/interdepartementaal, financiering)C. Resultaat: rapportage met

i. korte beschrijving incident/crisis,ii. te evalueren aspecten,m. belang/waarde van evaluatie

d. Wie: departementaal verantwoordelijkenC. Besluit tot evaluatieD. Uitwerken plan van aanpak

a. Doel: uitwerking projectplanning van de evaluatieb, Taken:

i. Inrichten projectstructuur (opdrachtgever en onderzoekers)ii. Keuze methode van evaluatie

1. literatuurstudie2. enquête (open, gesloten, multiple choice)3. interviews (gestructureerd, serni-, ongestructureerd)4. simulatié5. combinatie van instrumenten

Ui. Keuze te evalueren onderwerpen, organisaties en functionarissen(direct betrokken, niet betrokken, deskundigen; zorg voorrepresentativiteit)

ivo Waarborgen validiteit evaluatie (hoor-wederhoor, verificatie feiten,interviewversiagen en rapportage

V. (On)afhankelijkheid onderzoekers, benodigde deskundigheid (in- enextern)

vi. Uitwerken tijdpad en benodigde financiêle middelenvii. Samenhang met (psycho-sociale) nazorgviii. Samenhang met andere (deel)evaluaties en eerdere evaluatieslx, Openbaarmaking-vertrouwelijkheid rapportage (of onderdelen)

C. Resultaat plan van aanpak


E. Instemming plan van aanpaka. Taken: op basis van O. Uitwerken plan van aanpak het startsein geven tot de

evaluatieb. Wie: departementaal verantwoordelijken

F. Feitelijke evaluatiea. Doel: Vinden van leerervaringenb. Taken:

i. Inrichten project/evaluatie-organisatieii. Organiseren van de evaluatie· (informeren van· te· evalüeren

organisaties, opvragen documenten, afspreken interviews)Ui. In kaart brengen van het feitelijk verloop, beschrijving van de

gebeurtenissenivo in kaart brengen gewenste verloop (op basis van normen, afspraken of

deskundigheid betrokkenen of onderzoeker)v. in kaart brengen verschil feitelijke en gewenste verloop (analyse);vi. waardering met toelichting en weging van het belang (conclusies)vii. Formuleren conclusies en aanbevelingen

C. Resultaat:G. Rapport

a. Doel: Vastleggen van de bevindingen van de evaluatieb. Taken:

i. Schrijven concept-rapportageii. Voorleggen concept-rapportage voor commentaar aan betrokkeneniii. Beoordelen commentaar en aanpassen concept-rapportageivo Vaststellen eind rapportage door opdrachtgeverv. Verspreiden eindrapportage

C. Resultaat: rapportage met de volgende onderdeleni. Samenvattingii. Schets aanleiding, reikwijdte, inrichting en methode van evaluatieiii. Beschrijving van de feitelijke gebeurtenissen (de toedracht en de

getroffen crisisbeheersingsmaatregelen ) I feitenrelaasivo Analyse van de gebeurtenissen, inclusief identificeren oorzaken van de

crisis en structurele veiligheidstekortenv. Conclusies en aanbevelingen

H. Vaststellen rapporta. Taken: Accepteren rapportageb. Wie: opdrachtgever, departementaal verantwoordelijken

I. Terugkijken op de evaluatiea. Doel: leren van uitvoering evaluatieb. Taken: in kaart brengen successen en verbeterpuntenc. Resultaat: Notitie met leerpuntend. Inbrengen van de relevante leerpunten in het IOCB

J. Vervolga. Doel: waarderen en opvolgen van conclusies en aanbevelingen evaluatieb. Taken:

i. Waarderen conclusies en aanbevelingen (incl. generaliseerbaarheid)il. Bepalen voor wie leerpunten bedoeld zijniii. Opstellen plan van aanpak voor implementatie

aanbevelingen/verbeterpunten


ivo Uitvoeren implementatie aanbevelingen/verbeterpuntenC. Resultaat: daadwerkelijk uitgevoerde verbeteringend. Wie: voorstel bespreken in het IOCB, uitvoering is departementale

verantwoordelijkheid


Bijlage 11:Toelichting per fase van de evaluatie

A. Besluit verkenning evaluatieOmdat crises er in verschillende soorten en maten zijn is niet op voorhand vast te stellen inwelke gevallen een evaluatie uitgevoerd moet worden. Soms is een kleine gebeurtenis alreden voor een evaluatie - bijvoorbeeld als er iets is misgegaan - terwijl die in anderesituaties achterwege kan blijven. In de verkenning wordt afgewogen of een evaluatiewenselijk isenwördtbepaald· waar deiévalüatié· overmaat gaan. ·Ëenverkenning wordtuitgevoerd als verwacht wordt dat er leermogelijkheden zijn, als andere partijenvoornemens hebben tot (deel)evaluaties en onderzoeken of als er signalen zijn uit depolitiek of de publieke opinie. Als duidelijk is dat een evaluatie nodig is maar er is weinig tijdom de evaluatie uit te voeren dan kan ervoor worden gekozen om de verkenning teintegreren met het uitwerken van het plan van aanpak.

B. Verkenning evaluatieHet besluit om een verkenning uit te voeren levert doorgaans al een eerste indicatie van hetonderwerp en de verwachte reikwijdte van de evaluatie en van de opbrengst ervan. Deverkenning moet leiden tot een verdere onderbouwing van het nut en de noodzaak zodatkan worden besloten tot het al dan niet uitvoeren van de evaluatie. De verkenning leidtverder tot een uitwerking van de afbakening van de evaluatie en vormt daarmee de basisvoor de latere uitwerking van het plan van aanpak van de evaluatie.

Na het bepalen van de aanpak van de verkenning wordt informatie verzameld zodat een -voor het doel van de verkenning - goed beeld van de crisis ontstaat. Veelal volstaat eenglobaal beeld van de crisis, met op specifieke punten mogelijk een iets grotere detaillering.In het oog moet worden gehouden dat het hier een verkenning betreft en de verkregeninformatie onvolledig mag zijn en niet gevalideerd hoeft te zijn. Op basis van het verkregenbeeld kan worden vastgesteld met welk doel de evaluatie wordt uitgevoerd. Zo moetonderscheid gemaakt worden tussen een procesevaluatie en een systeemevaluatie. Doelvan een procesevaluatie is te beoordelen of de processen op de juiste wijze zijn verlopen.Doel van een systeemevaluatieis te beoordelen of het totale systeem dat wordtgeëvalueerd gefunctioneerd heeft. Daarbij is de beoordeling van de in het systeemrelevante processen van ondergeschikt belang. De vraag is daarbij meer of het eindproductvan het te evalueren systeem naar verwachting is dan of de weg ernaar toe is verlopenzoals afgesproken. Een goede evaluatie zal aandacht besteden aan het functioneren vanhet totale systeem én aan de onderliggende processen. Dit om te voorkomen datverbeterbare onvolkomenheden in processen buiten beeld blijven in een puresysteemevaluatie. Dit ook om te voorkomen dat de in de hectiek van de crisisonvermijdelijke fouten in de processen onder het vergrootglas komen te liggen, terwijl hetsucces en het belang van flexibiliteit, creativiteit en improvisatie bij het bereiken van hetuiteindelijke doel buiten beeld blijven.

Naast de keuze van het type evaluatie moet het onderwerp van de evaluatie wordenafgebakend, mede ten opzichte van andere (deel)evaluaties en onderzoeken. Hoe beterbekend is waar de evaluatie over gaat - en vooral ook waar de evaluatie niet overgaat -hoe beter de evaluatie kan worden voorbereid en uitgevoerd en hoe beter conclusiesgeformuleerd kunnen worden. Wanneer bekend is wat het doel, het belang en deafbakening van de evaluatie zijn kan een voorstel worden gedaan voor de organisatie van


de evaluatie. Wordt één evaluatie gehouden of wordt de evaluatie opgedeeld indeelevaluaties met elk eigen respondenten? Wordt de evaluatie door één partij uitgevoerdof in een samenwerkingsverband, bijvoorbeeld van verschillende departementen? Wie gaatde evaluatie betalen?

De rapportage waarin de resultaten van de verkenning worden vastgelegd bevat in iedergeval een korte beschrijving van de crisis of het incident, een beschrijving van het doel, hetbelang en de afbakening van de evaluatie, een indicatie van eventuele andere evaluatiesen.onderzoeken en .eenbeknopte. schets. van .de benodigdeorganisatle van deevaluatle.

c. Besluit tot evaluatieOp basis van de rapportage van de verkenning nemen de verantwoordelijken een besluitover de uitvoering van de evaluatie. Als besloten wordt geen evaluatie te houden wordt ditmet redenen omkleedt.

D. Uitwerken plan van aanpakWanneer de verkenning heeft geleid tot de beslissing om een evaluatie te gaan houdenwordt een plan van aanpak voor de evaluatie gemaakt.

Bij de verkenning is een voorstel gedaan voor de te evalueren onderwerpen van de crisis.Bij deze onderwerpen moet nu worden bepaald welke organisaties en functionarissen in deevaluatie moeten worden betrokken. Het kan raadzaam zijn om naast de direct betrokkenenook andere partijen in de evaluatie op te nemen. Hierbij valt te denken aan partijen dieindirect betrokken waren bij het te evalueren onderwerp of aan onafhankelijke deskundigen.De functionarissen worden zodanig gekozen dat zij voldoende representatief zijn voor deorganisatie waarvan zij deel uit maken.

De gekozen onderzoeksmethode hangt af van het onderwerp van evaluatie. Debeschikbare literatuur moet worden benut; een literatuuronderzoek of eenbronnenonderzoek kan in de meeste gevallen dan ook niet achterwege bltjven. De enquêteen het interview zijn twee onderzoeksmiddelen waarmee informatie. over de feitelijkegebeurtenissen en meningen daarover kan worden verkregen. De enquête is beter geschiktin gevallen waar een relatief grote groep wordt bevraagd en de benodigde informatie vooralle geënquêteerden gelijk is. Gekozen kan worden tussen open vragen, gesloten vragen(die enkel met ja of nee zijn te beantwoorden) en meerkeuzevragen. Is de groeprespondenten relatief klein dan kan ook gekozen worden voor het.interview. Het interviewbiedt dankzij de directe interactie de mogelijkheid om door te vragen op gegevenantwoorden. Een interview kan gestructureerd zijn, semi-gestructureerd ofongestructureerd. Naar mate preciezer bekend is welke informatie het interview moetopleveren kan het interview gestructureerder zijn. Een methode die bijeen oefening zeergoed bruikbaar is, de observatie, is bij de evaluatie van een crisis niet gangbaar. Hetverdient overigens serieuze overweging een observator tijdens een crisis. aan te stellen.Ten eerste om na afloop van de crisis sneller en beter lessen te kunnen trekken voor hetfunctioneren van de organisatie. Ten tweede kan de observator ook tijdens de crisis wordenbenut om, als buitenstaander, feedback te geven. Deze vorm vanevaluatie-tijdens-de-crisiskan een nuttig instrument zijn om snel te leren op momenten dat er veel op het spel staat.Voorwaarde is wel dat de observator zich beperkt tot het constateren van feitelijkegebeurtenissen, zich onthoudt van waardeoordelen en voorkomt zelf actor te worden in decrisisbeheersing. Het gebruik van tijdens de crisis opgenomen beeld en geluid is een vorm


van pseudo-observatie die kan worden benut. Bij tegenstrijdige informatie van deverschillende respondenten en in gevallen waar een positieve invloed wordt verwacht vande groepsdynamica kan worden gekozen voor een groepsinterview . Dit kan opverschillende manieren worden ingevuld, bijvoorbeeld ook met modernere middelen als degroup decision room. Uiteraard is het mogelijk om een combinatie van de hierbovengenoemde onderzoeksmethoden te gebruiken.

Bij iedere informatieoverdracht bestaat het risico op foute interpretaties. Ook bij deinformatieverzameling uit enquêtes, interviews of simulaties kunnen feiienen meningenonjuist worden weergegeven. Het is dan ook zaak de bevindingen te verifiëren. Dit kan opverschillende manieren. Bij interviews wordt in veel gevallen het gemaakte verslag aan derespondent voorgelegd. Het is aan te raden dat de onderzoeker zich in het verslag beperkttot een weergave van het gesprek. Een waardering van de feiten of van de mening van derespondent kan leiden tot een reactie van de respondent, terwijl de verificatie enkel bedoeldmoet zijn voor de feiten en de mening die de respondent in het interview heeft verwoord. Deverificatie kan ook worden gebruikt om onduidelijkheden of later opgekomen vragen aan derespondent voor te leggen. Een andere mogelijkheid van verificatie is een concept van (eengedeelte van) de rapportage voor te leggen aan de respondent. Ook dan kunnen vragen enonduidelijkheden aan de respondent worden voorgelegd. Feiten en meningen die door eenrespondent over anderen worden uitgesproken verdienen het om bij die anderengeverifieerd te worden.

De keuze van de onderzoekers wordt niet alleen ingegeven door de voor de betreffendeevaluatie benodigde deskundigheid en capaciteit maar wordt ook bepaald door degewenste onafhankelijkheid van het onderzoek. De betrouwbaarheid van de uitkomsten vande evaluatie worden doorgaans groter gevonden wanneer het onderzoek onafhankelijk isuitgevoerd. Zo kan het zijn dat een evaluatie waarvoor intern de deskundigheid het grootsteis toch door een onafhankelijke externe partij wordt uitgevoerd teneinde de ervarenbetrouwbaarheid te waarborgen. Een combinatie van interne en externe onderzoekersbehoort ook tot de mogelijkheden. Een afweging kan nodig zijn van de extra capaciteit dieexterne onderzoekers kunnen leveren en de extra tijd die de procedure kost om externeonderzoekers in te huren. Interne onderzoekers kunnen veelal bij wijze van sprekenvandaag beginnen.

Wanneer verschillende aspecten geëvalueerd moeten worden waarbij verschillende actorenbetrokken zijn of verschillende onderzoeksmethoden gebruikt worden kan gekozen wordenvoor het uitvoeren van deelevaluaties. In veel gevallen zullen ook door verschillendeactoren eigen evaluaties worden uitgevoerd. De verschillende evaluaties moeten op elkaarafgestemd worden om overlap te minimaliseren en 'kruisbestuiving' te bevorderen. Eerdereevaluaties verdienen een bijzondere plaats in het bronnenonderzoek.

Een crisis betekent een emotionele belasting voor de actoren. Een evaluatie vraagt van debetrokkenen opnieuw aandacht voor de meegemaakte crisis. Het is van belang dat debijdrage van een betrokkene aan de evaluatie past in een eventueel traject vanpsychosociale nazorg.

De periode die een evaluatie in beslag neemt hangt af van de omvang van de evaluatie.Het aantal betrokken actoren, de te evalueren aspecten, de complexiteit van de crisis en dehoeveelheid te achterhalen en bestuderen bronnen bepalen de benodigde tijdsinspanning.


Het moment waarop de evaluatie kan beginnen hangt af van de aard van de crisis. Heteinde van een crisis is niet altijd duidelijk te markeren. Toch is het ook in die gevaUenverstandig om niet te lang te wachten met evalueren. Oe betrouwbaarheid van deinformatie van respondenten is kort na de gebeurtenissen het grootst. Het maximale effectvan de kennis van de respondenten wordt verkregen na een grondige bestudering van debeschikbare bronnen. Is gekozen voor inhuur van externe onderzoekers dan wordt in hetplan van aanpak rekening gehouden met de tijd die een offerteprocedure in beslag neemt.De evaluatie is in principe binnen een half jaar na de crisis afgerond.

Een heldere projectstructuur wordt in het plan van aanpak uitgewerkt. Ook verdereelementen uit een plan van aanpak (bijvoorbeeld over financiên - ook in geval vanmeerdere opdrachtgevers - en de prolectrtstco's) krijgen een plaats,

D.b.ix. Openbaarheid en vertrouwelijkheidDoel van een evaluatie is te leren van de crisis. De uitkomsten van een evaluatie zijnopenbaar. Hiervoor zijn twee redenen. Allereerst geldt in veel gevallen dat de te trekkenlessen voor meerdere partijen relevant zijn dan alleen de direct betrokkenen. Ten tweede isopenbaarheid nodig om er geen twijfel over te laten bestaan dat betrokkenen zich ookdaadwerkelijk inzetten om van de crisis te leren, om te waarborgen dat de evaluatievoldoende (zelf)kritisch is uitgevoerd en om te voorkomen dat de indruk ontstaat dat zakenworden achtergehouden.

Een evaluatie is geen verantwoording. Dit betekent dat de evaluatie niet moet wordenopgezet en uitgevoerd met de bedoeling om verantwoording af te leggen. Niet geheel kanworden voorkomen dat het resultaat vaneen evaluatie een rol speelt bij de verantwoording.

Er kan voor worden gekozen om uitspraken van individuen of organisaties zodanig teformuleren dat deze niet herleidbaar zijn. Ook kan ervoor worden gekozen om zaken die invertrouwelijkheid hebben gespeeld - bijvoorbeeld de besluitvorming in crisisteams - alleenin algemene termen in de rapportage op te nemen. Hetis daarbij wei van belang dat hetbeeld voldoende helder blijft dat het trekken van conclusies en aanbevelingen mogelijk is.In het uiterste geval kan worden besloten een gedeelte van het rapport of een aantalbijlagen vertrouwelijk te laten zijn.

E. Instemming met het plan van aanpakDe in het plan van aanpak aangewezen opdrachtgevers beslissen over de inhoud van hetplan van aanpak en geven het startsein tot de evaluatie.

F. Feitelijke evaluatieWanneer het startsein is gegeven voor de evaluatie kan begonnen worden met het inrichtenvan de organisatie. Is gekozen voor externe onderzoekers dan kan begonnen worden metde offerte procedure. Het plan van aanpak biedt hiertoe de benodigde inhoudelijkeinformatie.

In het plan van aanpak is in kaart gebracht welke organisaties en functionarissen bij deevaluatie moeten worden betrokken. Het is zaak deze actoren tijdig te vragen medewerkingte verlenen aan de evaluatie, hen op de hoogte te brengen van doel en opzet van deevaluatie, hen te vragen naar relevante bronnen en naar de personen die feitelijkmedewerking verlenen aan de evaluatie, bijvoorbeeld in de vorm van een interview.


Een evaluatie kan twee doelen hebben. Het eerste doel is vast te kunnen stellen of deorganisatie en de werkwijze van de crisisbeheersing hebben gefunctioneerd. Het tweededoel is mogelijke (structurele) veiligheidstekorten te identificeren die de crisis hebbenveroorzaakt. Een evaluatie kan zich richten op een van deze of op beide doelen. Bij heteerste doel kan het eerdergenoemde onderscheid gemaakt worden tussen het functionerenvan de verschillende processen en het functioneren van het systeem als geheel.

Ten behoeve van het eerste doel van deevaluatié rnöëtln lëder gévalil1 kaart wordengebracht wat er feitelijk is gebeurd. Dit kan in de vorm van een - al dan niet chronologische- beschrijving van de gebeurtenissen. In de meeste gevallen volstaat een beschrijving vaneen gedeelte van de feitelijke gebeurtenissen. Dit hangt af van het te evalueren aspect.Ook wordt in kaart gebracht wat het gewenste verloop van de gebeurtenissen is. Dit kanmet behulp van bestaande afspraken over werkwijzen en processen of met behulp vanbestaande normen over het functioneren van organisaties. Wanneer afspraken of normenontbreken, is het aan de onderzoekers - mogelijk zelfs mede op basis van de opvattingenvan de geïnterviewden - om een inschatting te maken van wat de gang van zaken idealiterhad moeten zijn. De onderzoekers zullen dan een deskundigenoordeel moeten geven overde gebeurtenissen.Verschillen tussen de feitelijke en de gewenste gang van zaken zijn aanleiding voor eenanalyse. De vraag moet worden beantwoord of de feitelijke gang van zaken beter was (endus aanleiding moet zijn tot aanpassing van afspraken of normen) of minder goed dan degewenste gang van zaken (en dus aanleiding moet zijn tot het beter handelen conform deafspraken). Zijn de oorzaken voor de verschillen gevonden dan kan een waardering volgenen een belang worden toegekend aan de geconstateerde verschillen. Ten behoeve van hettweede doel van de evaluatie wordt gezocht naar mogelijke oorzaken van de crisis. Dit kanleiden tot de identificatie van structurele veiligheidstekorten. Het onderzoek wordtafgesloten met conclusies. Zo nodig worden aanbevelingen geformuleerd.

G. Het rapportIn het rapport worden de bevindingen van de evaluatie en de conclusies en eventueleaanbevelingen opgenomen. Het rapport bestaat in ieder geval uit een schets van deaanleiding tot de evaluatie, het doel (wat willen we met de evaluatie bereiken), de reikwijdte(waarover gaat de evaluatie wel en waarover niet) en de methode (op welke manier wordtde evaluatie uitgevoerd). Het rapport bevat verder een beschrijving van de feitelijkegebeurtenissen. Hieronder vallen in ieder geval een beschrijving van de toedracht van decrisis en de getroffen crisisbeheersingsmaatregelen. Een beschrijving van de grote lijnenvan de crisis, inclusief de eventuele voorgeschiedenis. is veelal nuttig. De gedetailleerdebeschrijving van de feitelijke gebeurtenissen kan beperkt worden tot de aspecten van decrisis waarop de evaluatie gericht is. Doel van de beschrijving is immers de basis te kunnenleggen voor de analyse. De analyse bestaat grofweg uit drie onderdelen. Ten eerste wordthet gewenste verloop van de gebeurtenissen in kaart gebracht (zie hierboven voor eenverdere toelichting). Daarna worden de verschillen tussen de feitelijke gebeurtenissen enhet gewenste verloop van de gebeurtenissen benoemd. Deze worden van een waarderingvoorzien. De analyse wordt gevolgd door conclusies en eventueel aanbevelingen. Hetrapport kan worden gecompleteerd met een samenvatting, waarin in ieder geval aandachtis voor de belangrijkste conclusies en eventuele aanbevelingen.


Is het rapport in concept gereed dan kan het rapport - of gedeelten eruit - wordenvoorgelegd aan de betrokkenen ter verificatie van de feiten die in het rapport zijnopgenomen. Aan de betrokkenen kunnen ook nog resterende onduidelijkheden of lateropgekomen vragen worden voorgelegd. Bij het toezenden van (delen uit) het conceptrapport kan het zijn dat de betrokkenen reageren op de analyse, de getrokken conclusiesen eventuele aanbevelingen. De mate waarin dit commentaar reden is voor aanpassing vanhet rapport is ter beoordeling van de onderzoekers.

H. VaststeJlingrapportHet rapport wordt vastgesteld door de in het plan van aanpak aangewezen opdrachtgever.

I. Terugkijken op de evaluatieIedere evaluatie is uniek. Toch is het zinvol om na de evaluatie terug te kijken op deuitvoering van de evaluatie en zo als het ware een 'evaluatie van de evaluatie' te houden.Op deze plaats wordt niet gepleit voor een groots opgetuigde terugblik. Een afsluitendgesprek met de belangrijkste betrokkenen bij de evaluatie kan in veel gevallen volstaan.

J. VervolgNa acceptatie van het rapport door de opdrachtgever kan het - met inachtneming van deeerder afgesproken vertrouwelijkheid - worden verspreid. De verplichte evaluatie na eenInterdepartementaal Beleidsteam wordt voorgelegd aan de Raad voor de Veiligheid en deRechtsorde.

Hoewel de evaluatie hiermee feitelijk is afgerond kan nog niet worden gezegd dat er al ietsis geleerd. Zoals in de Engelstalige literatuur vaker voorkomt is het zinnig onderscheid temaken tussen de leerpunten die zijn geïdentificeerd, de tessooe identified, en de leerpuntendie ook daadwerkelijk tot verbetering hebben geleid, de lessons teemoa. Het doel van eenevaluatie is er achter te komen welke lessen getrokken kunnen worden. Met het formulerenvan de aanbevelingen zijn de geconstateerde verbeterpunten natuurlijk nog nietgeëffectueerd. Er is een verandertraject - soms kort en eenvoudig, vaker langdurig eningewikkeld - nodig om ervoor te zorgen dat de lessen ook inderdaad geleerd worden. Pasdan heeft de evaluatie zin gehad. Het is goed als bij de afronding van de evaluatie zoveelmogelijk wordt gedaan om te waarborgen dat de lessoos identified ook leiden tot teesonsleamed.


Bijlage 111:Checklist voor een evaluatie

Processen:A. Netwerkmanagement (eigen taken, taken anderen, kwaliteit samenwerking, kwaliteit

resultaat samenwerking/effectiviteit, efficiëntie)B. Informatievoorziening (zowel ontvangen als verzonden, snel/tijdig, correct, adequaat,

effectief, efficiënt, dossiervorming, kwaliteit voorzieningen)C. Anticipatie en vooruitdenken (wat kan gebeuren, wat betekent dit)D. Besluitvorming (kwaliteit proces besluitvorming, tijdig, uitvoerbaar, effectief, efficiënt,

duidelijk (ook communicatie besluiten en interpretatie besluiten), onderbouwd, kwaliteiteffect besluitvorming)

E. Procesbewaking (systeem voor procesbewaking, kwaliteit uitvoering conform besluiten,feedback uitvoering naar besluitvorming, kwaliteit resultaat/effectiviteit, efficiëntie,functioneren medewerkers (team en extern»

F. Voorlichting en communicatie (kwaliteit perscontacten, kwaliteit uiteindelijkeberichtgeving, inspelen op berichtgeving/geruchten, effectiviteit communicatiedoelgroepen, gebruik communicatiemiddelen)

G. Verantwoording (voldaan aan verwachtingen burgers, bedrijfsleven, politiek (TK, EU»

Aandachtspunten:H. PlanvormingI. DCCs en plannen: referentiekader departementale coördinatiecentraJ. Taken, verantwoordelijkheden, bevoegdhedenK. CommunicatiemiddelenL. Overige middelenM. PersoneelN. Ondersteuning (faciliteiten)O. Effect respons

ChecklistProcessen:A. NetwerkmanagementHoe verliep het netwerkmanagement?In hoeverre:- waren de taken van de eigen organisatie helder, bekend en was de preparatie daaropvoldoende?- waren de taken van andere actoren helder, bekend en was de preparatie daaropvoldoende?- kwam de werkwijze van de eigen organisatie en van de andere actoren tijdens de crisisovereen met de preparatie?- was de kwaliteit van de samenwerking met andere actoren voldoende? Wisten de actorenelkaar tijdig te vinden?- was de kwaliteit van het resultaat van de samenwerking (en dus de effectiviteit van hethandelen) voldoende?- was de samenwerking met andere actoren voldoende effidënt?

B. Informatievoorziening


Hoe verliep de informatievoorziening?In hoeverre:- was de informatievoorziening aan andere actoren voldoende? Was deinformatievoorziening van andere actoren voldoende? Was de verwerking van debeschikbare informatie tot (voorsteëen voor) activiteiten binnen de eigen organisatievoldoende?- was de informatievoorziening voldoende tijdig?- was de kwaliteit van de geleverde informatie voldoende (correcte informatie)?-wasdegeleverde. informatie adequaat?- was de informatievoorziening effectief en efficiënt?- is voldoende dossier bijgehouden (zowel ten behoeve van gebruik tijdens de crisis als tenbehoeve van leerpunten en verantwoording achteraf)?- was de kwaliteit van de communicatiemiddelen en van andere relevante voorzieningenvoldoende?

c. Anticipatie en vooruitdenkenHoe werd geanticipeerd op ontwikkelingen en hoe werd vooruitgedacht?In hoeverre:- werd er vroeg genoeg aandacht besteed aan de mogelijke ontwikkeling van het incident Ide crisis en de gevolgen?- werd er voldoende aandacht besteed aan de mogelijke ontwikkeling van het incident I decrisis en de gevolgen?- was er voldoende zicht op de mogelijke ontwikkeling? Werd voldoende gebruik gemaaktvan beschikbare kennis en deskundigheid?- leidde de aandacht voor de mogelijke ontwikkeling tot concrete activiteiten?

D. BesluitvormingHoe is de besluitvorming in zijn werk gegaan?In hoeverre:- is de kwaliteit van het proces van besluitvorming voldoende?- kwamen alle relevante aspecten in de besluitvorming aan de orde?- werden besluiten voldoende onderbouwd?- was helder wie waarover kon besluiten?- werden besluiten genomen door de bevoegde autoriteiten?- heeft besluitvorming tijdig plaatsgevonden?- leidde de besluitvorming tot heldere besluiten?- werd de besluitvorming helder gecommuniceerd aan alle relevante actoren en aan pers enpubliek?-leidde (de communicatie over) de besluitvorming tot eenduidige interpretatie van debesluiten?- leidde de besluitvorming tot uitvoerbare besluiten?- leidde de besluitvorming tot de juiste effecten (effectief)?- was de besluitvorming efficiënt?

E. ProcesbewakingHoe werden de verschillende processen bewaakt?In hoeverre:- is er een systeem van procesbewaking, ter bewaking voor een goed verloop van hetproces van informatievoorziening, analyse, advisering, besluitvorming en uitvoering?


- was de uitvoering van de genomen besluiten in lijn met de besluiten? Was de uitvoeringkwalitatief voldoende, effectief en efficiënt?- waren besluitvormers voldoende op de hoogte van de stand van zaken van de uitvoeringvan eerder genomen besluiten?- functioneerde de organisatie (zowel intern als extern) naar behoren?

F. Voorlichting en communicatieHoe verliepen voorlichting en communicatie?In hoeverre:- was de kwaliteit van de contacten met de pers voldoende?- was de kwaliteit van de informatie voor het publiek voldoende?- sloot de uiteindelijke berichtgeving in de pers aan bij de informatiestrategie?- werd voldoende ingespeeld op de berichtgeving en op geruchten?- was de communicatie naar specifieke doelgroepen kwalitatief voldoende, effectief enafficiënt?- voldeden de gebruikte communicatiemiddelen voor voorlichting en communicatie?

G. VerantwoordingHoe verliep de verantwoording?In hoeverre:- hebben de crisisbeheersingsinspanningen voldaan aan de verwachtingen van burgers,bedrijfsleven en politiek (lokaal, nationaal, internationaal)?- is voldoende verantwoording over de crisisbeheersingsinspanningen afgelegd?

Aandachtspunten:H. PlanvormingIn hoeverre:- is de voorbereiding vastgelegd in plannen?- zijn de plannen actueel?- zijn de plannen afgestemd met alle relevante actoren?- zijn de plannen bekend bij alle relevante actoren?- zijn de plannen getoetst (bijvoorbeeld in een oefening)?- zijn de plannen geschikt voor het doel?- zijn aanpassingen in de plannen nodig?

I. Dees en plannen: referentiekader departementale coördinatiecentraIn hoeverre:- voldoen de DCCs aan het referentiekader departementale coördinatiecentra?

J. Taken, verantwoordelijkheden, bevoegdhedenIn hoeverre:- zijn de taken, verantwoordelijkheden en bevoegdheden van de verschillende actorenhelder? Zijn ze vastgelegd?- passen de taken, verantwoordelijkheden en bevoegdheden van de verschillende actorenbij elkaar? Zijn er geen witte vlekken? Is er geen sprake van overlap?- zijn de actoren bekend met de verschillende taken, verantwoordelijkheden enbevoegdheden van zichzelf en de andere actoren?- hebben de verschillende actoren gehandeld overeenkomstig de taken,verantwoordelijkheden en bevoegdheden?


- heeft de verdeling van taken, verantwoordelijkheden en bevoegdheden geleid totproblemen in de respons op het incident I de crisis?

K. Communicatiemiddelen- zijn voldoende communicatiemiddelen beschikbaar?- is de kwaliteit van de communicatiemiddelen voldoende?- zijn de communicatiemiddelen voldoende betrouwbaar en duurzaam?- zijn de communicatiemiddelen effectief?., zijnde communicatiemiddelen voldoende redundant om communicatie onder.aäeomstandigheden te garanderen?- is de relevante actoren bekend met de verschillende communicatiemiddelen?

L. Overige middelenIn hoeverre:- zijn de overige middelen nodig voor de crisisbeheersing voldoende beschikbaar?- is de kwaliteit van de overige middelen voldoende?- zijn de overige middelen betrouwbaar en voldoende duurzaam?

M. PersoneelIn hoeverre:- is het personeel competent gebleken?- is het personeel deskundig?- is het personeel voldoende opgeleid en geoefend?- was er voldoende personeel beschikbaar?- functioneerde het personeel binnen de organisatie als 'team'?

N. Ondersteuning (faciliteiten)In hoeverre:- zijn de overige faciliteiten (ondersteuning) van voldoende kwaliteit?- zijn de overige faciliteiten (ondersteuning) voldoende?- draagt de werkomgeving bij aan goed functioneren?

O. Effect responsIn hoeverre:- is de respons op het incident I de crisis kwalitatief voldoende geweest?


Bijlage IV: Literatuur I gebruikte bronnen

1. Lessons leamed Publicatie (nummer 17 Van ervaringen tot lessens learned),Koninklijke Landmacht

2. Interne evaluatie 'Dloxlne-mcldent aardappelbijproducten' Vraagstelling deelevaluatiesdirecties/diensten, ministerie lNV

3. DCC-handboek, Bijlage bij Hoofdstuk 6: evaluatiesjabloon,ministerieBZ4. Richtlijnen voor lOB evaluaties, ministerie BZ, lOB, mei 20035. Departementaal Handboek Crisisbeheersing, 4 Evaluatie crisis, ministerie van VWS, juli

20046. Handboek crisisbesluitvorming, Checklist evaluatie, ministerie lNV, maart 20017. Draft action plan "Lessons leamed natural dlsasters", Zeeland University8. Rijkswet Onderzoeksraad voor veiligheid9. Allied command eperatlens Porces standards AFS Vol. VI, Shape tactteat evaluation

manual, 1 juni 200410. Referentiekader Departementale coördinatiecentra, ministerie BZK, 3 januari 200411. Werkboek Uitvoering Kwaliteitsaudit, ministerie eZK, 16 januari 200412. Richtlijnen voor 10B-evaluaties, ministerie BZ, mei 200313. Protocollncidentonderzoek, 100V, ministerie BZK, 199914. Ontwikkeling evaluatie methode, 100V, niet gepubliceerd, 200015. Werkwijze Algemene Doorlichting Rampenbestrijding, deel 1-3, 100V, ministerie BZK,

2003-200416. Endings are just beginnings - Beyond the incident, J.M. Krombeen, EUR, oktober 200417. Evaluation guideIines, Denemarken, ministerie van ez, februari 1999


Hetevalueren vancrises - COB...crisis, dan isevaluatie volgens deze leidraad niet verplicht....

Documents

Transcript of Hetevalueren vancrises - COB...crisis, dan isevaluatie volgens deze leidraad niet verplicht....