i

Audits uitvoeren op een agile-werkwijze

Een onderzoek naar het verrijken van bestaande auditmethodologie met werkwijzen uit

methoden gebaseerd op agile

Judith Zigterman - Blokzijl, MSc CIA

Studentnummer: 11202521

Scriptie Executive Internal Auditing Programme

Datum: 16-06-2018

Begeleider: Björn Walrave RO CIA

Amsterdam Business School (UvA)

12 mei 2019

Aan de lezer, wees bewust van het volgende:

De tekst van deze versie van het onderzoek is gedeeltelijk herzien of verwijderd voor de

publicatie van het onderzoek op de website(s) van het IIA Nederland. De data voor dit onderzoek

is onder andere verkregen met behulp van interviews. Omwille van de privacy van de

respondenten zijn de interviews uit de bijlagen verwijderd alsmede informatie die ertoe leidt dat

de respondenten direct kunnen worden herleid. Dit betreft het verwijderen van bijlagen 2, 8, 11

en 13 en het weglaten van namen van personen en/of functies op diverse plaatsen in dit

document. Deze aanpassingen betreffen geen wijzigingen in het onderzoek zelf. De

inhoudsopgave is aangepast op basis van de herziene tekst.

Tevens is bijlage 19 gerectificeerd, daar waar deze in de originele versie van de scriptie foutief

was opgenomen.

ii

I Voorwoord

Voor u ligt mijn scriptie over de verrijking van auditmethodologie met werkwijzen uit methoden

gebaseerd op agile. Ik heb voor dit onderzoek gekozen vanwege mijn interesse voor veranderingen

en de toepassing van werkwijzen uit de verschillende actuele trends. Deze scriptie is geschreven in

het kader van mijn afstuderen aan het Executive Internal Audit Programme (EIAP) aan de UvA.

Het EIAP volgen was voor mij een bijzondere ervaring; twee jaar wekelijks van Groningen naar

Amsterdam om colleges bij te wonen, gevolgd door een half jaar werken aan deze scriptie. Het werd

een leerzame, vermoeiende maar ook zeker leuke ervaring. Ik wil daarom mijn manager Janneke

Dijsselhof en mijn werkgever Univé bedanken dat zij dit leertraject hebben mogelijk gemaakt. Ook

mijn studiegenoten en docenten wil ik graag bedanken. Jullie maakten dat ik iedere week met plezier

de reis naar het ‘verre westen’ wist af te leggen. Bedankt voor de mooie twee jaren!

Nu is het einde van de studie daar. Het werken aan deze scriptie, met vallen en opstaan, zit erop!

Trots op het eindresultaat van deze leerervaring ben ik zeker. Met behulp van het uitgevoerde

onderzoek en schrijven van deze scriptie heb ik kunnen laten zien dat veranderingen met behulp van

agile binnen het auditvakgebied mogelijk zijn. De aangedragen agile-werkwijzen worden herkend en

erkend door een meerderheid van de experts: een mooi resultaat al zeg ik het zelf.

Ook is het moment daar om mijn dank uit te spreken naar iedereen die mij heeft bijgestaan tijdens

mijn studie. Op deze plek wil ik daarom vooral mijn lief Remco bedanken. Lief, bedankt voor de

opbeurende woorden, het overnemen van alle huishoudelijke taken en alle liefde die je me hebt

gegeven tijdens deze periode van studeren, studeren en nog eens studeren. Zonder jouw hulp was

dit nooit gelukt. Ook mijn afstudeerbegeleider Björn Walrave verdient veel dank. Björn, zonder jouw

optimisme, tijdsinvestering en scherpe adviezen was deze scriptie nog niet af geweest. Bedankt voor

al deze positieve support. En lieve familie, collega’s en vrienden, jullie vergeet ik natuurlijk niet. Ook

jullie wil ik bedanken voor alle steun die ik mocht krijgen tijdens de afgelopen tweeënhalf jaar.

Als laatste een speciaal dankwoord voor mijn lieve mam.

Mam, hoewel je er niet meer bent, ik weet dat je me altijd hebt gesteund. Deze is daarom voor jou!

Judith Zigterman – Blokzijl

Haren, juni 2018

iii

II Samenvatting vooraf

In dit onderzoek is nagegaan hoe auditmethodologie eruitziet wanneer deze is verrijkt met

werkwijzen uit methoden gebaseerd op agile. Aanleiding voor dit onderzoek is het onvoldoende

toepassen van aanpassingsvermogen binnen het auditvakgebied. Volgens onderzoekers is dit meer

nodig dan wat tegenwoordig gebruikelijk is voor een IAF. Werken volgens het agile-gedachtegoed

vormt theoretisch gezien een oplossing.

Voor het uitvoeren van dit onderzoek is gebruik gemaakt van kwalitatieve onderzoeksmethoden.

Met behulp van literatuurstudie zijn de belangrijkste kenmerken van agile en auditmethodologie in

kaart gebracht. Om de beperkingen van auditmethodologie in het perspectief van agile te bepalen, is

gebruikgemaakt van het 4-DAT-model. Dit model wordt binnen wetenschappelijk onderzoek gebruikt

om na te gaan of een methode voldoet aan de belangrijkste kenmerken van agile. De uitkomsten zijn

gevalideerd door een van de ontwerpers van auditmethodologie. Door middel van een

literatuuranalyse zijn de beperkingen van auditmethodologie vanuit het perspectief van agile

aangevuld met werkwijzen uit methoden gebaseerd op agile. Met behulp van een Delphi-studie zijn

de resultaten uit de literatuuranalyse gevalideerd door experts uit het agile- en auditvakgebied.

Hiervoor zijn interviews gehouden en vragenlijsten verstuurd.

Op basis van het uitgevoerde onderzoek is bevestigd dat auditmethodologie kan worden verrijkt met

agile-werkwijzen. Bestaande werkwijzen uit auditmethodologie blijven gehandhaafd en worden

aangevuld met agile-werkwijzen die voor de desbetreffende situatie geschikt zijn. In totaal zijn

zeventien agile-werkwijzen aangenomen als verrijkend voor auditmethodologie. Het kan echter niet

met zekerheid worden gesteld dat deze zeventien agile-werkwijzen voor iedere situatie verrijkend

zijn. Een overzicht van de zeventien verrijkende werkwijzen, gelinkt aan de situaties

(auditcategorieën) waarvan met zekerheid kan worden gesteld dat de werkwijzen verrijkend zijn, is

opgenomen in Tabel 1. De bestaande werkwijzen en agile-werkwijzen (Tabel 1) vormen samen

auditmethodologie verrijkt met werkwijzen uit methoden gebaseerd op agile. Het is aan de auditor

om keuzes te maken uit de werkwijzen; de methode per situatie geschikt maken.

iv

Werkwijzen vanuit methoden gebaseerd op agile

Situaties waarin de werkwijzen verrijkend zijn

Be

lan

ghe

bb

en

de

is

vera

ntw

oo

rde

lijke

Be

lan

ghe

bb

en

de

w

il ze

kerh

eid

Do

orl

oo

pti

jd <

2

we

ken

Do

orl

oo

pti

jd >

2

we

ken

< 6

we

ken

Do

orl

oo

pti

jd >

6

we

ken

Op

dra

cht

be

pe

rkte

sc

op

e

Op

dra

chte

n

om

van

grijk

e s

cop

e

Backlog per audit ⎷ △ △ △ ⎷ △ ⎷

Werken in iteraties ⎷ △ △ ⎷ ⎷ △ ⎷

Dagstart ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Multidisciplinair team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Meedraaien in agile-businessteams △ △ △ △ △ △ △

Stakeholdermapping △ ⎷ △ △ ⎷ △ △

Demo/review ⎷ △ △ ⎷ ⎷ △ ⎷

Retro met klant ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Retro met team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Planningsspel △ △ △ △ △ △ △

Persoonlijke kanban ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Werkafspraken (Foundations) △ △ △ △ ⎷ △ △

Fysiek op een locatie werken ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Backlog als auditjaarplan ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Fastlane △ △ △ △ ⎷ △ △

Onderhanden-werk-limiet △ △ △ △ △ △ △

Heartbeats △ △ ⎷ ⎷ ⎷ △ ⎷

Tabel 1: Verrijkende werkwijzen voor auditmethodologie per situatie

⎷= verrijkend △ = verrijkend, maar onzeker voor de desbetreffende situatie

In de gekozen onderzoekaanpak zijn diverse maatregelen ten aanzien van de betrouwbaarheid en

validiteit getroffen waaronder expertselectie op basis van kennis en achtergrond, uittesten van de

gehanteerde vragenlijsten en de beschikbaarstelling van primaire data uit onder andere interviews.

Er zijn geen redenen om aan te nemen dat zich grote systematische of toevallige fouten hebben

voorgedaan tijdens het uitgevoerde onderzoek. Het onderzoek is daarmee betrouwbaar en valide.

Beperking van het onderzoek betreft dat elf werkwijzen (‘multidisciplinair team’,

‘stakeholdermapping’, ‘retro met de klant’, ‘persoonlijke kanban’, ‘werkafspraken’, ‘fysiek op een

locatie werken’, ‘backlog als auditjaarplan’, ‘fastlane’, ‘onderhanden-werk-limiet’ en ‘heartbeats’) die

als verrijkend zijn aangenomen, enkel zijn aangedragen vanuit expertvalidatie. Het is derhalve niet

bekend of deze agile-werkwijzen bijdragen aan de verbetering van de flexibiliteit en het

aanpassingsvermogen in een audit. In een vervolgonderzoek kan hier de focus op worden gelegd.

Tevens is vervolgonderzoek noodzakelijk om na te gaan of de agile-werkwijzen in de praktijk

daadwerkelijk een verrijking vormen voor auditmethodologie en leidt tot meer toegevoegde waarde

van de IAF.

v

Inhoudsopgave I Voorwoord ii II Samenvatting vooraf ....................................................................................................................... iii 1 Inleiding ........................................................................................................................................... 1

1.1 Aanleiding ................................................................................................................................ 1 1.2 Probleemstelling en onderzoeksvragen .................................................................................. 3 1.3 Onderzoekmodel en methoden van onderzoek ..................................................................... 4

1.3.1 Onderzoekmodel ............................................................................................................. 4 1.3.2 Onderzoeksmethoden ..................................................................................................... 4

1.4 Betrouwbaarheid en validiteit ................................................................................................. 6 1.5 Leeswijzer ................................................................................................................................ 7

2 Theoretisch kader auditmethodologie en agile .............................................................................. 9 2.1 Inleiding ................................................................................................................................... 9 2.2 Introductie auditmethodologie ............................................................................................... 9 2.3 Belangrijkste kenmerken auditmethodologie ....................................................................... 10

2.3.1 Raamwerk van aandachtspunten .................................................................................. 10 2.3.2 Auditontwerp ................................................................................................................ 11 2.3.3 Werkwijzen binnen een audit ....................................................................................... 11

2.4 Samenvatting belangrijkste kenmerken auditmethodologie ................................................ 12 2.5 Introductie agile .................................................................................................................... 13 2.6 Kenmerken van agile ............................................................................................................. 14 2.7 4-dimensioneel analysemodel .............................................................................................. 15 2.8 Methoden gebaseerd op agile .............................................................................................. 17

2.8.1 Mate van agile in XP, Scrum, FDD, ASD, DSDM ............................................................. 17 2.8.2 Werkwijzen in relatie tot agile-kenmerken en hun voor- en nadelen .......................... 18 2.8.3 Werkwijzen in relatie tot agile-waarden ....................................................................... 23

2.9 Samenvatting belangrijkste kenmerken agile ....................................................................... 23 3 Analyse van auditmethodologie .................................................................................................... 25

3.1 Inleiding ................................................................................................................................. 25 3.2 Doel van de analyse en het analyse-instrument ................................................................... 25 3.3 Werkwijze tijdens de analyse ................................................................................................ 25 3.4 Resultaten analyse auditmethodologie................................................................................. 26 3.5 Samenvatting ......................................................................................................................... 27

4 Expertvalidatie analyse auditmethodologie .................................................................................. 28 4.1 Inleiding ................................................................................................................................. 28 4.2 Onderzoeksmethode ............................................................................................................. 28

4.2.1 Type onderzoek en doel van het onderzoek ................................................................. 28 4.2.2 Opzet van de validatie van auditmethodologie ............................................................ 28

4.3 Resultaten uit de afstemming met de expert ....................................................................... 29 4.3.1 Auditmethodologie bezien vanuit de toepassingsmethode (dimensie 1) .................... 29 4.3.2 Auditmethodologie bezien vanuit agile-kenmerken (dimensie 2) ................................ 29 4.3.3 Auditmethodologie bezien vanuit agile-waarden (dimensie 3) ................................... 30 4.3.4 Auditmethodologie bezien vanuit procesperspectief (dimensie 4) .............................. 31 4.3.5 Beperkingen auditmethodologie vanuit agile-perspectief ............................................ 32

4.4 Samenvatting ......................................................................................................................... 33 5 Optimalisatie auditmethodologie met werkwijzen uit methoden gebaseerd op agile ................ 34

5.1 Inleiding ................................................................................................................................. 34 5.2 Doel van de analyse en verwerking van de resultaten .......................................................... 34 5.3 Agile-werkwijzen die auditmethodologie mogelijk verrijken ................................................ 34 5.4 Samenvatting ......................................................................................................................... 35

vi

6 Praktijkonderzoek in de vorm van expertvalidatie ....................................................................... 36 6.1 Inleiding ................................................................................................................................. 36 6.2 Aanpak Delphi-studie en verwerking van de resultaten ....................................................... 36 6.3 Resultaten uit interviews ....................................................................................................... 38

6.3.1 Werkwijzen die als verrijkend voor auditmethodologie zijn aangedragen ................... 38 6.3.2 Onderverdeling naar auditcategorie ............................................................................. 39

6.4 Resultaten uit vragenlijsten ................................................................................................... 40 6.5 Analyse van de resultaten: verrijkende werkwijzen voor auditmethodologie ..................... 42

6.5.1 Verrijkende werkwijzen voor auditmethodologie ......................................................... 42 6.5.2 Verrijkende werkwijzen voor auditmethodologie per situatie ..................................... 44

6.6 Samenvatting: verrijkende werkwijzen voor auditmethodologie per auditcategorie .......... 45 7 Conclusie ....................................................................................................................................... 47 8 Implicaties van het uitgevoerde onderzoek voor de praktijk........................................................ 49

8.1 Betrouwbaarheid en validiteit van het uitgevoerde onderzoek ........................................... 49 8.2 Verwachtingen versus de resultaten ..................................................................................... 49 8.3 Betekenis resultaten voor de theorie en praktijk.................................................................. 50 8.4 Beperkingen van het uitgevoerde onderzoek ....................................................................... 51 8.5 Aanbevelingen voor vervolgonderzoek ................................................................................. 52

Bibliografie ............................................................................................................................................ 53 Bijlage 1 Begripsbepaling Agile-werkwijzen ..................................................................................... 56 Bijlage 2 Overzicht deelnemende experts ....................................................................................... 58 Bijlage 3 Auditmethodologie geprojecteerd op dimensie 1 van het 4-DAT-model ......................... 59 Bijlage 4 Auditmethodologie en de belangrijkste kenmerken van agile ......................................... 60 Bijlage 5 Auditmethodologie geprojecteerd op dimensie 2 van het 4-DAT-model ......................... 66 Bijlage 6 Auditmethodologie geprojecteerd op dimensie 3 van het 4-DAT-model ......................... 68 Bijlage 7 Auditmethodologie geprojecteerd op dimensie 4 van het 4-DAT-model ......................... 70 Bijlage 8 Afstemming analyse auditmethodologie met de expert................................................... 71 Bijlage 9 Analyse agile-werkwijzen per dimensie van het 4-DAT-model ......................................... 72 Bijlage 10 Uitnodiging Delphi-studie .................................................................................................. 78 Bijlage 11 Onthouding van nadere medewerking ............................................................................. 79 Bijlage 12 Interviewvragen ................................................................................................................. 80 Bijlage 13 Interviewverslagen ............................................................................................................ 83 Bijlage 14 Vragenlijst expertvalidatie ................................................................................................. 84 Bijlage 15 Samenvatting argumenten vanuit interviews ................................................................... 89 Bijlage 16 Afstemming interviewvragen ............................................................................................ 98 Bijlage 17 Afstemming vragenlijsten ................................................................................................ 101 Bijlage 18 Resultaten per auditcategorie ......................................................................................... 103 Bijlage 19 Scores vanuit vragenlijsten .............................................................................................. 109

1

1 Inleiding

In dit onderzoek is nagegaan hoe auditmethodologie eruitziet wanneer deze is verrijkt met

werkwijzen uit methoden gebaseerd op agile. Paragraaf 1.1 gaat in op de aanleiding van dit

onderzoek. Paragraaf 1.2 beschrijft de probleemstelling en de centrale vraag. In paragraaf 1.3

worden het onderzoekmodel en de onderzoeksmethode toegelicht. De validiteit en betrouwbaarheid

van het onderzoek worden toegelicht in paragraaf 1.4. Het hoofdstuk sluit af met een leeswijzer in

paragraaf 1.5.

1.1 Aanleiding

Veranderingen in het bedrijfsleven voltrekken zich de laatste jaren steeds sneller. Oorzaken hiervan

zijn de vergaande globalisering, de komst van onder andere blockchaintechnologie en de adoptie van

nieuwe bedrijfsmodellen. Innovatie, technologie en een altijd veranderende werkomgeving gaan de

toekomst van het bedrijfsleven meer en meer bepalen (Munteanu & Berechet, 2016).

De dynamiek in een organisatie wordt door toenemende verandering steeds groter en de

voorspelbaarheid van toekomstige scenario’s steeds kleiner (Hoogveld, 2016). Voor een Internal

Audit Functie (IAF) betekent dit dat deze voorbereid moet zijn op toekomstige ontwikkelingen. Een

IAF moet weten wat er speelt binnen haar organisatie, en moet zich kunnen aanpassen aan de

nieuw(st)e ontwikkelingen. Daarnaast is het van belang dat de IAF haar relevantie behoudt. Immers,

wanneer sprake is van een (continu) veranderende werkomgeving, kan een bevinding of aanbeveling

snel achterhaald zijn (Munteanu & Berechet, 2016). Het auditvakgebied heeft volgens onderzoekers

meer aanpassingsvermogen nodig dan tegenwoordig gebruikelijk is voor een IAF. Een IAF moet

kunnen meebewegen met de problemen die zich voordoen en zich aanpassen waar dit nodig is

(Sarens & Lamboglia, 2014). Met snelle veranderingen omgaan wordt daarom als toegevoegde

waarde gezien, aanvullend op de reeds bestaande auditmethodologie (Nuijten, Van Twist, & Van der

Steen, 2015).

Vanuit (wetenschappelijk) onderzoek is nog maar weinig bekend over de wijze waarop een IAF meer

aanpassingsvermogen kan tonen. Dit in tegenstelling tot bepaalde andere vakgebieden, waaronder

het IT-vakgebied. Binnen het IT-vakgebied, met name voor softwareontwikkeling, is veelvuldig

onderzoek uitgevoerd naar de toepassing van aanpassingsvermogen en flexibiliteit. In meerdere

wetenschappelijke artikelen wordt gerefereerd aan ‘agile’ of het ‘agile-gedachtegoed’ (Dingsøyr,

2

Nerur, Balijepally, & Moe, 2012). De basis van agile ligt volgens onderzoekers in de vier waarden en

twaalf principes (Conforto, Salum, Amaral, Silva, & Almeida, 2014) zoals deze zijn opgenomen in het

agile-manifest (Beck, e.a., 2001). De agile-waarden stellen mensen en hun onderlinge

interactie boven processen en hulpmiddelen, werkende software boven allesomvattende

documentatie, samenwerking met de klant boven contractonderhandelingen en inspelen op

verandering boven het volgen van een plan. De twaalf principes die worden gehanteerd in het agile-

manifest gaan onder andere in op het tevredenstellen van de klant door vroegtijdig opleveren, het

verwelkomen van veranderende behoeftes, het regelmatig opleveren van een product, eenvoud en

het regelmatig evalueren om effectiever te worden (Beck, e a., 2001). Werken volgens het agile-

gedachtegoed en daarmee het agile-manifest stelt teams in staat aanpassingsvermogen en

flexibiliteit te tonen tijdens de uitvoering van projecten (Hu, Yuan, & Zhang, 2009; Hoogveld, 2016).

Inmiddels zijn meerdere (ontwikkel)methoden gebaseerd op het agile-gedachtegoed, waaronder

Scrum, Crystal, Adaptive Software Development (ASD), Feature Driven Development (FDD) en

Extreme Programming (XP) (Hu e.a., 2009). Deze methoden worden gekenmerkt door een iteratieve

aanpak, een hoge mate van flexibiliteit en feedback (Hu e.a., 2009). Hoewel agile tot op heden vooral

wordt toegepast in relatie tot softwareontwikkeling (Scheffield & Lemétayer, 2013), heeft recent

onderzoek uitgewezen dat agile daarnaast toegepast kan worden door sectoren en afdelingen die

niet gelieerd zijn aan IT (Conforto e.a., 2014). Een bekend voorbeeld is ING, waar als een van de

eerste organisaties binnen de bank- en verzekeringssector de ontwikkeling is ingezet om met het

gehele bedrijf agile te gaan werken. ING heeft hiervoor onder andere een flexibele

organisatiestructuur opgezet, gewerkt aan een cultuuromslag en Scrum als werkmethode ingevoerd

(Mahadevan, 2017).

Het ontbreken van voldoende aanpassingsvermogen binnen het auditvakgebied vormt de directe

aanleiding voor dit onderzoek. Werken volgens het agile-gedachtegoed lijkt een oplossing te bieden

op dit thema. Met dit onderzoek wordt kennis over auditmethodologie en werken volgens het agile-

gedachtengoed bij elkaar gebracht. Hiermee wordt beoogd het auditvakgebied concrete werkwijzen

te bieden waarmee zij invulling kan geven aan verandervermogen en flexibiliteit; het

aanpassingsvermogen.

3

1.2 Probleemstelling en onderzoeksvragen

De doelstelling van dit onderzoek is auditmethodologie verrijken met werkwijzen uit methoden

gebaseerd op agile (nader te noemen: agile-werkwijzen). Dit onderzoek is theoretisch relevant omdat

het inzichten verschaft in de manier waarop een audit gemanaged kan worden in een veranderende

omgeving. Het betreft kennis waarover niet eerder is gepubliceerd in de wetenschappelijke

literatuur. Het onderzoek is daarnaast maatschappelijk relevant omdat het van belang is dat een IAF

meer aanpassingsvermogen en flexibiliteit toont in de veranderende werkomgeving. Op basis van de

wetenschappelijke kennis over agile mag worden verwacht dat kenmerken van methoden die

gebaseerd zijn op agile, een verrijking vormen voor auditmethodologie. Voor het vakgebied internal

audit geeft dit onderzoek inzicht in welke agile-werkwijzen verrijkend zijn voor bestaande

auditmethodologie (maatschappelijke relevantie).

Het resultaat van dit onderzoek bestaat uit auditmethodologie aangevuld met een overzicht van

agile-werkwijzen die toepasbaar zijn voor de auditor en bijdragen aan aanpassingsvermogen;

verrijkte auditmethodologie. Door deze verrijkte auditmethodologie toe te passen mag verwacht

worden dat de interne auditor zich effectiever en efficiënter kan inzetten in een omgeving waar

aanpassingsvermogen noodzakelijk is. De verwachting is dat de IAF met behulp van de verrijkte

auditmethodologie beter in staat mee te bewegen met de problemen die zich voordoen gedurende

een opdracht en sneller resultaat kan leveren.

Om de doelstelling van dit onderzoek te realiseren, luidt de centrale vraag van dit onderzoek als

volgt:

• Hoe ziet auditmethodologie eruit wanneer de methodologie is verrijkt met werkwijzen uit

methoden gebaseerd op agile?

Om de centrale vraag te beantwoorden zijn de volgende deelvragen opgesteld:

1. Wat zijn de belangrijkste kenmerken van auditmethodologie en agile?

2. Welke beperkingen kent auditmethodologie vanuit agile-perspectief?

3. Worden de veronderstelde beperkingen van auditmethodologie herkend en erkend door een

van de ontwerpers van auditmethodologie?

4. Welke werkwijzen uit de methoden die op agile gebaseerd zijn vormen volgens de theorie

een verrijking op auditmethodologie?

5. Wordt de voorgestelde optimalisatie van auditmethodologie door experts herkend en

erkend?

4

1.3 Onderzoekmodel en methoden van onderzoek

1.3.1 Onderzoekmodel

Dit onderzoek betreft een theorie-ontwikkelend onderzoek. Voor de uitvoering van dit onderzoek is

gebruikgemaakt van zowel theorie- als praktijkonderzoek. Het onderzoek is uitgevoerd conform het

onderzoekmodel in Figuur 1.1.

Figuur 1.1: Onderzoekmodel

Een bestudering van problemen in het auditvakgebied gebaseerd op bestaande vaktechnische en

wetenschappelijke literatuur (vooronderzoek), evenals een oriëntatie op wetenschappelijke

literatuur over auditmethodologie en agile (a), hebben geleid tot inzicht in de beperkingen van

auditmethodologie ten aanzien van de belangrijkste kenmerken van agile (b). Dit inzicht is

gevalideerd door een expert op het gebied van auditmethodologie. Een vergelijking van de resultaten

uit de validatie en de theorie over de methoden gebaseerd op agile (c) heeft geleid tot een

conceptoverzicht van verrijkende werkwijzen voor auditmethodologie. De resultaten zijn vervolgens

geëvalueerd door negen experts uit de internal audit- en agile-vakgebieden (d). Een analyse van de

resultaten uit de validatie (e) heeft vervolgens geleid tot een overzicht van de werkwijzen uit

methoden gebaseerd op agile die auditmethodologie verrijken (f).

1.3.2 Onderzoeksmethoden

Omdat weinig onderzoek heeft plaatsgevonden naar de verrijking van auditmethodologie met agile-

werkwijzen, is voor de uitvoering van dit onderzoek gekozen voor kwalitatieve onderzoeksmethoden.

Per deelvraag zijn verschillende onderzoeksmethoden toegepast. Een overzicht van de

onderzoeksmethoden per deelvraag is opgenomen in Tabel 1.1.

5

Deelvraag Onderzoeksmethode

1. Wat zijn de belangrijkste kenmerken van auditmethodologie en agile?

Deskresearch aan de hand van literatuurstudie

2. Welke beperkingen kent auditmethodologie vanuit agile-perspectief?

Kwalitatieve analyse van de literatuur met behulp van het 4-DAT-model

3. Worden de veronderstelde beperkingen van auditmethodologie herkend en erkend een van de ontwerpers van auditmethodologie?

Expertvalidatie door een ontwerper van auditmethodologie door middel van schriftelijke en telefonische afstemming

4. Welke werkwijzen uit de methoden die op agile gebaseerd zijn vormen volgens de theorie een verrijking op auditmethodologie?

Kwalitatieve analyse van de literatuur

5. Wordt de voorgestelde optimalisatie van auditmethodologie door experts herkend en erkend?

Expertvalidatie door middel van semigestructureerde interviews en vragenlijsten in een Delphi-studie

Tabel 1.1: Onderzoeksmethode per deelvraag

Ten behoeve van de beantwoording van deelvraag 1 is literatuuronderzoek uitgevoerd. Hierbij is

gesteund op bestaande vaktechnische en wetenschappelijke literatuur. Bestaande literatuur is

bestudeerd om kennis te verkrijgen over de belangrijkste kenmerken van auditmethodologie en

agile. De literatuur over auditmethodologie is met behulp van het 4-DAT-model nader geanalyseerd.

Het resultaat van deze analyse betreft een overzicht met kenmerken van agile waaraan bestaande

auditmethodologie nog niet voldoet (deelvraag 2).

Door middel van expertvalidatie zijn de resultaten uit de literatuuranalyse gevalideerd. Deze validatie

heeft plaatsgevonden om te bepalen in hoeverre belangrijke kenmerken van auditmethodologie over

het hoofd zijn gezien in de literatuuranalyse (deelvraag 3). Voor de uitvoering van deze validatie is

een expert op het gebied van auditmethodologie benaderd. Bij de selectie van de expert is bekeken

wie de meeste kennis bezit over auditmethodologie. Dit betreft iemand die hier (wetenschappelijk)

onderzoek naar heeft verricht of de methodologie regelmatig heeft toegepast. Op basis van

voorgenoemde criteria is ervoor gekozen afstemming te zoeken met een van de ontwerpers van

auditmethodologie.

In eerste instantie heeft in het kader van de validatie schriftelijke afstemming plaatsgevonden.

Omdat schriftelijke resultaten op verschillende wijzen kunnen worden geïnterpreteerd, heeft

aanvullend telefonische afstemming plaatsgevonden met de expert. Op deze manier zijn eventuele

onduidelijkheden uit de schriftelijke validatie ondervangen. De uitkomsten uit de validatie zijn

aangenomen en verwerkt. Het resultaat betreft een overzicht met beperkingen van

auditmethodologie vanuit agile-perspectief.

Voor het tweede gedeelte van het onderzoek is literatuur over agile geanalyseerd. Met behulp van

een kwalitatieve analyse is bepaald welke agile-werkwijzen invulling geven aan de beperkingen van

auditmethodologie vanuit agile-perspectief (deelvraag 4). Vanwege de beperkte omvang van dit

6

onderzoek is ervoor gekozen (slechts) vijf van de methoden die op agile gebaseerd zijn te

bestuderen. De uitkomst van de analyse betreft een conceptoverzicht met agile-werkwijzen die

verrijkend zijn voor auditmethodologie. Dit concept is gevalideerd en aangevuld aan de hand van

expertvalidatie (deelvraag 5). Voor de uitvoering van deze validatie is ervoor gekozen een Delphi-

studie uit te voeren. Een Delphi-studie heeft als kenmerk dat door middel van herhaald bevragen

consensus wordt gezocht. De werkwijze sluit goed aan bij het inventariserende karakter van dit

onderzoek. Voor de uitvoering van de Delphi-studie zijn negen experts uit het agile- en

auditvakgebied benaderd. Alle negen experts hebben deelgenomen aan ronde 1 van de studie. In

ronde 2 heeft een van de negen experts aangegeven niet meer te willen meewerken. Een overzicht

van de deelnemende experts is opgenomen in bijlage 2.

Voor de uitvoering van de Delphi-studie zijn in ronde 1 interviews uitgevoerd, gevolgd door

vragenlijsten in ronde 2. De resultaten uit de Delphi-studie tonen aan in hoeverre agile-werkwijzen

door experts als verrijkend worden erkend en herkend, en in hoeverre dit alleen van toepassing is in

bepaalde situaties. De resultaten uit de Delphi-studie zijn als laatste stap in dit onderzoek

geanalyseerd. Als door een meerderheid van de experts consensus is bereikt dat een werkwijze

verrijkend is voor auditmethodologie, is deze werkwijze als verrijkend aangenomen. Wanneer dit niet

het geval was, is de voorgestelde werkwijze als niet-verrijkend aangemerkt. De analyse heeft geleid

tot een overzicht van agile-werkwijzen die verrijkend zijn voor auditmethodologie per situatie.

1.4 Betrouwbaarheid en validiteit

De kwaliteit van dit onderzoek wordt onder andere bepaald door de betrouwbaarheid en validiteit

van het uitgevoerde onderzoek. In het uitgevoerde onderzoek zijn daarom diverse maatregelen

getroffen om de betrouwbaarheid en validiteit te waarborgen. Maatregelen ten behoeve van de

betrouwbaarheid voorkomen toevallige fouten; maatregelen ten behoeve van de validatie

voorkomen systematische fouten.

Om de betrouwbaarheid van het onderzoek te verhogen is allereerst gebruikgemaakt van

methodetriangulatie. Dit houdt in dat zowel gebruik is gemaakt van literatuuronderzoek, interviews

als vragenlijsten. Resultaten uit de literatuurstudie zijn gevalideerd door middel van interviews met

experts, en vragenlijsten ingevuld door experts. Om het aantal respondenten te bepalen is uitgegaan

van theoretische saturatie. Na negen interviews (waarvan een duo-interview) is gebleken dat geen

7

nieuwe informatie meer werd opgehaald. Hiermee wordt verondersteld dat de omvang van de

steekproef representatief is voor de populatie.

Om de betrouwbaarheid van het onderzoek te vergroten is ervoor gekozen de experts separaat te

interviewen en te laten stemmen door middel van een vragenlijst, in plaats van gebruik te maken van

een focusgroep. Hiermee is voorkomen dat de experts sociaal wenselijk gedrag vertonen in hun

voorkeuren. De interviewverslagen zijn gecodeerd om te analyseren welke agile-werkwijzen als

verrijkend zijn aangedragen. Om de herhaalbaarheid en navolgbaarheid van het onderzoek te

verhogen zijn de volgende zaken beschikbaar gesteld in de bijlagen: de primaire data uit interviews,

afstemmingen met professionals, en argumentatie toegepast in de kwalitatieve analyses.

De validiteit van de literatuurstudie is onder andere geborgd doordat gebruik is gemaakt van het 4-

DAT-model. Dit model is reeds binnen wetenschappelijk onderzoek bekend als een gevalideerd

onderzoeksinstrument. De validiteit van het empirische deel van het onderzoek is onder andere

geborgd doordat begrippen uit de theorie zijn geoperationaliseerd in de vorm van vragen. De vragen

gesteld in interviews, evenals de gehanteerde vragenlijst, zijn vooraf getest bij professionals uit het

vakgebied (bijlagen 16 en 17). Hiermee is de constructvaliditeit van de vragen geborgd. De interviews

zijn vastgelegd in interviewverslagen, die vervolgens zijn afgestemd met de betrokken expert(s).

Bij de selectie van de experts is gekeken naar de kennis van de personen ten aanzien van

verschillende vakgebieden (agile en audit). Hierbij is rekening gehouden met de achtergrond van de

expert in het bedrijfsleven, de kennis van de expert ten aanzien van aandachtsgebieden in het

vakgebied, en de kennis van de expert ten aanzien van toepasbaarheid van auditmethodologie door

zowel grote als kleine IAF’s. Door deze selectie is de interne validiteit van dit onderzoek geborgd. Om

ook de ecologische validiteit van het onderzoek te verhogen, zijn interviews afgenomen in een

vertrouwde omgeving voor de experts. Hierdoor wordt verondersteld dat zij eerlijker zijn geweest in

hun antwoorden dan wanneer de interviews in een onbekende omgeving zouden hebben

plaatsgevonden.

1.5 Leeswijzer

In hoofdstuk 2 worden de belangrijkste kenmerken van auditmethodologie en agile beschreven. In

hoofdstuk 3 volgt een analyse van de literatuur. Dat resulteert in een overzicht met beperkingen van

auditmethodologie vanuit het perspectief van de belangrijkste kenmerken van agile. Een validatie

8

van deze resultaten is opgenomen in hoofdstuk 4. Hoofstuk 5 gaat in op de agile-werkwijzen die

mogelijk een optimalisatie vormen voor auditmethodologie. Hoofstuk 6 bevat de resultaten uit de

expertvalidatie die is uitgevoerd in de Delphi-studie. In hoofdstuk 7 volgt een algehele conclusie voor

dit onderzoek. Dit rapport wordt afgesloten met een discussiehoofdstuk, waarin de

onderzoeksresultaten nader worden beschouwd. In dit hoofdstuk worden tevens suggesties

aangedragen voor vervolgonderzoek.

9

2 Theoretisch kader auditmethodologie en agile

2.1 Inleiding

Dit hoofdstuk belicht de belangrijkste kenmerken van auditmethodologie en agile. Deze kenmerken

vormen samen het startpunt voor de verrijking van auditmethodologie met agile-werkwijzen.

Paragraaf 2.2 bevat een korte introductie tot auditmethodologie. Deze wordt gevolgd door de

belangrijkste kenmerken van auditmethodologie in paragraaf 2.3, en een samenvatting van deze

belangrijkste kenmerken in paragraaf 2.4. Paragraaf 2.5 betreft een introductie van agile, gevolgd

door de belangrijkste kenmerken van agile in paragraaf 2.6. Paragraaf 2.7 gaat in op het 4-DAT-

model, een model om te onderzoeken in hoeverre methoden voldoen aan de kenmerken van agile.

Paragraaf 2.8 is gewijd aan de verschillende agile-werkwijzen, en in hoeverre deze voldoen aan de

belangrijkste kenmerken van agile. Daarnaast biedt deze paragraaf inzicht in de voor- en nadelen van

de verschillende agile-werkwijzen. Paragraaf 2.9 geeft een samenvatting van de belangrijkste

kenmerken van agile.

2.2 Introductie auditmethodologie

Om de belangrijkste kenmerken van auditmethodologie in kaart te brengen, is het van belang het

begrip ‘auditmethodologie’ nader te duiden. Volgens onderzoekers bestaat namelijk geen vaste

methode voor de uitvoering van een audit, maar is sprake van maatwerk per opdracht (Otten e.a.,

2002; Burch, 2011; Bos e.a., 2017). Vanwege de grote diversiteit aan opdrachten is het niet mogelijk

voor iedere audit een gestandaardiseerde methode toe te passen. Daarom is sprake van

auditmethodologie in plaats van een standaardmethode (Otten e.a., 2002; Burch, 2011; Bos e.a.,

2017). Methodologie betreft het geschikt maken van de methode per situatie waarin deze wordt

toegepast (Bos e.a., 2017).

Auditmethodologie is in de afgelopen jaren door meerdere onderzoekers/ontwerpers/auteurs op

verschillende wijzen beschreven (Otten e.a., 2002; Burch, 2011; Driessen & Molenkamp, 2012; The

institute of Internal Auditors, 2016; Bos e.a., 2017). Een gemeenschappelijk kenmerk van de

verschillende methodologieën is de indeling van een opdracht in verschillende fasen. Deze fasen

worden chronologisch uitgevoerd. Echter, de verschillende onderzoekers/ontwerpers/auteurs

hebben een eigen visie ten aanzien van het aantal fasen en de inhoud van de verschillende fasen

10

binnen auditmethodologie. In Tabel 2.1 is een overzicht opgenomen van de verschillende fasen zoals

deze door de verschillende onderzoekers zijn onderkend.

Fasen binnen auditmethodologie

Burch (2011) Driesen en Molenkamp (2012)

IIA (2016) Otten e.a. (2002)

Planning Planning Opdracht planning Selectie van het auditobject

Vooronderzoek Voorbereiding

Veldwerk Veldwerk Uitvoeren van de opdracht Gegevensverzameling

Rapporteren Rapportage Rapporteren Gegevensverwerking, analyse, oordeelsvorming

Evaluatie Rapportage

Follow-up Follow-up Monitoren van de opvolging van bevindingen

Afronding (Opvolging/ evaluatie)

Tabel 2.1: Fasen in auditmethodologie per onderzoeker/ontwerper/auteur

Omdat dit onderzoek van beperkte omvang is, wordt enkel gebruikgemaakt van een van de vier

auditmethodologieën. De methodologie die ingaat op management control auditing (Otten e.a.,

2002) wordt hiervoor het meest geschikt geacht. Deze methodologie besteedt zowel aandacht aan

het ontwerp als de beheersing van een opdracht. De methoden gebaseerd op het agile-

gedachtegoed geven ook invulling aan het ontwerp en de beheersing van een opdracht. Naar

verwachting sluit deze variant van auditmethodologie daarom het beste aan op de methoden die

gebaseerd zijn op agile; daarmee is deze variant het meest interessant in het kader van dit

onderzoek.

2.3 Belangrijkste kenmerken auditmethodologie

Naast de indeling van een audit in fasen heeft auditmethodologie andere kenmerken. In deze

paragraaf volgen de belangrijkste kenmerken van auditmethodologie, zoals ontwikkeld en

omschreven door Bos e.a. (2017) in navolging op het gepubliceerde artikel van Otten e.a. (2002).

2.3.1 Raamwerk van aandachtspunten

Auditmethodologie bestaat uit een raamwerk van aandachtspunten, toepasbaar bij het ontwerp van

een audit (Bos e.a., 2017). Onderzoeksmethodologie (Verschuren & Doorewaard, 2015) is hiervoor

de basis (Bos, De Korte, & Otten, 2017). Auditmethodologie helpt de auditor methodisch te werken

en verantwoording af te leggen over de activiteiten die hij/zij heeft uitgevoerd (Bos e.a., 2017).

Auditmethodologie toepassen leidt tot een relevant, deugdelijk en efficiënt verkregen auditresultaat

(Otten e.a., 2002; Bos e.a., 2017). De audit op het juiste moment (urgentie) uitvoeren is hierbij van

belang (Bos e.a., 2017). Daarnaast is het noodzakelijk dat het gehele auditproces controleerbaar is,

11

oftewel transparant en reproduceerbaar (Otten e.a., 2002; Bos e.a., 2017). Dit is conform hetgeen is

opgenomen in het International Professional Practices Framework (IPPF) (The institute of Internal

Auditors, 2017). De genoemde elementen vormen gezamenlijk de doelstelling van

auditmethodologie.

In het auditontwerp maakt de auditor keuzes ten aanzien van de methoden en/of werkwijzen

voor de uitvoering van een audit. Daarbij is het van belang de beheersing van de audit vast te leggen

in een plan van aanpak. Gezamenlijk maken dit plan van aanpak en het auditontwerp het auditproces

(Bos e.a., 2017).

2.3.2 Auditontwerp

Het auditontwerp bestaat uit een conceptueel en technisch ontwerp. In Tabel 2.2 zijn de elementen

hiervan weergegeven.

Conceptueel ontwerp Technisch ontwerp

Auditdoelstelling Gegevensverzameling

Auditmodel Gegevensverwerking, analyse en oordeelsvorming

Objectafbakening Auditrapportage

Auditoptiek, vraagstelling en criteria Auditplanning

Tabel 2.2: Conceptueel en technisch ontwerp van een audit

Noot. Aangepast van “Management Control Auditing: bijdragen aan doelrealisatie en verbetering”, door Bos, P, Korte, de, R., Otten, J., 2017, P. 58, Driebergen, Nederland, Auditing.nl.

Het conceptueel ontwerp geeft invulling aan wat onderzocht wordt in een audit en het doel van de

audit. Het technisch ontwerp geeft invulling aan hoe het onderzoek plaatsvindt. Om het conceptueel

en technisch ontwerp vorm te geven is het van belang de auditcontext tijdens een vooronderzoek te

verkennen. De auditcontext en het auditontwerp in kaart brengen zijn onderdeel van de

voorbereidingsfase van een audit (Bos e.a., 2017).

2.3.3 Werkwijzen binnen een audit

Een audit beheersen vindt plaats door middel van een projectmatige aanpak. Dit betreft een

samenspel tussen routinematig en flexibel werken. Voor het projectmatig werken worden bij

voorkeur de fasen toegepast zoals omschreven in Tabel 2.3. Iedere fase in de audit levert een eigen

resultaat (Bos e.a., 2017).

12

Fase Resultaat

Selectie van het auditobject Keuze voor een onderwerp en het tijdstip waarop het onderzoek wordt uitgevoerd

Voorbereiding Inzicht in wat wordt onderzocht en hoe dit wordt onderzocht (een conceptueel en technisch ontwerp van de opdracht)

Gegevensverzameling Vastlegging van relevante data

Gegevensverwerking, analyse, oordeelsvorming

Formulering van bevindingen, conclusies en/of een oordeel

Rapportage Rapportage van de resultaten van de opdracht

Afronding (opvolging/ evaluatie)

Verbeterde beheersing en verbeterde audit

Tabel 2.3: Fasen in auditmethodologie

Noot. Aangepast van “Management Control Auditing: bijdragen aan doelrealisatie en verbetering”, door Bos, P, Korte, de, R., Otten, J., 2017, P. 28, Driebergen, Nederland, Auditing.nl.

Voor de verschillende fasen zijn door de ontwerpers/auteurs van auditmethodologie diverse

werkwijzen/methoden aangereikt. Dit betreft methoden/werkwijzen voor zowel de opzet, uitvoering

als de beheersing van een audit. Een overzicht van de verschillende methoden/werkwijzen zoals

omschreven door Bos e.a. (2017), is weergeven in Tabel 2.4.

Methoden/werkwijzen opzetten en uitvoeren audit Methoden/werkwijzen beheersen audit

Risicoanalyse voor selectie opdrachten Strokenplanning

Contextanalyse voor bepalen type audit en haalbaarheid van de opdracht

Capaciteitsplanning

Auditontwerp (conceptueel en technisch Kosten/baten-afweging voor inzet capaciteit

Veldwerk voor verzamelen van data Informatiebeheersing door vooraf vastleggen hoe toegang tot documenten wordt geborgd

Scoren van criteria Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door auditmanager

Hoor en wederhoor Teamevaluatie

Rapporteren Evaluatie door de opdrachtgever

Tabel 2.4: Methoden en werkwijzen binnen een audit

Keuzes maken voor werkwijzen en methoden vindt plaats in het auditontwerp. De keuzes die

gemaakt worden zijn daarmee vastgelegd voor de gehele audit. Dit betekent dat een opdracht vooraf

gedetailleerd is uitgewerkt en daarmee in flexibiliteit beperkt wordt (Bos e.a., 2017).

Echter, beheersing staat veelal tegenover flexibiliteit. In een snel veranderende omgeving is het van

belang flexibel te zijn om in control te blijven (De Korte & Otten, 2003). De ontwerpers/auteurs van

auditmethodologie stellen daarom dat meer flexibiliteit mogelijk is, door gebruik te maken van een

globaal auditontwerp. Echter, hierbij bestaat het risico dat een globaal auditontwerp ten koste gaat

van efficiënte en effectieve uitvoering van de opdracht (Bos e.a., 2017).

2.4 Samenvatting belangrijkste kenmerken auditmethodologie

De voorgaande paragrafen bieden inzicht in de belangrijkste kenmerken van auditmethodologie.

Auditmethodologie de aanpak per situatie geschikt maken. Iedere opdracht bestaat uit zes

13

verschillende fasen die chronologisch worden uitgevoerd. In de voorbereiding worden het

conceptueel en technisch ontwerp van de opdracht gemaakt. Deze ontwerpen zijn leidend voor de

uitvoering van de opdracht. Auditmethodologie heeft daardoor een beperkte mate van flexibiliteit

tijdens de uitvoering van de opdracht. Echter, een voorgestelde globalere aanpak heeft als risico dat

er sprake kan zijn van een lagere mate van beheersing.

2.5 Introductie agile

Om in kaart te brengen welke verrijking agile kan bieden voor auditmethodologie, is het van belang

het begrip ‘agile’ nader te duiden. Dat wordt gedaan door inzicht te bieden in de

ontstaansgeschiedenis van agile, en het begrip ‘agile’ te definiëren.

Agile heeft naamsbekendheid sinds de introductie van het Manifesto for Agile Software

Development (hierna: Agile Manifest) (Conforto e.a., 2014; Hoogveld, 2016). Dit wordt gezien als het

startpunt voor de uiteenzetting van agile in de softwareontwikkelingsindustrie (Conforto e.a., 2014;

Hoogveld, 2016). Het Agile Manifest (Beck, e.a., 2001) bestaat uit vier waarden (Tabel 2.5) en twaalf

principes, die de kern van agile weergeven (zie ook paragraaf 2.6). Echter, deze vier waarden en

twaalf principes vormen niet de definitie van agile; ze vormen een richtlijn om agile te werken

(Dingsøyr e.a., 2012).

Tabel 2.5: Agile-waarden conform het Agile Manifest

Over een eenduidige definitie van agile zijn de verschillende onderzoekers het niet eens.

Daarentegen bestaan overeenkomsten in de beschreven definities. Dit betreffen het vermogen in te

kunnen spelen op veranderingen, reactievermogen en aanpassingen doorvoeren op een economisch

verantwoorde wijze (Henderson-Sellers & Serour, 2005; Lyytinen & Rose, 2006; Qumer & Henderson-

Sellers, 2008a). De definitie van agile (ook wel: agility) die in dit onderzoek wordt toegepast betreft

de definitie van Qumer & Henderson-Sellers (2006):

‘Agility is a persistent behavior or ability of an entity that exhibits flexibility to accommodate expected or unexpected changes rapidly, follows the shortest time span, and uses economical, simple, and quality instruments in a dynamic environment and applies updated prior knowledge and experience to learn from the internal and external environment’. (Qumer & Henderson-Sellers, 2006, p. 505)

Agile-waarden volgens het Agile Manifest

Mensen en hun onderlinge interactie boven processen en hulpmiddelen

Werkende software boven allesomvattende documentatie

Samenwerking met de klant boven contractonderhandelingen

Inspelen op verandering boven het volgen van een plan

14

In deze definitie zijn verschillende aspecten uit meerdere definities meegenomen, waaronder het

inspelen op verandering en reactievermogen. De definitie van Qumer & Henderson-Sellers (2006)

vormt daarmee voor dit onderzoek een zo compleet mogelijk beeld van agile.

2.6 Kenmerken van agile

Agile heeft verschillende kenmerken, die in de (wetenschappelijke) literatuur in meerdere bronnen

zijn terug te vinden. Het gaat daarbij om zowel kenmerken in het Agile Manifest (Beck, e.a., 2001) als

kenmerken vanuit recente publicaties op basis van theoretisch en empirisch onderzoek (Sherehiy,

Karwowski, & Layer, 2007; Dybå & Dingsøyr, 2008; Ribeiro & Fernandes, 2009; Jalali, Wohlin, &

Angelis, 2014).

In het Agile Manifest (Beck, e.a., 2001) zijn de kenmerken van agile opgenomen als vier

waarden (Tabel 2.5) en twaalf principes voor agile werken. De twaalf principes promoten

veranderende behoeftes, korte doorlooptijden, samenwerking, werken in een constant tempo,

aandacht voor hoge technische kwaliteit en een goed ontwerp, eenvoud, zelfsturende teams en de

eigen werkzaamheden evalueren (Beck, e.a., 2001).

Wetenschappelijke studies gaan in op zeven kenmerken van agile (Tabel 2.6) (Sherehiy e.a.,

2007; Dybå & Dingsøyr, 2008; Ribeiro & Fernandes, 2009; Jalali, e.a.,2014). Vanuit deze studies komt

flexibiliteit als een van de belangrijkste kenmerken van agile naar voren. Flexibiliteit betreft

verschillende methoden toepassen en snel kunnen wisselen tussen taken en strategieën (Sherehiy

e.a., 2007). Het team moet in staat zijn te reageren op veranderingen (Ribeiro & Fernandes, 2009).

Kansen en veranderingen identificeren en hierop inspelen betreft een tweede kenmerk van agile. Dit

wordt omschreven als reactievermogen (Sherehiy e.a., 2007). Hierbij passen continu feedback

Kenmerken agile vanuit wetenschappelijk onderzoek Bron

Flexibiliteit (Sherehiy, Karwowski, & Layer, 2007), (Ribeiro & Fernandes, 2009) (Ribeiro & Fernandes, 2009; Qumer & Henderson-Sellers, 2008b; Llamas, Coudert, Geneste, Romero-Bejarano, & de Valroger, 2016)

Reactievermogen (Ribeiro & Fernandes, 2009; Qumer & Henderson-Sellers, 2008b; Llamas, Coudert, Geneste, Romero-Bejarano, & de Valroger, 2016) (Sherehiy, Karwowski, & Layer, 2007), (Jalali, Wohlin, & Angelis, 2014)

Veranderingsgezinde cultuur (Sherehiy, Karwowski, & Layer, 2007)

Snelheid (Ribeiro & Fernandes, 2009; Qumer & Henderson-Sellers, 2008b; Llamas, Coudert, Geneste, Romero-Bejarano, & de Valroger, 2016)

Lean (Ribeiro & Fernandes, 2009; Qumer & Henderson-Sellers, 2008b; Llamas, Coudert, Geneste, Romero-Bejarano, & de Valroger, 2016)

Leren (Ribeiro & Fernandes, 2009; Qumer & Henderson-Sellers, 2008b; Llamas, Coudert, Geneste, Romero-Bejarano, & de Valroger, 2016)

Iteratief werken (Dybå & Dingsøyr, 2008)

Tabel 2.6: Kenmerken agile vanuit wetenschappelijke studies

15

ontvangen en continu veranderingen doorvoeren (Jalali e.a., 2014). Dit gaat gepaard met snelheid

(Ribeiro & Fernandes, 2009; Qumer & Henderson-Sellers, 2008b; Llamas, Coudert, Geneste, Romero-

Bejarano, & de Valroger, 2016) en een veranderingsgezinde cultuur (Sherehiy e.a., 2007). Een

veranderingsgezinde cultuur betreft een cultuur waarin de medewerker wordt ondersteund bij

veranderingen aangaan, zoals de toepassing van nieuwe methoden en technieken (Sherehiy e.a.,

2007).

Bij agile werken hoort een iteratieve aanpak, waarbij door de software continu te verbeteren

en te testen, gebaseerd op een korte feedbackloop, resultaten worden geleverd (Dybå & Dingsøyr,

2008). Het team leert daarbij continu en werkt aan prestatieverbetering (Ribeiro & Fernandes, 2009).

Daarnaast zijn kostenbeheersing, beperken van de doorlooptijd en kwalitatief goed produceren (ook

wel: lean) belangrijke kenmerken van agile (Ribeiro & Fernandes, 2009).

2.7 4-dimensioneel analysemodel

Niet iedere agile-werkwijze bevat alle kenmerken van agile (Qumer & Henderson-Sellers, 2006). Om

methoden te vergelijken die op agile gebaseerd zijn, draagt de wetenschappelijk theorie

verschillende modellen aan. Deze modellen hebben tot doel te komen tot een selectie voor de

toepassing van de methoden die op agile gebaseerd zijn in projecten en/of softwareontwikkeling

(Taromirad & Ramsin, 2008; Qumer & Henderson-Sellers, 2006; Abrahamsson, Warsta, Siponen, &

Ronkainen, 2003; Chowdhury & Huda, 2011). Twee van deze modellen zijn tevens toepasbaar voor

de analyse van ‘niet-agile’-methoden. Daarnaast zijn ze geschikt om eigen methoden samen te

stellen uit werkwijzen voortgekomen uit bestaande methoden. Dit betreffen het CEFAM en 4-

dimensioneel analysemodel (hierna: 4-DAT-model) (Taromirad & Ramsin, 2008; Qumer &

Henderson-Sellers, 2006).

CEFAM is een evaluatiemodel voor agile-methoden. Het model biedt de mogelijkheid, aan de hand

van een set van 196 criteria, te komen tot een gekwantificeerde evaluatie van methoden die op agile

gebaseerd zijn. CEFAM ondersteunt de overeenkomsten en verschillen tussen de verschillende

methoden op de 196 gedefinieerde criteria inzichtelijk te maken. Daarnaast biedt het model

ondersteuning in samengestelde methoden construeren. De onderwerpen waarop de CEFAM-

evaluatie wordt uitgevoerd betreffen processen, modeleertaal, Agility, gebruik en cross-context

evaluatiecriteria (Taromirad & Ramsin, 2008).

Het 4-DAT-model (Tabel 2.7) maakt het mogelijk om zowel methoden die op agile gebaseerd

zijn als andere (niet agile) methoden met elkaar te vergelijken. Criteria in dit model betreffen de

16

scope van de methode, agile-karakteristieken, agile-waarden en proceskarakteristieken (Qumer &

Henderson-Sellers, 2006). De agile-waarden komen overeen met het eerder beschreven Agile

Manifest. Daarnaast zijn vijf van de belangrijkste kenmerken van agile in dit model opgenomen:

flexibiliteit, snelheid, lean, leren en reactievermogen. Deze vijf kenmerken worden op een

kwantitatieve wijze geanalyseerd per fase van de desbetreffende methodiek (Qumer & Henderson-

Sellers, 2006).

Tabel 2.7: 4-dimensioneel analysemodel (4-DAT-model)

Noot. Aangepast van “Measuring agility and adoptability of Agile methods; a 4-dimensional analytical tool door Qumer, A. en Henderson-Sellers, B., 2006, IADIS International Conference Applied Computing, P. 503-507.

4-DAT-model

Dimensie 1 (Toepassingsmethode) Scope

1. Omvang van het project Is de methode geschikt om toe te passen voor kleine, middel of grote projecten?

2. Omvang van het team Is de methode geschikt om toe te passen voor kleine of grote teams en voor een of meerdere teams?

3. Ontwikkelmethode Wat voor stijl van ontwikkelen wordt toegepast (iteratief, sequentieel etc.) in de methode?

4. Stijl van coderen Wordt in de methode een expliciete stijl van coderen toegepast?

5. Technologische omgeving Welke verwachtingen zijn er ten aanzien van de technologische omgeving (hulpmiddelen etc.) voor de methode?

6. Fysieke omgeving Welke verwachtingen zijn er ten aanzien van de fysieke omgeving in de methode (bijvoorbeeld meerdere teams, werken op afstand)?

7. Organisatiecultuur Wat voor organisatiecultuur is geschikt voor het toepassen van de methode (coöperatief, niet meewerkend etc.)?

8. Dataverkrijgingsmethode Wordt vanuit de methode een mechanisme aanbevolen voor het onttrekken van data, en zo ja welke?

Dimensie 2 (Aanpassing karakteristieken) Agile-kenmerken

1. Flexibiliteit Is het met de methode mogelijk aanpassingen door te voeren in de werkwijze op basis van verwachte en onverwachte veranderingen?

2. Snelheid Levert de methode snel resultaat op aan de opdrachtgever?

3. Mate van lean Wordt in de methode aandacht besteed aan het realiseren van de kortste doorlooptijd, het gebruik van middelen en gebruik van kwaliteitsinstrumenten?

4. Leren Wordt in de methode een leereffect gecreëerd door rekening te houden met eerder opgedane kennis, en dit toe te passen in de methode?

5. Reactievermogen Draagt de methode bij aan/triggert de methode (on)verwacht veranderingen in kaart te brengen en hierop te reageren gedurende een project?

Dimensie 3 (Agile-waarden karakteristieken) Agile-waarden

1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen

In welke werkwijze binnen de methode komt expliciet tot uitdrukking dat mensen en hun onderlinge interactie boven processen en hulpmiddelen staan?

2. Werkend/goed resultaat boven allesomvattende documentatie

In welke werkwijzen binnen de methode komt expliciet tot uitdrukking dat een werkend/goed resultaat boven allesomvattende documentatie gaat?

3. Samenwerking met de klant boven onderhandelingen

In welke werkwijzen binnen de methode komt expliciet tot uitdrukking dat samenwerking met de klant boven onderhandelingen gaat?

4. Inspelen op verandering boven het volgen van een plan

In welke werkwijzen binnen de methode komt expliciet tot uitdrukking dat het inspelen op verandering boven het volgen van een plan van belang is?

5. Het proces agile houden Welke werkwijzen binnen de methode dragen expliciet bij aan het agile uitvoeren van het proces? Hieronder wordt verstaan technisch uitmuntend, eenvoud (het maximaliseren van het werk dat niet wordt gedaan), evalueren wat beter kan (Koch, 2005).

6. Het proces kosteneffectief houden

Welke werkwijzen binnen de methode dragen expliciet bij aan het kosteneffectief uitvoeren van het proces?

Dimensie 4 (Proceskarakteristieken) Proces

1. Uitvoeren Welke werkwijzen binnen de methode behandelen de levenscyclus en de kwaliteitscontrole van het project?

2. Projectmanagement proces

Welke werkwijzen binnen de methode behandelen het overall managen van het project?

3. Ondersteunende processen

Welke werkwijzen binnen de methode zijn aanwezig om traceerbaarheid, reproduceerbaarheid en identificeerbaarheid vorm te geven?

4. Procesmanagement proces

Welke werkwijzen binnen de methode zijn aanwezig om het proces zelf te managen?

17

In het kader van dit onderzoek is ervoor gekozen het 4-DAT-model van Qumer en Henderson-Sellers

(2006) toe te passen. In dit onderzoek staat kruising van auditmethodologie met agile-werkwijzen

voor het eerst centraal. Daarom is gekozen voor het globalere niveau van het 4-DAT-model, en niet

voor het gedetailleerd CEFAM-model. Uit onderzoek van Qumer en Henderson-Sellers (2008a) blijkt

dat het model dat zij ontworpen hebben niet alleen zinvol is bij de vergelijking van agile-methoden,

maar ook bij de ontwikkeling van een nieuwe methode met fragmenten uit bestaande methoden.

Het 4-DAT-model is het meest compleet in de evaluatie van agile en de elementen voortkomend uit

Agile Manifesto (Taromirad & Ramsin, 2008). Het model sluit daarnaast aan bij de eerder

omschreven kenmerken van agile, en maakt het mogelijk te bepalen in hoeverre auditmethodiek

reeds agile-kenmerken bevat.

2.8 Methoden gebaseerd op agile

Meerdere methoden zijn gebaseerd op agile. De meest bekende methoden zijn Scrum, eXtreme

Programming(XP), Feature Driven Development (FDD), lean software development, Adaptive

Software Development(ASD), Crystal Family en Dynamic System Development Method (DSDM)

(Hamed & Abushama, 2013; Conforto e.a., 2014; Dybå & Dingsøyr, 2008). De verschillende methoden

zijn veelal gebaseerd op het Agile Manifest, maar verschillen onderling wel degelijk van elkaar

(Matharu, Mishra, Singh, & Upadhyay, 2015).

XP, Scrum, FDD, ASD, en DSDM vormen de basis om te bepalen in hoeverre verrijking van

auditmethodologie met agile-werkwijzen mogelijk is. Vanwege de omvang van dit onderzoek is het

niet mogelijk alle methoden te onderzoeken; lean en Crystal (als bekende methoden) zijn mede om

deze reden niet nader uitgewerkt. Dit geldt ook voor alle overige (minder bekende) methoden die op

agile gebaseerd zijn.

Crystal bestaat uit meerdere methoden (Hamed & Abushama, 2013), waardoor het dit

onderzoek onnodig complex zou maken. Paterson onderzocht in een eerdere stadium lean auditing

en legde de resultaten van dit onderzoek vast in een boek (Paterson, 2015). Dit zijn beide

aanvullende redenen om deze twee methoden niet mee te nemen in dit onderzoek.

2.8.1 Mate van agile in XP, Scrum, FDD, ASD, DSDM

Niet elke agile-werkwijze bevat alle kenmerken van agile. Uit onderzoek naar de mate waarin

verschillende methoden die op agile zijn gebaseerd voldoen aan de kenmerken van agile, blijkt dat

18

zowel flexibiliteit, snelheid, leren als reactievermogen worden ondersteund door de werkwijzen uit

XP, Scrum, FDD, ASD, DSDM (Qumer & Henderson-Sellers, 2008a). In Tabel 2.8 is een overzicht van

de eindresultaten uit dit onderzoek gepresenteerd; de getallen hierin geven aan hoeveel werkwijzen

van het totaalaantal werkwijzen bijdragen aan het kenmerk van agile in de bovenste rij. Van de

methoden die in dit onderzoek worden meegenomen is XP de enige die werkwijzen heeft waarmee

lean wordt ondersteund.

Agile-methode Flexibiliteit Snelheid Lean Leren Reactievermogen

XP 10/12 8/12 5/12 11/12 10/12

Scrum 7/7 7/7 0/7 7/7 7/7

FDD 7/8 7/8 0/7 7/8 7/8

ASD 7/9 8/9 0/9 8/9 7/9

DSDM 6/8 7/8 0/8 7/8 7/8

Tabel 2.8: Mate van agile voor de methoden die op agile gebaseerd zijn

Noot. Aangepast naar “An Evaluation of the Degree of Agile in Six Agile Methods and its Applicability for method engineering”, Qumer, A., Henderson-Sellers, B., 2008, Information and Software Technology, 50, P. 282-290

2.8.2 Werkwijzen in relatie tot agile-kenmerken en hun voor- en nadelen

XP, Scrum, FDD, ASD, DSDM bestaan uit verschillende werkwijzen, elk met zijn eigen voor- en

nadelen en bijdrage aan de kenmerken van agile. Deze werkwijzen kennen verschillende namen,

maar lijken desondanks veel op elkaar (Al-Zewairi, Biltawi, Etaiwi, & Shaout, 2017; Koch, 2005). De

werkwijzen kunnen worden verdeeld in vier categorieën: werkwijzen die betrekking hebben op het

werken in iteraties (Tabel 2.9), werkwijzen die betrekking hebben op teams (Tabel 2.10), werkwijzen

die specifiek betrekking hebben op softwareontwikkeling en een groep overige werkwijzen (Tabel

2.11). In de verschillende tabellen zijn werkwijzen die sterk op elkaar lijken samengevoegd op een rij.

Werkwijzen die specifiek betrekking hebben op de ontwikkeling van software zijn voor de uitvoering

van audits niet relevant.

Werkwijzen die betrekking hebben op kort cyclisch werken door middel van iteraties, dragen bij aan

de vijf belangrijkste kenmerken van agile (Qumer & Henderson-Sellers, 2008a). Een thema dat

frequent naar voren komt als voordeel van deze werkwijzen is voldoen aan de wens van de

opdrachtgever (Koch, 2005; Alqudah & Razali, 2017). Een ander thema betreft het verhoogde inzicht

in de voortgang van de opdracht voor de opdrachtgever (Rising & Janoff, 2000; Cervone, 2011;

Sutherland, 2014). Thema’s die naar voren komen in de nadelen betreffen demotivatie van

medewerkers, extra tijdsbesteding en onzekerheid over het op te leveren project (Tabel 2.9).

19

Werkwijzen met betrekking tot het werken in iteraties

Fle

xib

ilite

it

Sne

lhe

id

Lean

Lere

n

Re

acti

eve

rmo

gen

Ingevuld op basis van Qumer en Henderson-Sellers (2008a)

Doel Voor- en nadelen/uitdagingen

Product-backlog (Scrum)

X X X X Inzicht geven in wat nog moet worden gerealiseerd op basis van prioriteit (Sutherland, 2014).

Voordelen

• Maakt prioriteiten inzichtelijk conform wens van de opdrachtgever (Sutherland, 2014).

• Verfijning draagt er zorg voor dat duidelijk is wanneer iets voldoet aan de definitie van ‘klaar’ (Sutherland, 2014).

• Opdrachtgever wordt onderdeel van prioriteringsproces, met als gevolg hogere klanttevredenheid (Sutherland, 2014).

• Nut van de activiteiten wordt in kaart gebracht (Sutherland, 2014).

• Uitvoerbaarheid van de activiteit wordt in kaart gebracht (Sutherland, 2014).

• Opdrachtgever heeft zicht op de voortgang van het project (Lee & Xia, 2010).

• Iedereen kan nieuwe items toevoegen en de voortgang monitoren (Lee & Xia, 2010).

Nadelen

• Voorafgaand aan het project is geen volledig overzicht beschikbaar met alle eisen voor het desbetreffende project. Dit kan leiden tot onzekerheid (Koch, 2005).

• Wijzigingen tijdens het project op basis van nieuwe eisen moeten worden gemanaged om te voorkomen dat doorlooptijd en kosten uit de hand lopen

(Koch, 2005). • Er is geen goed zicht op de langetermijnplanning (Dikert, Paasivaara, &

Lassenius, 2016).

Sprint (Scrum) Korte releases (XP) Regelmatige levering van producten (DSDM)

X X X X Iedere sprint/release leidt tot een eindproduct binnen gemiddeld 3 weken (Hu, Yuan, & Zhang, 2009).

Voordelen:

• Snel een bruikbaar resultaat voor de opdrachtgever (Hu e.a., 2009).

• Deadlines worden veelal gehaald (Ayed, Vanderose, & Habra, 2014).

• Door continue deadlines blijft werkdruk gelijk over het gehele project (Koch, 2005).

• Resultaten kunnen worden aangepast indien hier aanleiding voor is in de volgende sprint/release (Overhage & Schlauderer, 2012).

• Lage kosten voor verandering (Ionel, 2008).

• Verbeterde interactie binnen het team (Cervone, 2011).

• Regelmatig meetbare prestaties geven de klant comfort en leveren het team enthousiasme (Koch, 2005).

Nadelen/uitdagingen:

• Werken in korte release vereist veel discipline van de medewerkers (Overhage & Schlauderer, 2012).

• Er is geen duidelijk eindpunt gedefinieerd voor het project (Ionel, 2008).

• In het geval de klant wijzigingen verwacht, kan er sprake zijn van veel aanpassingen in een volgende sprint (Ionel, 2008).

• Er wordt gewerkt binnen een gekaderd tijdbestek. Als een inschatting niet goed is gemaakt of er ontstaan problemen dan doet dit af aan de functionaliteit die wordt opgeleverd (Koch, 2005).

• Regelmatig discussie over de scope van het project en doorlooptijd (Koch, 2005).

• Hoog capaciteitsbeslag op de klant gedurende de gehele looptijd van de opdracht (Budi, Siswa& Abijono in Nugroho, Waluyo, & Hakim, 2017).

Sprint-planning (Scrum) Planningsspel (XP) Adaptieve cyclusplanning (ASD)

X X X X Vaststellen van de eisen en taken voor de volgende periode (Overhage & Schlauderer, 2012).

Voordelen

• Direct periodiek contact met de opdrachtgever, samenwerking met de opdrachtgever (Koch, 2005; Alqudah & Razali, 2017).

• Tijdens de sprint is het team beschermd tegen externe veranderingen (Koch, 2005).

• Inzicht realiseren in op te leveren resultaat aan einde van de sprint (Pino, Pedreira, García, Luaces, & Piattini, 2010).

• Wensen voortkomend uit een vorige sprint kunnen direct worden geprioriteerd (Pino e.a., 2010).

• Door iedere x weken een sprintplanning te maken kan flexibel worden ingespeeld op veranderingen in de omgeving (Scheffield & Lemétayer, 2013).

Nadelen/uitdagingen

• Van de opdrachtgever wordt verwacht dat hij de nodige tijd besteedt aan de planningsbijeenkomsten (Ionel, 2008).

20

• De visie van de opdrachtgever kan het team negatief beïnvloeden (Ionel, 2008).

Dagelijkse scrum (Scrum)

X X X X Binnen het team van elkaar weten hoe het project ervoor staat (Sutherland, 2014).

Voordelen

• Vergrote samenwerking in het team (Rising & Janoff, 2000).

• Grote betrokkenheid van teamleden bij het project (Rising & Janoff, 2000).

• Dagelijks inzicht in de voortgang van het project (Rising & Janoff, 2000).

• Problemen in het project worden dagelijks besproken en gezamenlijk opgepakt (Rising & Janoff, 2000).

• De opdrachtgever kan de meeting bijwonen om dagelijks input te leveren door middel van zijn wensen (Hamed & Abushama, 2013).

Nadelen/uitdagingen

• Medewerkers kunnen gedemotiveerd raken als dagelijkse doelen niet worden bereikt (Rising & Janoff, 2000).

• Extra tijd nodig voor de uitvoering dagelijks. Daarom moet de tijd bepekt worden gehouden (Rising & Janoff, 2000).

• Bij te lange uitvoering raken medewerkers gedemotiveerd (Stray, Lindsjørn, & Sjøberg, 2013).

• De korte besprekingen worden slecht opgenomen in de herinnering van de teamleden (Koch, 2005).

• Medewerkers moeten altijd op hetzelfde tijdstip beschikbaar zijn (Koch, 2005).

Sprintdemo (Scrum) Klantfocusgroep reviews (ASD)

X X X X Demonstreren wat voldoet aan de definitie van klaar (Sutherland, 2014; Koch, 2005).

Voordelen:

• De klant wordt vroegtijdig betrokken in het proces van oplevering en kan het team wijzen om eventuele afwijkingen in de opgeleverde release aan te passen (Cervone, 2011).

• Informele bijeenkomst waarin ideeën openlijk kunnen worden uitgewisseld (Cervone, 2011).

• Verhoogde mate van klanttevredenheid (Alqudah & Razali, 2017).

• Het blijft helder waarom iets wordt ontwikkeld (Mann & Maurer, 2005). Nadelen/uitdagingen

• Het is geen acceptatie van de opgeleverde resultaten (Kongyai & Edi, 2011).

• Iedere stakeholdergroep krijgt een separate demonstratie (Kongyai & Edi, 2011).

Sprintevaluatie (Scrum) Project post mortem (ASD)

X *

X X X *

Evalueren van de voorgaande periode om voor de volgende periode te komen tot verbetering (Fernandes & Almeida, 2010).

Voordelen:

• Het team kan nagaan waar het nog wil verbeteren, geleerde lessen worden besproken voor toekomstige sprints/releases (Drury, Conboy, & Power, 2012).

• Issues die het teamsucces bepalen worden naar voren gehaald (Drury, e.a., 2012).

• Verbeteringen in het werkproces kunnen direct in de volgende iteratie mee worden genomen (Pino e.a., 2010).

Nadelen/uitdagingen:

• Er wordt soms enkel negatief geventileerd, waardoor geen besluiten voor verbetering worden genomen (Drury et al, 2012).

• Tijd vrijmaken voor evaluaties is over het algemeen moeilijk (Koch, 2005)

Refactoring (herschrijven/finetunen (XP) Omkeerbare wijzigingen (DSDM)

X X X **

X X Kansen benutten en zorgdragen voor verbetering (Koch, 2005)

Voordelen:

• Software wordt herschreven waardoor het voldoet aan de wensen van de klant (Inayat, Salim, Marczak, & Daneva, 2015).

• Maakt het mogelijk snel te reageren op wijzingen in de omgeving (Chowdhury & Huda, 2011).

• Zorgt voor minder complexiteit in eerdere fasen van de ontwikkeling (Chowdhury & Huda, 2011).

Nadeel/uitdaging:

• Extra kosten voor het project en extra doorlooptijd (Inayat e.a., 2015).

Continue integratie (XP) Reguliere builds (FDD) Ontwikkelen met behulp van componenten (ASD)

X X X **

X X Aanpassingen worden iedere paar uur toegevoegd.

Voordelen:

• Integratieproblemen worden snel zichtbaar (Koch, 2005).

• Hergebruik van code en componenten (Qureshi & Hussain, 2008).

• Altijd werken in de laatste versie (Koch, 2005).

• Het is gemakkelijk nieuwe componenten toe te voegen wanneer hier om gevraagd wordt (Qureshi & Hussain, 2008).

• Continue kwaliteitscontrole omdat de onderlinge onderdelen samengevoegd moeten worden (Wood, Michaelides, & Thomson, 2013).

• Verwachting is dat de doorlooptijd van het project wordt verkort (Wood, e.a., 2013).

Nadeel/uitdaging:

• Niet aangetroffen op basis van bestudering van de literatuur.

Tabel 2.9: Werkwijzen met betrekking tot het werken in iteraties

* Alleen van toepassing op Scrum

** Alleen van toepassing op XP

21

Werken in teams is een belangrijk aspect van de methoden die op agile gebaseerd zijn. In de teams

worden frequent eindgebruikers betrokken (Chirouze, Cleary, & Mitchell, 2005). Teamwerk draagt

onder andere bij aan verhoogde flexibiliteit (Overhage & Schlauderer, 2012), reageren op

veranderingen (Koch, 2005) en een betere kwaliteit van het eindproduct (Abrahamsson, Conboy, &

Wang, 2009). Uitdagingen van werken in teams liggen voornamelijk op het vlak van

verantwoordelijkheid behouden (Abrahamsson e.a., 2003; Ghosh, 2012) en een goede samenwerking

toepassen (Chirouze e.a., 2005). Tabel 2.10 schetst een uitgebreid overzicht van de voor-en nadelen

per werkwijze die betrekking hebben op werken in teams.

Werkwijzen die betrekking hebben op teams

Fle

xib

ilite

it

Sne

lhe

id

Lean

Lere

n

Re

acti

eve

rmo

gen

Ingevuld op basis van Qumer en Henderson-Sellers (2008a)

Doel Voor- en nadelen/uitdagingen

Scrummeester (Scrum) Adaptive management model (ASD)

X X X X Begeleiden van het team en helpen te voorkomen dat factoren zich voordoen die het werk van het team vertragen (Sutherland, 2014).

Voordelen:

• De scrummeester ontdekt snel problemen die ontstaan in de werkzaamheden voor het team (Hu e.a., 2009).

• Neemt belemmeringen weg (Cervone, 2011; Dybå & Dingsøyr, 2008).

• Ontwikkelaars kunnen zich focussen op wat voor hen belangrijk is in plaats van het oplossen van problemen (Overhage & Schlauderer, 2012). Creëren van een omgeving voor samenwerking (Koch, 2005).

• Goed leiderschap leidt tot goed resultaat (Koch,2005).

• Een leider neemt problemen weg waardoor het team kan doorwerken (Qureshi & Hussain, 2008).

• Er wordt een omgeving gecreëerd waarin aanpassingen en samenwerking leiden tot rust in de oplevering van resultaten (Riehle, 2000).

Nadeel/uitdaging

• De scrummeester/leidinggevende is niet altijd in staat zijn rol goed te begrijpen. De scrummeester/leidinggevende moet zich niet gedragen als projectleider (Blom, 2010).

Scrumteams (Scrum) Functieteams (FDD) Samenwerkende teams (ASD) Gemotiveerde teams (DSDM)

X X X X Het team realiseert de visie van de producteigenaar (Sutherland, 2014)

Voordelen

• Teams zijn zelfsturend waardoor hoge mate van commitment en verantwoordelijkheid ontstaat (Overhage & Schlauderer, 2012).

• Verhoogde flexibiliteit door inzet van (wisselende) teams (Overhage & Schlauderer, 2012).

• Verbeterde samenwerking dan wanneer ieder voor zichzelf werkt (Overhage & Schlauderer, 2012).

Nadelen/uitdagingen:

• Oppervlakkigere reacties dan wanneer zelfstandig wordt gewerkt (Abrahamsson e.a., 2003).

• Beperkte eigenaarschap van het project (Ghosh, 2012).

• Communicatieproblemen wanneer op afstand wordt gewerkt (Ghosh, 2012).

• Te grote teams (meer dan 10 mensen) maken samenwerken moeilijk (Ionel, 2008).

Collectief eigendom (XP)

X X X Iedereen in het team is eigenaar van de code en mag deze aanpassen (Koch, 2005)

Voordeel:

• Draagt bij aan het reageren op veranderingen (Koch, 2005).

• Betere kwaliteit dan bij individueel eigenaarschap (Abrahamsson e.a., 2009). Nadeel/uitdaging:

• Toepassing op onderzoekers is moeilijk omdat deze gewend zijn zelfstandig te werken (Chirouze e.a., 2005).

Individueel eigenaarschap (FDD)

X X X X Code wordt beheerd door de expert (Koch, 2005)

Voordeel:

• Gedetailleerde kennis over de geschreven code (Koch, 2005). Nadeel:

• Single point of failure (Koch, 2005).

22

• De class-owner moet bij elke wijziging betrokken zijn die betrekking heeft op de class waar hij/zij verantwoordelijk voor is (Koch, 2005).

Klant ter plaatse (XP) Actieve gebruikersbetrokkenheid Samenwerking in het team en samenwerking tussen belanghebbend

en (DSDM)

X**

X***

X X Iemand van de klantzijde continu aanwezig die implementatie-besluiten kan nemen indien nodig (Koch, 2005).

Voordeel:

• Zorgt voor focus op hetgeen waaraan gewerkt wordt (Chirouze e.a., 2005).

• Klantbetrokkenheid bij de uitvoering van het project (Chirouze e.a., 2005).

• Beperkt het risico dat het eindproduct niet voldoet aan de wens van de klant (Chirouze e.a., 2005).

Nadeel:

• Kost veel tijd voor de klant/opdrachtgever (Koch, 2005).

Tabel 2.10: Werkwijzen die betrekking hebben op teams

** Alleen van toepassing op XP

***Alleen van toepassing op DSDM

De overige werkwijzen betreffen de toepassing van een metafoor waarmee meer visie op het project

wordt geboden, een simpel ontwerp maken, configuratiemanagement en zichtbaarheid en

voorgangsrapportages (Tabel 2.11).

Overige werkwijzen

Fle

xib

ilite

it

Sne

lhe

id

Lean

Lere

n

Re

acti

eve

rmo

gen

Ingevuld op basis van Qumer en Henderson-Sellers (2008a)

Doel Voor- en nadelen/ uitdagingen

Metafoor (XP)

X X Bieden van een visie voor het project (het eindproduct) (Koch, 2005)

Voordelen

• Doel voor het project is geformuleerd waaraan stakeholders wijzigingen kunnen wegen (Koch, 2005).

• Begrijpelijk voor de klant (Fernandes & Almeida, 2010).

• Draagt bij aan het zien van onderlinge relaties voor de verschillende componenten (Bowers, Sangwan, & Neill, 2007).

Nadeel/uitdaging:

• Wordt veelal niet begrepen omdat de metafoor te globaal is (Bowers, e.a., 2007).

Simpel ontwerp (XP)

X X X X X Realiseren van een zo simpel mogelijk ontwerp en architectuur ( (Fernandes & Almeida, 2010)

Voordelen:

• Er worden geen features opgenomen die overbodig zijn (Koch, 2005).

• Kostenbesparing doordat toekomstige behoeften vooraf moeilijk in te schatten zijn, en nu worden vermeden (Koch, 2005).

• Er wordt geleverd waar om wordt gevraagd (Dingsøyr e.a., 2012). Nadeel/uitdaging:

• Het begrijpen van deze werkwijze vergt de nodige tijd en kennis investering (Koch, 2005).

Configuratiemanagement (FDD)

X X X X Bewaken van de opgeleverde producten (Koch, 2005)

Voordelen:

• Overzicht en orde (Koch, 2005). Nadeel/uitdaging:

• Er is niet gedefinieerd hoe configuratiemanagement kan worden toegepast (Koch, 2005) .

Zichtbaarheid en voortgangsrapportage (FDD)

X X X X Tonen hoever het project is gevorderd met behulp van voortgangsrapportages (Koch, 2005)

Voordeel

• Er wordt in percentages weergegeven hoever het project is gevorderd. (Koch, 2005).

Nadeel/uitdaging: Niet aangetroffen in de literatuur.

Tabel 2.11: Overige werkwijzen

23

2.8.3 Werkwijzen in relatie tot agile-waarden

Naast een bijdrage aan agile-kenmerken, dragen de werkwijzen bij aan agile-waarden vanuit onder

andere het Agile Manifest. Qumer en Henderson-Sellers bespreken welke werkwijzen een bijdrage

leveren aan de verschillende agile-waarden (Qumer & Henderson-Sellers, 2008a). In Tabel 2.12 is een

overzicht opgenomen van de werkwijzen die bijdragen aan de verschillende agile-waarden (met

uitzondering van de methoden die direct zijn bedoeld voor softwareontwikkeling). Aan alle waarden

wordt door de werkwijzen voldaan, met uitzondering van het proces kosteneffectief houden.

Tabel 2.12: Werkwijzen en de bijdrage aan agile-waarden

Noot. Aangepast naar “An Evaluation of the Degree of Agility in Six Agile Methods and its Applicability for method

engineering”, Qumer, A., Henderson-Sellers, B., 2008, Information and Software Technology, 50, P. 287

2.9 Samenvatting belangrijkste kenmerken agile

De paragrafen 2.6 tot en met 2.8 bieden inzicht in de belangrijkste kenmerken van agile, in hoeverre

agile-werkwijzen hieraan voldoen en de voor- en nadelen van de verschillende agile-werkwijzen. De

belangrijkste kenmerken van agile zijn flexibiliteit, snelheid, lean, leren, verandervermogen, iteratief

werken en een veranderingsgezinde cultuur. De verschillende agile-werkwijzen geven gezamenlijk

invulling aan de kenmerken. Om aan alle kenmerken te voldoen zal daarom een combinatie van

werkwijzen dienen te worden gehanteerd. Verschillende voor- en nadelen van de werkwijzen

Agile-waarden XP Scrum FDD ASD DSDM

Mensen en hun onderlinge interactie boven processen en hulpmiddelen

⏺ planningsspel; ⏺ collectief eigendom; ⏺ klant ter plaatse; ⏺ in tweetallen programmeren.

⏺ scrumteams; ⏺ sprintplanning;

⏺ dagelijkse Scrum.

⏺ individueel eigenaarschap; ⏺ functie teams.

⏺ adaptief managementmodel; ⏺ samenwerkende teams; ⏺ gezamenlijke applicatieontwikkeling; ⏺ klant focusgroep reviews

⏺ actieve gebruikersbetrokkenheid; ⏺ gemotiveerde teams; ⏺ samenwerking met en tussen belanghebbenden.

Werkend/goed resultaat boven allesomvattende documentatie

⏺ kleine releases; ⏺ continue integratie.

⏺ sprint; ⏺ sprintevaluatie.

⏺ ontwikkeling op basis van functies; ⏺ reguliere builds; ⏺ zichtbaarheid en voortgangsrapportage;

⏺ ontwikkelen met behulp van componenten; ⏺ project post mortem.

⏺ regelmatige levering van producten; ⏺ iteratieve en incrementele ontwikkeling.

Samenwerking met de klant boven onderhandelingen

⏺ planningsspel; ⏺ klant ter plaatse.

⏺ product backlog; ⏺ sprintplanning.

- ⏺ adaptief managementmodel; ⏺ gezamenlijke applicatieontwikkeling.

⏺ samenwerking met en tussen belanghebbenden; ⏺ eisen zijn in de basis op hoog niveau.

Inspelen op verandering boven het volgen van een plan

⏺ metafoor; ⏺ simpel ontwerp.

⏺ sprintevaluatie; ⏺ sprintplanning.

⏺ configuratie- management.

⏺ adaptieve cyclusplanning; ⏺ klant focusgroep reviews.

⏺ omkeerbare wijzigingen.

Het proces agile houden

- ⏺ sprintevaluatie; ⏺ dagelijkse scrum.

⏺ zichtbaarheid en voortgangsrapportage.

⏺ project post mortem -

Het proces kosteneffectief houden

- - - - -

24

worden onderkend. Voordelen van de agile-werkwijzen zijn onder andere kunnen reageren op

veranderingen, voldoen aan de wens van de opdrachtgever en een betere kwaliteit leveren. Nadelen

en uitdagingen van de agile-werkwijzen bevinden zich onder andere op het vlak van medewerkers

motiveren, opdrachten binnen de doorlooptijd afronden en de methoden toepassen.

25

3 Analyse van auditmethodologie

3.1 Inleiding

In hoofdstuk 2 zijn op basis van een literatuurstudie de belangrijkste kenmerken van

auditmethodologie en agile uiteengezet. Dit hoofdstuk bevat een analyse van auditmethodologie aan

de hand van de belangrijkste kenmerken van agile. Het doel van de analyse, evenals van het analyse-

instrument dat hiervoor is toegepast, is beschreven in paragraaf 3.2. Paragraaf 3.3 beschrijft de

gehanteerde werkwijze voor de analyse. De resultaten van de analyse, de beperkingen van

auditmethodologie vanuit het perspectief van agile, zijn opgenomen in paragraaf 3.4. Een

samenvatting van de beperkingen is opgenomen in paragraaf 3.5.

3.2 Doel van de analyse en het analyse-instrument

De analyse van auditmethodologie aan de hand van kenmerken van agile heeft als doel in kaart

brengen van agile-kenmerken waaraan auditmethodologie nog niet voldoet. Agile-werkwijzen die

invulling geven aan de agile-kenmerken waaraan auditmethodologie niet voldoet, vormen vervolgens

potentieel een verrijking op auditmethodologie (hoofdstuk 5). De analyse van auditmethodologie

met behulp van het 4-DAT-model betreft een kwalitatieve en kwantitatieve analyse van de literatuur.

Dit instrument betreft een gevalideerd onderzoeksinstrument om te bepalen in hoeverre methoden

voldoen aan agile-kenmeren (paragraaf 2.7).

3.3 Werkwijze tijdens de analyse

Per dimensie van het 4-DAT-model is auditmethodologie geanalyseerd. Dimensie 1 van het 4-DAT-

model bestaat uit criteria ten aanzien van de toepassingsmethode. In het kader van dit onderzoek is

ervoor gekozen de stijl van coderen en dataverkrijgingsmethode niet te behandelen. Deze twee

criteria richten zich specifiek op softwareontwikkeling en niet op andere toepassingen, en worden

daarom als niet-relevant beschouwd voor auditmethodologie. Op basis van een kwalitatieve analyse

van de literatuur over auditmethodologie is nagegaan welke elementen uit auditmethodologie

voldoen aan criteria uit dimensie 1. Deze uitkomsten van de analyse zijn opgenomen in bijlage 3.

26

De analyse van dimensie 2 betreft een analyse waarbij in kaart is gebracht in hoeverre

auditmethodologie voldoet aan de belangrijkste kenmerken van agile. In uitzondering op de andere

dimensies betreft deze analyse een kwalitatieve analyse van de literatuur (bijlage 4), gevolgd door

een kwantitatieve analyse (bijlage 5). De kwantitatieve analyse is uitgevoerd door waarden toe te

kennen aan de fasen en werkwijzen van auditmethodologie. Voor ieder kenmerk waaraan een fase of

werkwijze uit auditmethodologie voldoet, is een 1 toegekend. Voor ieder kenmerk waaraan een fase

of werkwijze niet aan voldoet, is een 0 toegekend. Voor de berekening van de mate van agile van de

fasen en werkwijzen zijn de volgende formules gehanteerd:

𝑻𝒐𝒕𝒂𝒂𝒍 𝒇𝒂𝒔𝒆𝒏 = 𝒔𝒄𝒐𝒓𝒆 (𝒇𝒂𝒔𝒆𝟏 + 𝒇𝒂𝒔𝒆𝟐 = ⋯ … + 𝒇𝒂𝒔𝒆𝒏)

𝑴𝒂𝒕𝒆 𝑨𝒈𝒊𝒍𝒆 𝒇𝒂𝒔𝒆𝒏 =𝑻𝒐𝒕𝒂𝒂𝒍 𝒇𝒂𝒔𝒆𝒏

𝒏 ∗ 𝟓

𝑻𝒐𝒕𝒂𝒂𝒍 𝒘𝒆𝒓𝒌𝒘𝒊𝒋𝒛𝒆𝒏 = 𝒔𝒄𝒐𝒓𝒆 (𝒘𝒆𝒓𝒌𝒘𝒊𝒋𝒛𝒆𝒏𝟏 + 𝒘𝒆𝒓𝒌𝒘𝒊𝒋𝒛𝒆𝟐 + ⋯ + 𝒘𝒆𝒓𝒌𝒘𝒊𝒋𝒛𝒆𝒏)

𝑴𝒂𝒕𝒆 𝑨𝒈𝒊𝒍𝒆 𝒘𝒆𝒓𝒌𝒘𝒊𝒋𝒛𝒆𝒏 =𝑻𝒐𝒕𝒂𝒂𝒍 𝒘𝒆𝒓𝒌𝒘𝒊𝒋𝒛𝒆𝒏

𝒏 ∗ 𝟓

Voor beide formules geldt dat 𝑛 het totaalaantal fasen of werkwijzen is en 5 is gehanteerd vanwege het aantal werkwijzen.

Om auditmethodologie agile te mogen noemen moet een minimale mathematische score tussen 0,5

en 0,6 zijn behaald (Qumer & Henderson-Sellers, 2006).

Voor de analyse van agile-waarden (dimensie 3) en processen (dimensie 4) heeft een kwalitatieve

analyse van de literatuur van auditmethodologie plaatsgevonden. Als kenmerken van

auditmethodologie in verband konden worden gebracht met de criteria uit het 4-DAT-model, zijn

deze opgenomen als invulling voor de verschillende criteria. Uitkomsten voor de agile waarden zijn

opgenomen in bijlage 6, uitkomsten voor de processen in bijlage 7.

3.4 Resultaten analyse auditmethodologie

De analyse van auditmethodologie per dimensie van het 4-DAT-model heeft in kaart gebracht aan

welke kenmerken van agile auditmethodologie voldoet en aan welke niet. De kenmerken waaraan

niet wordt voldaan zijn samengevat in Tabel 3.1. Deze kenmerken vormen mogelijk een verrijking

voor auditmethodologie.

27

Beperkingen auditmethodologie

Toelichting

Dimensie 1 (Toepassingsmethode) Scope

3. Ontwikkelmethode Clusteren van inhoudelijke activiteiten in logische stappen van tijd, projectfasen in plaats van werken in iteraties.

Dimensie 2 (Aanpassing karakteristieken) Agile Kenmerken

1. Flexibiliteit In beperkte tot gemiddelde mate aanwezig, score 6 uit 15.

2. Snelheid Vrijwel niet aanwezig, score 3 uit 15.

3. Mate van lean In beperkte tot gemiddelde mate aanwezig, score 6 uit 15.

5. Reactievermogen In lage mate aanwezig, score 4 uit 15.

Dimensie 3 (Agile-waarden karakteristieken) Agile-waarden

1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier aandacht aan besteedt.

2. Werkend/goed resultaat boven allesomvattende documentatie

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.

4. Inspelen op verandering boven het volgen van een plan

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.

5. Het proces agile houden Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit eenvoudig blijft of uitmunten goed wordt uitgevoerd.

Tabel 3.1: Beperkingen auditmethodologie vanuit agile-perspectief op basis van het 4-DAT-model

Uit de resultaten blijkt dat auditmethodologie relatief laag tot gemiddeld scoort op de kenmerken

flexibiliteit, snelheid, lean en reactievermogen. De score op kenmerken van agile is 0,333 voor de

fasen en 0,38667 voor de werkwijzen (bijlage 5). Op basis van de mathematische berekening van de

mate van agile kan worden gesteld dat auditmethodologie geen agile-methode mag worden

genoemd. Dat auditmethodologie niet voldoet aan de kenmerken van agile wordt onder andere

veroorzaakt door de gefaseerde werkwijze (dimensie 1). Bij deze werkwijze worden activiteiten

chronologisch uitgevoerd. Wanneer agile wordt gewerkt, vindt dit vrijwel altijd plaats door gebruik te

maken van korte iteraties. Dit zorgt er veelal voor dat werkwijzen kunnen worden toegepast die de

mogelijkheid bieden snelheid, flexibiliteit, reactievermogen en lean te creëren (Qumer & Henderson-

Sellers, 2008a). De resultaten uit deze analyse sluiten aan bij hoofdstuk 2, waarin wordt gesproken

over de beperkte mate van flexibiliteit in auditmethodologie.

Naast een lage mathematische score op de kenmerken van agile blijkt, uit de analyse van

auditmethodologie, dat er geen werkwijzen zijn binnen auditmethodologie die expliciet ingaan op de

agile-waarden.

3.5 Samenvatting

Dit hoofdstuk biedt inzicht in hoeverre auditmethodologie voldoet aan de belangrijkste kenmerken

van agile. Zowel op het vlak van de agile-kenmerken als vanuit de agile-waarden, en door middel van

werken in Iteraties, lijkt het mogelijk dat auditmethodologie wordt verrijkt met agile. Vanuit het

perspectief van agile zijn in de dimensies 1, 2 en 3 vanuit het 4-DAT-model beperkingen van

auditmethodologie geconstateerd.

28

4 Expertvalidatie analyse auditmethodologie

4.1 Inleiding

In hoofdstuk 3 is de analyse van auditmethodologie opgenomen. Dit hoofdstuk betreft een validatie

van deze analyse. Paragraaf 4.2 gaat in op de onderzoeksmethode. In paragraaf 4.3 komen de

resultaten van de validatie aan bod.

4.2 Onderzoeksmethode

4.2.1 Type onderzoek en doel van het onderzoek

Voor de validatie van de analyse van auditmethodologie heeft afstemming plaatsgevonden met een

expert op het gebied van auditmethodologie, de expert. De afstemming met de expert had tot doel

bepalen in hoeverre de invulling van het 4-DAT-model, vanuit de theorie over auditmethodologie,

herkend wordt door de expert. Afstemming heeft plaatsgevonden aan de hand van de resultaten uit

de analyse in bijlagen 3 tot en met 7.

4.2.2 Opzet van de validatie van auditmethodologie

De afstemming met de expert heeft zowel per e-mail als telefonisch plaatsgevonden. Allereerst is per

e-mail contact gezocht, en zijn de volgende drie vragen aan de expert gesteld:

1. Zijn de belangrijkste kenmerken van auditmethodologie en de beheersing van een audit

weergegeven, zoals deze zijn bedoeld in het boek ‘management control auditing: bijdragen

aan doelrealisatie en verbetering’?

2. Staat u achter de argumentatie die is toegevoegd in de tabellen en tekst, waarbij

auditmethodologie en beheersing van een audit wordt geconfronteerd met agile?

3. Zo niet, wat zijn uw argumenten voor een andere invulling?

Bij deze vragen zijn de (concept)teksten uit bijlagen 3 tot en met 7 meegezonden aan de expert.

Daarnaast is een toelichting gegeven over het 4-DAT-model. Na tekstuele terugkoppeling door de

expert heeft mondeling een nadere toelichting plaatsgevonden. Deze toelichting is nader verwerkt

bij de schriftelijke terugkoppeling (bijlage 8). De resultaten van de afstemming zijn verwerkt in

paragraaf 4.3. Per dimensie van het 4-DAT-model is aangegeven welke elementen door de expert

volledig, gedeeltelijk en niet zijn herkend. Aanvulling door de expert is in de toelichting bij de

29

tabellen opgenomen. De aangedragen aanpassingen zijn een op een overgenomen. Het resultaat

betreft een overzicht van de beperkingen van auditmethodologie vanuit het perspectief van agile.

4.3 Resultaten uit de afstemming met de expert

Uit de afstemming met de expert zijn zowel herkenning als aanvullingen naar voren gekomen. Deze

resultaten zijn in deze paragraaf per dimensie beschreven.

4.3.1 Auditmethodologie bezien vanuit de toepassingsmethode (dimensie 1)

De expert herkent en erkent de invulling van de onderdelen 2 tot en met 6 ten aanzien van dimensie

1 (Tabel 4.1). Ten aanzien van criterium 1, omvang van het project, is het volgens de expert van

belang om, naast de scopeafbakening, focus aan te brengen in de opdracht. Daarbij geeft de expert

aan dat de omvang van een audit beperkt moet zijn.

4.3.2 Auditmethodologie bezien vanuit agile-kenmerken (dimensie 2)

Over het algemeen herkent en erkent de expert de resultaten van de analyse voor dimensie 2 (Tabel

4.2). Echter, de expert benoemt aanvullingen. De expert benadrukt dat de voorbereidingsfase in

auditmethodologie ongeveer 50 procent van het onderzoek in beslag neemt; in dit gedeelte van het

onderzoek worden alle keuzes vastgelegd. Volgens de expert dient uitvoering van de audit direct na

vaststelling van het plan van aanpak plaats te vinden. Daarbij is het tevens van belang te werken met

een korte doorlooptijd. De expert herkent en erkent dat in de methodologie, die door hem en zijn

collega’s is opgesteld, onvoldoende aanwijzingen zijn opgenomen om ervoor te zorgen dat snel

resultaat wordt opgeleverd. Wanneer veel ruimte wordt genomen voor de uitvoering van de audit,

bestaat de kans dat veranderingen zich voordoen waardoor het eindresultaat niet meer relevant is.

Criterium Auditmethodologie en beheersing Herkenning door expert

1. Omvang van het project

Scopeafbakening cruciaal, niet gespecificeerd hoeveel auditobjecten kunnen worden onderzocht of hoe groot een audit mag zijn.

Deels

2. Omvang van het team

Niet gespecificeerd. Ja

3. Ontwikkelmethode Clusteren van inhoudelijke activiteiten in logische stappen van tijd, projectfasen. Ja

4. Technologische omgeving

Niet gespecificeerd. Ja

5. Fysieke omgeving Niet gespecificeerd. Ja

6. Organisatiecultuur Niet gespecificeerd. Ja

Tabel 4.1: Resultaten expertvalidatie dimensie 1

30

Het tussentijds wijzigingen van de methodes die worden toegepast is volgens de expert ‘second

best’, en moet worden voorkomen.

Kenmerk Resultaat Herkenning door de expert

1. Flexibiliteit In beperkte tot gemiddelde mate aanwezig, score 6 uit 15. Ja

2. Snelheid Vrijwel niet aanwezig, score 3 uit 15. Ja

3. Mate van lean In beperkte tot gemiddelde mate aanwezig, score 6 uit 15. Ja

4. Leren In hoge mate aanwezig, score 10 uit 16 Ja

5. Reactievermogen In lage mate aanwezig, score 4 uit 15. Ja

Tabel 4.2: Resultaten expertvalidatie dimensie 2

Een goed vooronderzoek zorgt er volgens de expert voor dat het plan van aanpak is aangepast op de

reeds veranderde omgeving; hierdoor leidt de aanpak tot een goed resultaat. De expert erkent en

herkent daarmee het afwijkende resultaat bij de voorbereidingsfase, waarin nog wel sprake is van

flexibiliteit en verandervermogen. De expert geeft aan dat, hoewel voortgangsrapportages ervoor

zorgen dat de opdrachtgever betrokken blijft, in de praktijk voortgangsrapportages worden

toegepast. Dat gebeurt omdat het onderzoek onvoldoende relevante resultaten oplevert, en de

doorlooptijd te lang is. Hierbij legt hij opnieuw de nadruk op het feit dat de uitvoering van het

onderzoek een kortere doorlooptijd moet krijgen.

4.3.3 Auditmethodologie bezien vanuit agile-waarden (dimensie 3)

De expert erkent en herkent de resultaten ten aanzien van mensen en onderlinge interactie boven

processen en hulpmiddelen (Tabel 4.3). De andere resultaten behoeven volgens de expert aanvulling.

Agile-waarden karakteristieken Auditmethodologie en beheersing Herkenning door de expert

1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier aandacht aan besteedt.

Ja

2. Werkend/goed resultaat boven allesomvattende documentatie

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.

Nee

3. Samenwerking met de klant boven onderhandelingen

1. Hoor en wederhoor. Resultaten worden teruggelegd en besproken met de auditee/opdrachtgever. 2. Voortgangsrapportage. De opdrachtgever wordt gestimuleerd om betrokken te blijven bij de opdracht.

Deels

4. Inspelen op verandering boven het volgen van een plan

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.

Nee

5. Het proces agile houden Evaluatie door het team en evaluatie door de opdrachtgever zijn expliciet bedoeld om na te gaan wat er in een volgende opdracht beter kan. Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit eenvoudig blijft of uitmunten goed wordt uitgevoerd.

Deels

6. Het proces kosteneffectief houden

Kosten-batenafweging voor inzet capaciteit. In het auditontwerp wordt nagedacht welke auditors worden ingezet om tot een gedegen resultaat te komen. Voortgangsbewaking. Tijdens de audit wordt nagegaan of nog steeds conform plan wordt gewerkt. Daarnaast wordt waar nodig bijgestuurd.

Deels

Tabel 4.3: Resultaten expertvalidatie dimensie 3

Een werkend resultaat, samenwerking met de klant, inspelen op verandering en het proces agile

houden worden volgens de expert vormgegeven in het vooronderzoek. Het werkend resultaat

31

betreft zorgen voor een relevant resultaat, een van de doelstellingen van auditmethodologie.

Samenwerking met de klant is in het vooronderzoek, volgens de expert, om deze reden van belang.

Het vooronderzoek is volgens de expert tevens de wijze om in te spelen op verandering boven het

volgen van het originele auditplan. Uit het vooronderzoek kan blijken dat de opdracht, zoals eerder

globaal is vormgegeven, niet meer passend is in de huidige situatie. Daarnaast kunnen wensen van

de opdrachtgever zijn veranderd, of kunnen processen zijn gewijzigd. In het vooronderzoek wordt

nagegaan welke elementen relevant zijn voor de opdracht. In het vooronderzoek is het van belang

dat een opdracht zo eenvoudig mogelijk wordt gehouden, aldus de expert. Dit duidt er volgens de

expert op dat er in het vooronderzoek wel degelijk over moet worden nagedacht dat het proces agile

wordt gehouden.

Ten aanzien van het proces kosteneffectief houden, ontbreekt volgens de expert de

verzameling van data en criteria scoren. Door een bronnenmatrix toe te passen waarin veel-op-veel-

relaties zijn opgenomen kan met weinig bronnen tot een goed resultaat worden gekomen, aldus de

expert.

4.3.4 Auditmethodologie bezien vanuit procesperspectief (dimensie 4)

Ten aanzien van de dimensie waarin de beheersing van het proces centraal staat, zijn door de expert

geen opmerkingen gegeven. De verschillende elementen zijn allen door de expert herkend en

erkend.

Processen Auditmethodologie Herkenning door de expert

1. Uitvoeren De levenscyclus van de audit bestaat uit de volgende (belangrijkste) werkwijzen:

• risicoanalyse voor selectie opdrachten;

• contextanalyse voor bepalen type audit en haalbaarheid van de opdracht;

• auditontwerp (conceptueel en technisch);

• veldwerk voor verzamelen van data;

• scoren van criteria;

• hoor en wederhoor;

• rapporteren;

• evalueren.

Kwaliteitscontrole wordt voornamelijk vormgegeven in de voortgangsbewaking op kwaliteit.

Ja

2. Projectmanagement proces

Het project managen komt voornamelijk naar voren in de volgende werkwijzen:

• auditontwerp (technisch);

• voortgangsbewaking.

Ja

3. Ondersteunende processen/configuratie- management

Informatiebeheersing zorgt voor het borgen van de traceerbaarheid en reproduceerbaarheid van de audit.

Ja

4. Procesmanagement proces

De evaluatie met de opdrachtgever en de evaluatie van het team dragen bij aan verbetering van het auditproces.

Ja

Tabel 4.4: Resultaten expertvalidatie dimensie 4

32

4.3.5 Beperkingen auditmethodologie vanuit agile-perspectief

De beperkingen die zijn geconstateerd vanuit de analyse van auditmethodologie zijn door middel van

voorgaande resultaten gevalideerd. De resultaten uit de validatie leiden tot een overzicht met

wijzigingen. Dit overzicht is weergegeven in Tabel 4.5.

Tabel 4.5: Overzicht met wijzigingen na validatie

De expert heeft, gedurende de afstemming, op meerdere vlakken aangegeven dat het

vooronderzoek (de context- en technische analyse) nog onvoldoende naar voren komt in de analyse

door middel van het 4-DAT-model. Auditmethodologie legt volgens de expert juist de nadruk op dit

vooronderzoek. Het vooronderzoek is van belang om een relevant auditresultaat te verkrijgen. De

expert onderkent dat wat hij heeft aangevuld in de afstemming, niet altijd voldoende expliciet staat

benoemd in de beschrijving van auditmethodologie. De door de expert voorgestelde wijzigingen

lijken aannemelijk. De voorgestelde wijzigingen zijn derhalve aangenomen. Dit resulteert in een

Elementen 4-DAT-model Beperkingen voor validatie Voorgestelde wijzigingen

Dimensie 1 (Toepassingsmethode) Scope

3. Ontwikkelmethode Clusteren van inhoudelijke activiteiten in logische stappen van tijd, projectfasen in plaats van werken in iteraties.

Geen

Dimensie 2 (Aanpassing karakteristieken) Agile-kenmerken

1. Flexibiliteit In beperkte tot gemiddelde mate aanwezig, score 6 uit 15.

Geen

2. Snelheid Vrijwel niet aanwezig, score 3 uit 15. Geen

3. Mate van lean In beperkte tot gemiddelde mate aanwezig, score 6 uit 15.

Geen

5. Reactievermogen In lage mate aanwezig, score 4 uit 15. Geen

Dimensie 3 (Agile-waarden karakteristieken) Agile-waarden

1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier aandacht aan besteedt.

Geen

2. Werkend/goed resultaat boven allesomvattende documentatie

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.

Er zijn geen beperkingen op dit vlak. In de contextanalyse wordt aandacht besteed aan de relevantie van het onderzoek. Wanneer het onderzoek relevant is levert dit een werkend resultaat op.

4. Inspelen op verandering boven het volgen van een plan

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.

Tijdens de audit zelf is (enkel van toepassing bij langlopende opdrachten) weinig mogelijkheid tot inspelen op veranderingen. Dit betreft een beperking. Voorafgaand aan iedere audit wordt aandacht besteed aan veranderingen binnen de context- en technische analyse. Hieruit komen veranderingen naar voren ten opzichte van het auditjaarplan. Deze worden meegenomen in het auditontwerp. Voor audits met een korte doorlooptijd is daarmee wel mogelijkheid in te spelen op veranderingen.

5. Het proces agile houden Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit eenvoudig blijft of uitmuntend wordt uitgevoerd.

Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit uitmuntend wordt uitgevoerd. Wel zijn er werkwijzen die ervoor zorgen dat de audit eenvoudig blijft. De evaluatie door het team en evaluatie door de opdrachtgever zijn expliciet bedoeld om na te gaan wat in een volgende opdracht beter kan. In het vooronderzoek is het daarnaast van belang te werken aan de opzet van een eenvoudige opdracht. Vooronderzoek uitvoeren ondersteunt hierbij.

33

overzicht van beperkingen van auditmethodologie vanuit agile-perspectief. Dit overzicht is

opgenomen in Tabel 4.6.

Elementen 4-DAT-model Tekortkoming na expertvalidatie

Dimensie 1 (Toepassingsmethode) Scope

3. Ontwikkelmethode Clusteren van inhoudelijke activiteiten in logische stappen van tijd, projectfasen in plaats van werken in iteraties.

Dimensie 2 (Aanpassing karakteristieken) Agile-kenmerken

1. Flexibiliteit In beperkte tot gemiddelde mate aanwezig, score 6 uit 15.

2. Snelheid Vrijwel niet aanwezig, score 3 uit 15.

3. Mate van lean In beperkte tot gemiddelde mate aanwezig, score 6 uit 15.

5. Reactievermogen In lage mate aanwezig, score 4 uit 15.

Dimensie 3 (Agile-waarden karakteristieken) Agile-waarden

1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen

Er is geen specifieke werkwijze binnen auditmethodologie die hier aandacht aan besteedt.

4. Inspelen op verandering boven het volgen van een plan

Tijdens de audit zelf is er (enkel van toepassing bij langlopende opdrachten) weinig mogelijkheid tot het inspelen op veranderingen.

5. Het proces agile houden Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit uitmuntend wordt uitgevoerd.

Tabel 4.6: Beperkingen auditmethodologie vanuit agile-perspectief na expertvalidatie

4.4 Samenvatting

Door middel van schriftelijke en telefonische afstemming heeft expertvalidatie plaatsgevonden van

de uitgevoerde analyse van de auditmethodologie. De expertvalidatie heeft in kaart gebracht dat

voor drie agile-waarden auditmethodologie minder beperkingen kent dan op basis van de theorie

werd aangenomen. Een werkend resultaat boven alles omvattende documentatie wordt in

auditmethodologie afgedekt door middel van de contextanalyse, evenals inspelen op veranderingen

(alleen voor kortlopende audits). Het proces eenvoudig houden (onderdeel van het proces agile

houden) wordt afgedekt door middel van het vooronderzoek en het evalueren van een audit.

De overige beperkingen van auditmethodologie, in het perspectief van agile-kenmerken, worden wel

door de expert herkend en erkend.

34

5 Optimalisatie auditmethodologie met werkwijzen uit methoden gebaseerd op agile

5.1 Inleiding

In hoofdstuk 4 zijn, op basis van expertvalidatie, de beperkingen van auditmethodologie vanuit het

perspectief van agile gevalideerd. In dit hoofdstuk staat centraal welke agile-werkwijzen invulling

kunnen bieden voor de geconstateerde beperkingen. Paragraaf 5.2 licht het doel toe van de analyse

en de methode voor de verwerking van de resultaten. In paragraaf 5.3 staan de resultaten uit de

analyse centraal. Paragraaf 5.4 vat samen welke agile-werkwijzen een potentiële verrijking vormen

voor auditmethodologie.

5.2 Doel van de analyse en verwerking van de resultaten

Om in kaart te brengen welke werkwijzen uit methoden die op agile gebaseerd zijn een verrijking

vormen voor auditmethodologie, heeft een kwalitatieve analyse van de literatuur plaatsgevonden.

Met behulp van literatuur over agile, zoals omschreven in het theoretisch kader (hoofdstuk 2), is

geanalyseerd welke agile-werkwijzen mogelijk invulling geven aan de beperkingen van

auditmethodologie vanuit agile-perspectief.

Voor ieder van de vijf methoden die op agile gebaseerd zijn, zijn de voor- en nadelen in kaart

gebracht en is vastgesteld aan welke kenmerken van agile de werkwijzen invulling geven. Per

werkwijze is vervolgens nagegaan of zij:

• niet voorkomen binnen auditmethodologie;

• een bijdrage leveren aan de doelstelling van auditmethodologie;

• invulling geven aan kenmerken van agile waar auditmethodologie niet aan voldoet.

Bij een positieve uitkomst voor iedere analyse is de werkwijze in concept als verrijkend voor

auditmethodologie aangemerkt. De uitwerking van de analyse is opgenomen in bijlage 9.

5.3 Agile-werkwijzen die auditmethodologie mogelijk verrijken

Op basis van de uitgevoerde analyse vormen de agile-werkwijzen in Tabel 5.1 potentieel een

verrijking van auditmethodologie. Van deze werkwijzen wordt, op basis van de literatuurstudie,

aangenomen dat zij bijdragen aan de doelstelling van auditmethodologie.

35

Beperking auditmethodologie

Verrijkende agile-werkwijze Situaties waarin de werkwijzen verrijkend zijn

Gefaseerde methode (chronologisch) in plaats van iteratief

Iteratief werken (werken in sprints/korte releases/regelmatige levering van producten (zie hieronder)).

Opdrachten met langere doorlooptijd en/of omvangrijke scope.

Beperkte tot gemiddelde mate van flexibiliteit

• product-backlog opstellen en de opdrachtgever betrekken bij de prioritering van uitvoering en de mogelijkheid bieden normen toe te voegen tijdens de opdracht;

• dagelijkse scrum;

• sprint/korte releases/regelmatige levering van producten;

• sprintplanning/planningsspel/adaptieve cyclusplanning;

• sprintdemo/klantfocusgroep reviews;

• sprintevaluatie/project post mortem;

• scrummeester (wegnemen van problemen door de leidinggevende rol)/adaptief managementmodel.

Opdrachten met langere doorlooptijd en/of omvangrijke scope.

Lage mate van snelheid

Lage mate van reactievermogen

Zowel toepasbaar bij opdracht met korte als lange doorlooptijd en toepasbaar bij opdrachten met een beperkte en omvangrijke scope

Beperkte tot gemiddelde mate van lean

- -

Geen werkwijzen die expliciet ervoor zorgen dat mensen en hun onderlinge interactie boven processen en hulpmiddelen gaan

• dagelijkse scrum;

• sprintplanning/planningsspel/adaptieve cyclusplanning;

• sprintdemo/ klantfocusgroep reviews;

• scrummeester (wegnemen van problemen door de leidinggevende rol)/adaptief managementmodel;

Opdrachten met langere doorlooptijd en/of omvangrijke scope.

Zowel toepasbaar bij opdracht met korte als lange doorlooptijd en toepasbaar bij opdrachten met een beperkte en omvangrijke scope

Tijdens de audit zelf is (enkel van toepassing bij langlopende opdrachten) weinig mogelijkheid tot inspelen op veranderingen.

• sprintplanning/planningsspel/adaptieve cyclusplanning;

• sprintevaluatie/project post mortem;

• sprintdemo/klantfocusgroep reviews;

Opdrachten met langere doorlooptijd en/of omvangrijke scope.

Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit uitmuntend wordt uitgevoerd.

-

Tabel 5.1 Werkwijzen die potentieel auditmethodologie verrijken

5.4 Samenvatting

Dit hoofdstuk belicht welke agile-werkwijzen een verrijking vormen voor auditmethodologie. Iteratief

werken en zeven werkwijzen hanteren, waaronder een sprintplanning toepassen, evaluaties,

demonstraties en een dagelijkse scrum, vormen potentieel een verrijking op auditmethodologie. De

agile-werkwijzen zijn als verrijkend geselecteerd door onder andere de voor- en nadelen te

analyseren, en door te bepalen in hoeverre de agile-werkwijzen een bijdrage leveren aan de

doelstelling van auditmethodologie.

36

6 Praktijkonderzoek in de vorm van expertvalidatie

6.1 Inleiding

Dit hoofdstuk geeft inzicht in de opzet en de resultaten van het empirisch onderzoek. De uitgevoerde

Delphi-studie had tot doel nagaan in hoeverre de agile-werkwijzen, die vanuit de theorie zijn

aangemerkt als verrijkend voor auditmethodologie (paragraaf 5.3), herkend en erkend worden door

experts in het agile- en auditvakgebied. Op basis van de beperkingen van auditmethodologie vanuit

agile perspectief zijn de agile-werkwijzen ‘backlog’, ‘dagelijkse scrum’, ‘sprint’, ‘sprintplanning’,

‘sprintdemo’, ‘sprintevaluatie’ en ‘scrummeester’ als potentieel verrijkend voor auditmethodologie

aangemerkt.

De aanpak van de Delphi-studie en de wijze waarop de resultaten zijn verwerkt zijn toegelicht in

paragraaf 6.2. Paragraaf 6.3 bevat de resultaten van de afgenomen interviews, en paragraaf 6.4 gaat

in op de resultaten uit vragenlijsten. In paragraaf 6.5 staat de analyse van de resultaten centraal,

resulterend in een overzicht met werkwijzen die verrijkend zijn voor auditmethodologie. Het

hoofdstuk sluit af met een korte samenvatting in paragraaf 6.6.

6.2 Aanpak Delphi-studie en verwerking van de resultaten

In het onderzoek is gekozen een Delphi-studie uit te voeren. Een Delphi-studie verschaft inzicht in de

mening van experts door middel van herhaald bevragen consensus te zoeken.

Voor de uitvoering van de Delphi-studie zijn negen experts benaderd per e-mail (bijlage 2). In de

uitnodiging is de experts gevraagd mee te werken het onderzoek. Tevens is aangegeven welke

verwachting er waren ten aanzien van de medewerking van de experts. De uitnodiging is opgenomen

in bijlage 10. Alle negen experts hebben meegewerkt aan ronde 1 van de Delphi-studie, de interviews

houden. Een expert heeft ervoor gekozen in ronde 2 de vragenlijst niet aan te leveren (bijlage 11).

De uitgevoerde Delphi-studie bestond uit semigestructureerde interviews, waarbij iedere expert

separaat is gesproken. De vragenlijst is weergegeven in bijlage 12. Voor de herkenbaarheid van de

agile-werkwijzen is ervoor gekozen deze te benoemen algemene termen. In Tabel 6.1 is een overzicht

opgenomen hoe de werkwijzen aan elkaar kunnen worden gelinkt.

37

Term vanuit literatuurstudie Term toegepast in empirisch onderzoek

Productbacklog opstellen en de opdrachtgever betrekken bij de prioritering van uitvoering en de mogelijkheid bieden normen toe te voegen tijdens de opdracht.

Backlog per audit

Dagelijkse scrum Dagstart

Sprint/korte releases/regelmatige levering van producten Werken in iteraties

Sprintplanning/ planningsspel/adaptieve cyclusplanning Planningsspel

Sprintdemo/ klantfocusgroep reviews Retro met de klant

Sprintevaluatie/project post mortem Retro met het team

Scrummeester (wegnemen van problemen door de leidinggevende rol)/ adaptief managementmodel

Scrummeester

Tabel 6.1: Aangepaste termen ten behoeve van herkenbaarheid

In de periode tussen 29 maart 2018 en 9 april 2018 hebben de interviews met de negen

geselecteerde experts plaatsgevonden. Van deze interviews is verslaglegging gemaakt (bijlage 13). De

verslagen zijn vervolgens, ter goedkeuring, voorgelegd aan de geïnterviewde experts. De

interviewverslagen zijn geanalyseerd en gecodeerd. Elke werkwijze die door een expert als verrijkend

is benoemd, is als potentieel verrijkend aangemerkt voor het vervolg van het onderzoek. Het

resultaat van deze eerste ronde uit de Delphi-studie betreft een overzicht met alle potentieel

verrijkende werkwijzen voor auditmethodologie (paragraaf 6.3).

Voor de uitvoering van deel 2 van de Delphi-studie zijn argumenten vanuit interviews, voor en tegen

de agile-werkwijzen, samengevat. Op basis van het overzicht met potentieel verrijkende werkwijzen

is een vragenlijst opgesteld (bijlage 14). Deze vragenlijst is per e-mail naar de negen panelleden

(experts) verzonden. Bij de vragenlijst is het document met de samenvatting van argumenten als

bijlage meegestuurd (bijlage 15).

De verwerking van vragenlijsten heeft plaatsgevonden per agile-werkwijze. Als in de vragenlijst een

antwoord in de categorie ‘ja’ is aangekruist, is de agile-werkwijze als verrijkend aangemerkt. Als in de

vragenlijst een antwoord in de categorie ‘nee’ is aangekruist, is de agile als niet-verrijkend

aangemerkt. Onbruikbare antwoorden zijn meegenomen in de categorie ‘onduidelijk’ (paragraaf 6.4).

De detaillering in auditcategorieën waarover de experts hebben gestemd is voor agile-werkwijzen

uitgewerkt; dit is het geval indien deze door minimaal drie experts als verrijkend was aangemerkt, en

minimaal vier experts een geldig antwoord hadden gegeven.

38

6.3 Resultaten uit interviews

Alle negen experts hebben meegewerkt aan de interviews. Bij het interview met de heer Koster is de

heer van Hout aangeschoven. De heer van Hout is Audit director retail & private banking bij ABN-

ARMO. In zijn functie is hij sponsor van het experiment om audits op een agile-werkwijze uit te

voeren binnen ABN-AMRO. Daarnaast heeft hij diepgaande kennis van audits uitvoeren. In de analyse

van de interviews zijn de uitspraken van de heer van Hout en de heer Koster als een totaal

meegenomen (weergegeven als een expert). In de hiernavolgende sub-paragrafen zijn de resultaten

uit de interviews opgenomen.

6.3.1 Werkwijzen die als verrijkend voor auditmethodologie zijn aangedragen

Tijdens de interviews zijn de experts bevraagd over de verrijking van auditmethodologie met agile-

werkwijzen. In de interviews is gevraagd welke van de werkwijzen die vanuit de literatuurstudie als

verrijkend zijn aangemerkt, door de experts als verrijkend worden herkend en erkend. Daarnaast is

gevraagd of er aanvullende werkwijzen zijn uit de methoden die op agile gebaseerd zijn, en die een

verrijking vormen voor auditmethodologie. Tabel 6.2 toont een overzicht met de werkwijzen die door

de experts als verrijkend worden herkend en erkend, aangevuld met werkwijzen die zij zelf hebben

aangedragen.

Werkwijze Expert die de werkwijze heeft aangedragen

Exp

ert

1

Exp

ert

2

Exp

ert

3

Exp

ert

4

Exp

ert

5

Exp

ert

6

Exp

ert

7

Exp

ert

8

Exp

ert

9

Sco

re (

aan

tal x

aa

nge

mer

kt a

ls

verr

ijken

d)

Backlog per audit X X X X X X X 7

Werken in iteraties X X X X X X X X 8

Dagstart X X X X X 5

Dagstart zoals in 'krimi's' X 1

Multidisciplinair team X X X 3

Meedraaien in agile-businessteams X X X 3

Stakeholdermapping X X 2

Demo/review X X X X X X X X X 9

Retro met klant X X X X X X X X 8

Retro met team X X X X X X 6

Planningsspel X X X X 4

Scrummeester X X X 3

Persoonlijke kanban X 1

Werkafspraken (Foundations) X 1

Fysiek op een locatie werken X 1

Backlog als auditjaarplan X X X X 4

Fastlane X 1

Onderhanden-werk-limiet X 1

Heartbeats X 1

Tabel 6.2 Verrijkende agile-werkwijzen op basis van interviews

39

Uit Tabel 6.2 blijkt dat een werkwijze als verrijkend wordt herkend en erkend door alle experts: de

demo/review toepassen. Over de andere werkwijzen is geen consensus. Echter, een meerderheid

van de experts ziet ‘een backlog per opdracht’, ‘werken in iteraties’, ‘dagstart’ en ‘retro met de klant’

als een verrijking voor auditmethodologie.

Twee experts hebben tijdens de interviews aangegeven dat zij voorstander zijn van agile-

werkwijzen toepassen, maar dit niet direct als een verrijking van auditmethodologie zien. De twee

experts geven aan dat agile benadrukt wat reeds binnen auditmethodologie bestaat.

Naast de zeven werkwijzen die vanuit de literatuurstudie als verrijkend zijn benoemd (Tabel 5.1), zijn

door de experts twaalf andere werkwijzen aangedragen als verrijkend:

• dagstart zoals in 'krimi's';

• multidisciplinair team;

• meedraaien in agile-businessteams;

• stakeholdermapping;

• retro met de klant;

• persoonlijke kanban;

• werkafspraken (foundations);

• fysiek op een locatie werken;

• backlog als auditjaarplan;

• fastlane;

• onderhanden-werk-limiet;

• heartbeats.

In totaal zijn tijdens de interviews negentien agile-werkwijzen door een of meerdere experts als

verrijkend voor auditmethodologie aangedragen. Begripsbepaling voor de negentien agile-

werkwijzen is opgenomen in bijlage 1.

6.3.2 Onderverdeling naar auditcategorie

Naast de aangedragen werkwijzen stellen experts dat werkwijzen niet in alle gevallen toepasbaar

zijn. Meerdere experts hebben een onderverdeling in auditcategorieën aangedragen, passend bij wat

reeds in de literatuurstudie was onderkend. Voor een situatie (auditcategorie) kan een werkwijze wel

of juist niet van toepassing zijn. Tabel 6.3 geeft een overzicht van de aangedragen categorieën naar

onderwerp.

Onderwerp Categorieën

Belangrijkste belanghebbende(n) van de opdracht

• de verantwoordelijke voor de werkzaamheden (proceseigenaar);

• iemand die zekerheid wil (bijvoorbeeld RvB of RvC/ARC).

Doorlooptijd opdracht • < 2 weken;

• > 2 en < 6 weken;

• > 6 weken.

Omvang opdracht • beperkt;

• omvangrijk (en/of internationaal).

Tabel 6.3 Categorieën waarop werkwijzen van toepassing kunnen zijn

40

Experts hebben aangegeven dat het niet mogelijk is om alle voorgestelde agile-werkwijzen toe te

passen in opdrachten waarbij de belangrijkste belanghebbende zekerheid wil. Daarentegen zien de

experts meer mogelijkheden voor het toepassen van de agile-werkwijzen bij opdrachten waar de

belangrijkste belanghebbende tevens de verantwoordelijke is voor het object van onderzoek. De

doorlooptijd van de opdracht en de omvang van de opdracht zijn volgens experts eveneens van

belang om te bepalen of een agile-werkwijze kan worden toegepast of niet.

6.4 Resultaten uit vragenlijsten

Om te bepalen of de werkwijzen als verrijkend kunnen worden aangemerkt is, als tweede stap in de

Delphi-methode, aan de experts gevraagd te stemmen over de werkwijzen die in stap 1 als verrijkend

zijn aangedragen. Dit betreffen zowel agile-werkwijzen die vanuit de literatuur zijn aangemerkt als

verrijkend, als aanvullende agile-werkwijzen die vanuit deel 1 van de Delphi-studie als verrijkend zijn

aangedragen (Tabel 6.3). De resultaten van de stemming door de acht deelnemende experts, zijn

opgenomen in Grafiek 6.1.

Grafiek 6.1: Overzicht resultaten panel per werkwijze

Uit de grafiek komt naar voren dat werken in iteraties door alle experts uit het panel als verrijkend

voor auditmethodologie wordt herkend en erkend. Daarnaast herkent en erkent een meerderheid

van de panelleden elf van de negentien agile-werkwijzen als verrijkend voor auditmethodologie. Het

betreft de werkwijzen ‘backlog per audit’ (6/8), ‘dagstart’ (7/8), ‘multidisciplinair team’ (6/8),

644

55

46

33

677

54

63

78

6

14

322

31

53

211

24

20

10

2

10

11111

02

000

100

5000

0 1 2 3 4 5 6 7 8 9

Heartbeats

Work In Process limiet

Fastlane

Backlog als auditjaarplan

Fysiek op één locatie werken

Werkafspraken (Foundations)

Personal Kanban

Scrummaster

Planningsspel

Retro met team

Retro met klant

Demo/review

Stakeholdermapping

Meedraaien in agile business teams

Multidisciplinair team

Dagstart zoals in 'krimi's'

Dagstart

Werken in iteraties

Backlog per audit

Verrijkend

Niet verrijkend

Onduidelijk

41

‘stakeholdermapping’ (5/8), ‘demo/review’ (7/8), retro met de klant’ (7/8), ‘retro met het team’

(6/8), ‘persoonlijke kanban’ (6/8), ‘fysiek op een locatie werken’ (5/8), ‘backlog als auditjaarplan’

(5/8) en ‘heartbeats’ (6/8).

Naast de herkenning en erkenning van methoden als verrijkend, hebben de experts tijdens het

stemmen aangegeven voor welke categorieën audits ze de agile-werkwijze als verrijkend

beschouwen. De uitgevraagde categorieën komen overeen met de aangedragen categorieën in Tabel

6.3. Per werkwijze zijn de resultaten uit de stemming opgenomen in bijlage 18. Een samenvatting van

deze resultaten is opgenomen in Tabel 6.4.

Agile werkwijze

Tota

al g

eld

ige

ste

mm

en

In a

lle g

eva

llen

ve

rrijk

en

d

Be

lan

ghe

bb

en

de

is

vera

ntw

oo

rde

lijke

Be

lan

ghe

bb

en

de

wil

zeke

rhe

id

Do

orl

oo

pti

jd <

2 w

eke

n

Do

orl

oo

pti

jd >

2 w

eke

n <

6

we

ken

Do

orl

oo

pti

jd >

6 w

eke

n

Op

dra

cht

be

pe

rkte

sco

pe

Op

dra

chte

n o

mva

ngr

ijke

sc

op

e

Backlog per audit 8 37,5% 62,5% 37,5% 37,5% 50,0% 62,5% 37,5% 62,5%

Werken in iteraties 8 37,5% 62,5% 50,0% 37,5% 62,5% 100,0% 37,5% 75,0%

Dagstart 8 75,0% 75,0% 75,0% 75,0% 75,0% 87,5% 75,0% 75,0%

Multidisciplinair team 8 62,5% 62,5% 62,5% 62,5% 62,5% 75,0% 62,5% 62,5%

Meedraaien in agile-businessteams 8 25,0% 25,0% 37,5% 25,0% 25,0% 37,5% 25,0% 25,0%

Stakeholdermapping 7 42,9% 42,9% 57,1% 42,9% 42,9% 57,1% 42,9% 42,9%

Demo/review 8 50,0% 62,5% 50,0% 50,0% 62,5% 87,5% 50,0% 62,5%

Retro met klant 8 62,5% 62,5% 62,5% 62,5% 62,5% 87,5% 62,5% 62,5%

Retro met team 8 62,5% 62,5% 62,5% 62,5% 62,5% 75,0% 62,5% 62,5%

Planningsspel 6 16,7% 16,7% 16,7% 16,7% 16,7% 50,0% 16,7% 16,7%

Persoonlijke kanban 7 71,4% 71,4% 71,4% 71,4% 71,4% 85,7% 71,4% 71,4%

Werkafspraken (Foundations) 7 42,9% 42,9% 42,9% 42,9% 42,9% 57,1% 42,9% 42,9%

Fysiek op een locatie werken 7 57,1% 57,1% 57,1% 57,1% 57,1% 71,4% 57,1% 57,1%

Backlog als auditjaarplan 7 57,1% 71,4% 57,1% 57,1% 57,1% 57,1% 57,1% 57,1%

Fastlane 7 42,9% 42,9% 42,9% 42,9% 42,9% 57,1% 42,9% 42,9%

Onderhanden-werk-limiet 8 25,0% 25,0% 25,0% 25,0% 25,0% 37,5% 25,0% 37,5%

Heartbeats 7 42,9% 42,9% 42,9% 57,1% 57,1% 71,4% 42,9% 57,1%

Tabel 6.4: Overzicht resultaten panel per auditcategorie

De percentages in de tabel geven aan hoeveel procent van de experts met een geldig antwoord de agile-werkwijze als verrijkend ziet voor de desbetreffende situatie.

Uit Tabel 6.5 blijkt dat de meerderheid van de experts voor zeven agile-werkwijzen aangeeft dat deze

in alle situaties verrijkend zijn: ‘dagstart’ (75%), ‘multidisciplinair team’ (62,5%), ‘retro met de klant’

(62,5%), ‘retro met het team’ (62,5%), ‘persoonlijke kanban’ (71,4%), ‘fysiek werken op een locatie’

(57,1%) en ‘backlog als auditjaarplan’ (57,1%). Voor ‘meedraaien in agile-businessteams’,

‘planningsspel’ en ‘onderhanden-werk-limiet’ is in geen van de categorieën een meerderheid van de

experts die de agile-werkwijze als verrijkend herkent en erkent.

42

Voor de overige agile-werkwijzen geldt dat in een gedeelte van de situaties de agile-werkwijze door

een meerderheid van de experts als verrijkend wordt erkend en herkend. Uit de resultaten blijkt dat

een meerderheid van de experts stelt dat de agile-werkwijzen, met uitzondering van ‘meedraaien in

agile-businessteams’ en ‘onderhanden-werk-limiet, verrijkend zijn voor auditmethodologie als de

audit een doorlooptijd heeft van langer dan zes weken.

6.5 Analyse van de resultaten: verrijkende werkwijzen voor auditmethodologie

Om te bepalen of een agile-werkwijze als verrijkend kan worden beschouwd voor

auditmethodologie, dienden minimaal vijf van de deelnemende acht panelleden een bruikbaar

(oftewel eenduidig te interpreteren) antwoord te geven tijdens invulling van de vragenlijst. Een agile-

werkwijze is als verrijkend aangenomen indien uit de meerderheid van de (minimaal vijf) bruikbare

antwoorden bleek dat een agile-werkwijze als verrijkend mag worden onderkend (paragraaf 6.5.1).

Indien uit exact vijftig procent van de bruikbare antwoorden bleek dat een agile-werkwijze als

verrijkend mag worden onderkend, heeft de onderzoeker een afweging gemaakt in het aannemen

van de agile-werkwijze als verrijkend of niet-verrijkend. Deze afweging heeft plaatsgevonden op basis

van de voor- en nadelen van de werkwijzen vanuit de literatuur en aangedragen door de experts

tijdens interviews.

Van de agile-werkwijzen waarvan is aangenomen dat deze verrijkend zijn voor

auditmethodologie, is tevens nagegaan of er situaties (auditcategorieën) zijn waarvoor deze agile-

werkwijzen als verrijkend kunnen worden beschouwd. Hiervoor is eveneens aangehouden dat een

agile-werkwijze als verrijkend is aangenomen indien uit de meerderheid van de bruikbare

antwoorden bleek dat een agile-werkwijze als verrijkend mag worden onderkend. De agile-werkwijze

is als verrijkend maar onzeker in de desbetreffende situatie aangemerkt, wanneer minder dan 51

procent van de experts de werkwijze voor de auditcategorie als verrijkend heeft herkend en erkend

(paragraaf 6.5.2).

6.5.1 Verrijkende werkwijzen voor auditmethodologie

Van de zeven werkwijzen die vanuit de literatuur als verrijkend zijn onderkend, zijn er vijf door een

meerderheid van de experts als verrijkend bekrachtigd: ‘backlog per audit’, ‘dagstart’, ‘werken en

iteraties’, demo/review’ en ‘retro met het team’. Deze zijn als verrijkend aangenomen. De

‘scrummeester’ is als enige van de zeven werkwijzen niet als verrijkend door de experts aangedragen

(Tabel 6.5). Het resultaat uit de literatuurstudie voor de ‘scrummeester’ is derhalve verworpen.

43

Het ‘planningsspel’ kent vanuit de expertvalidatie een onduidelijk resultaat. Drie experts stemden

verrijkend en drie experts stemden niet-verrijkend. Van de drie experts die niet-verrijkend stemden,

heeft een aangegeven dat de werkwijze reeds in auditmethodologie bestaat. Echter, de werkwijze

wordt niet expliciet binnen auditmethodologie benadrukt (bijlage 19). In de interviews gaven de

experts aan dat de werkwijze zou leiden tot een realistische planning (bijlage 13). Vanuit de

literatuurstudie (hoofdstuk 2) is gebleken dat een planningsspel meer inzicht biedt in wat opgeleverd

kan worden aan het einde van een sprint, bijdraagt aan het stellen van de juiste prioriteiten en maakt

dat het team flexibel kan inspelen op een veranderende omgeving. Vanuit zowel de interviews als de

literatuurstudie zijn er geen nadelen geconstateerd die een negatieve invloed hebben op het

realiseren van een audit. Derhalve lijkt het zinvol het planningsspel expliciet te benadrukken binnen

auditmethodologie; het ‘planningsspel’ is als verrijkend voor auditmethodologie aangenomen.

Verrijkende agile-werkwijze op basis van literatuuranalyse

Resultaat expertvalidatie Conclusie

Backlog per audit Verrijkend (6/8) Verrijkend

Dagstart Verrijkend (7/8) Verrijkend

Werken in iteraties Verrijkend (8/8) Verrijkend

Planningsspel Onduidelijk (3/6) Verrijkend

Demo/review Verrijkend (7/8) Verrijkend

Retro met het team Verrijkend (6/8) Verrijkend

Scrummeester Niet verrijkend (3/8) Niet verrijkend

Tabel 6.5: Literatuurstudie en resultaten uit expertvalidatie

Vanuit het eerste deel van de Delphi-studie zijn, aanvullend op de literatuurstudie, twaalf werkwijzen

aangedragen als potentieel verrijkend. Negen van de agile-werkwijzen die door de experts zijn

aangedragen worden door de experts als verrijkend herkend en erkend. De negen werkwijzen zijn

dan ook als verrijkend aangenomen (Tabel 6.6).

Tabel 6.6: Verrijkende werkwijzen volgens experts

Verrijkende agile-werkwijzen vanuit interviews

Resultaat expertvalidatie Conclusie

Dagstart zoals in krimi’s Onvoldoende stemmen (3/3) Onduidelijk

Multidisciplinair team Verrijkend (6/8) Verrijkend

Meedraaien in agile-businessteams Onduidelijk (4/8) Verrijkend

Stakeholdermapping Verrijkend (5/7) Verrijkend

Retro met de klant Verrijkend (7/8) Verrijkend

Persoonlijke kanban Verrijkend (6/7) Verrijkend

Werkafspraken (foundations) Verrijkend (4/7) Verrijkend

Fysiek op een locatie werken Verrijkend (5/7) Verrijkend

Backlog als auditjaarplan Verrijkend (5/7) Verrijkend

Fastlane Verrijkend (4/7) Verrijkend

Onderhanden-werk-limiet Onduidelijk (4/8) Verrijkend

Heartbeats Verrijkend (6/7) Verrijkend

44

Twee agile-werkwijzen die zijn aangedragen door de experts, ‘meedraaien in agile-businessteams’ en

‘onderhanden-werk-limiet’, kennen een onduidelijk resultaat. Voor beide agile-werkwijzen geldt dat

vier experts de werkwijze als verrijkend erkennen en herkennen, en vier experts niet. In beide

gevallen heeft een van de experts aangegeven de desbetreffende agile-werkwijze niet als verrijkend

te zien, omdat deze reeds aanwezig is binnen auditmethodologie. Echter, de agile-werkwijzen

worden volgens de expert niet expliciet benadrukt in de literatuur over auditmethodologie. Het

‘meedraaien in agile-businessteams’ levert volgens de experts direct meerwaarde voor de klant. Een

agile-businessteam hoeft haar werkzaamheden na een audit niet te herzien, omdat tijdens de

reguliere (project)werkzaamheden direct advies wordt verschaft en kan worden opgevolgd. Ook kan

tijdens een ‘sprint’ het ontwerp direct worden getoetst door de auditor. Een ‘onderhanden-werk-

limiet’ draagt volgens de experts bij aan focus en het afronden van werkzaamheden. Op basis van

argumentatie aangedragen door de experts is ervoor gekozen de werkwijzen ‘meedraaien in agile-

businessteams’ en de ’onderhanden-werk-limiet’ als verrijkend aan te nemen. Op basis van de

aangedragen argumentatie mag verwacht worden dat de agile-werkwijzen bijdragen aan een

relevant (snel) auditresultaat voor de opdrachtgever, een van de doelstellingen van

auditmethodologie.

Voor de ‘dagstart zoals in krimi’s hebben slechts drie experts een geldig antwoord gegeven.

Dit betreft derhalve een onduidelijk resultaat.

6.5.2 Verrijkende werkwijzen voor auditmethodologie per situatie

Van de werkwijzen die als verrijkend zijn aangedragen, is nagegaan of dit in alle situaties geldt.

Vanuit de literatuurstudie bleek dat de werkwijzen vooral toepasbaar zouden zijn bij opdrachten met

een langere doorlooptijd en omvangrijke scope. Uit de validatie door experts zijn de resultaten uit de

literatuurstudie bevestigd voor de werkwijzen ‘backlog’, ‘werken in iteraties’, en ‘demo/review’. De

‘dagstart en ‘retro met het team’ is volgens een meerderheid van de experts in alle gevallen

verrijkend. Voor ‘planningsspel’ is geen meerderheid voor een bepaalde auditcategorie. Er is voor

gekozen de resultaten uit de expertvalidatie aan te nemen (Tabel 6.7).

45

Werkwijze Resultaten literatuurstudie: situaties waarin de werkwijze verrijkend is

Resultaten expertvalidatie en conclusie: situaties waarin de werkwijzen verrijkend is

Bel

angh

ebb

end

e is

ve

ran

two

ord

elij

ke

Bel

angh

ebb

end

e

wil

zeke

rhei

d

Do

orl

oo

pti

jd <

2

wek

en

Do

orl

oo

pti

jd >

2

wek

en <

6 w

eken

Do

orl

oo

pti

jd >

6

wek

en

Op

dra

cht

bep

erk

te

sco

pe

Op

dra

chte

n

om

van

grijk

e sc

op

e

Backlog per audit Langere doorlooptijd en/of omvangrijke scope

⎷ △ △ △ ⎷ △ ⎷

Werken in iteraties Langere doorlooptijd en/of omvangrijke scope ⎷ △ △ ⎷ ⎷ △ ⎷

Dagstart Langere doorlooptijd en/of omvangrijke scope ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Multidisciplinair team - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Meedraaien in agile-businessteams

- △ △ △ △ △ △ △

Stakeholdermapping - △ ⎷ △ △ ⎷ △ △

Demo/review Langere doorlooptijd en/of omvangrijke scope ⎷ △ △ ⎷ ⎷ △ ⎷

Retro met klant - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Retro met team Langere doorlooptijd en/of omvangrijke scope ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Planningsspel Langere doorlooptijd en/of omvangrijke scope △ △ △ △ △ △ △

Persoonlijke kanban - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Werkafspraken (Foundations) - △ △ △ △ ⎷ △ △

Fysiek op een locatie werken - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Backlog als auditjaarplan - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Fastlane - △ △ △ △ ⎷ △ △

Onderhanden-werk-limiet - △ △ △ △ △ △ △

Heartbeats - △ △ ⎷ ⎷ ⎷ △ ⎷

Tabel 6.7: Verrijkende werkwijzen per situatie: resultaten uit literatuuranalyse, empirisch onderzoek en conclusies

⎷= verrijkend △ = verrijkend, maar onzeker voor de desbetreffende situatie

6.6 Samenvatting: verrijkende werkwijzen voor auditmethodologie per auditcategorie

In dit hoofdstuk zijn de resultaten uit de expertvalidatie weergegeven. Vanuit de expertvalidatie zijn

vijf van de zeven werkwijzen die zijn aangedragen vanuit de literatuurstudie bevestigd als verrijkend.

Daarnaast zijn door de experts twaalf aanvullende werkwijzen aangedragen als verrijkend. Experts

hebben daarbovenop gestemd over de situaties waarvoor de agile-werkwijze als verrijkend kan

worden aangemerkt.

In totaal zijn vanuit de analyse van de resultaten zeventien agile-werkwijzen als verrijkend voor

auditmethodologie aangenomen. Deze werkwijzen kunnen overwogen worden in verschillende

situaties. Een overzicht van de zeventien verrijkende werkwijzen, gelinkt aan de situaties waarvan

met zekerheid kan worden gesteld dat de agile-werkwijzen verrijkend zijn, is opgenomen in Tabel

6.8.

46

Werkwijzen Situaties waarin de werkwijzen verrijkend zijn

Bel

angh

ebb

end

e is

vera

ntw

oo

rde

lijke

Bel

angh

ebb

end

e w

il ze

kerh

eid

Do

orl

oo

pti

jd <

2 w

eken

Do

orl

oo

pti

jd >

2 w

eken

< 6

w

eken

Do

orl

oo

pti

jd >

6 w

eken

Op

dra

cht

bep

erk

te s

cop

e

Op

dra

chte

n o

mva

ngr

ijke

sco

pe

Backlog per audit ⎷ △ △ △ ⎷ △ ⎷

Werken in iteraties ⎷ △ △ ⎷ ⎷ △ ⎷

Dagstart ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Multidisciplinair team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Meedraaien in agile-businessteams △ △ △ △ △ △ △

Stakeholdermapping △ ⎷ △ △ ⎷ △ △

Demo/review ⎷ △ △ ⎷ ⎷ △ ⎷

Retro met klant ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Retro met team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Planningsspel △ △ △ △ △ △ △

Persoonlijke kanban ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Werkafspraken (Foundations) △ △ △ △ ⎷ △ △

Fysiek op een locatie werken ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Backlog als auditjaarplan ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Fastlane △ △ △ △ ⎷ △ △

Onderhanden-werk-limiet △ △ △ △ △ △ △

Heartbeats △ △ ⎷ ⎷ ⎷ △ ⎷

Tabel 6.8: Verrijkende werkwijzen voor auditmethodologie per situatie

⎷= verrijkend △ = verrijkend, maar onzeker voor de desbetreffende situatie

47

7 Conclusie

In dit onderzoek is nagegaan hoe auditmethodologie eruitziet wanneer de methodologie is verrijkt

met werkwijzen uit methoden gebaseerd op agile.

Uit de literatuurstudie over auditmethodologie zijn de belangrijkste kenmerken van bestaande

auditmethodologie gebleken. Door de kenmerken te kruisen met de belangrijkste kenmerken uit

agile, is een overzicht ontstaan met beperkingen van auditmethodologie vanuit agile-perspectief. De

resultaten zijn gevalideerd door een expert op het gebied van auditmethodologie. In een

literatuurstudie is onderzocht welke werkwijzen invulling bieden voor die beperkingen. Het overzicht

met verrijkende werkwijzen is vervolgens gevalideerd en aangevuld door experts met behulp van een

Delphi-studie.

Op basis van het uitgevoerde onderzoek is bevestigd dat auditmethodologie verrijkt kan worden met

agile-werkwijzen. Methodologie houdt in dat de methode die wordt toegepast per situatie geschikt

wordt gemaakt (hoofdstuk 2). Bestaande werkwijzen uit auditmethodologie blijven derhalve

gehandhaafd (Tabel 7.1).

Methoden/werkwijzen opzetten en uitvoeren audit Methoden/werkwijzen beheersen audit

Risicoanalyse voor selectie opdrachten Strokenplanning

Contextanalyse voor bepalen type audit en haalbaarheid van de opdracht

Capaciteitsplanning

Auditontwerp (conceptueel en technisch Kosten/baten-afweging voor inzet capaciteit

Veldwerk voor verzamelen van data Informatiebeheersing door vooraf vastleggen hoe toegang tot documenten wordt geborgd

Scoren van criteria Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door auditmanager

Hoor en wederhoor Teamevaluatie

Rapporteren Evaluatie door de opdrachtgever

Tabel 7.1: Bestaande werkwijzen auditmethodologie

Aanvullend zijn zeventien agile-werkwijzen als verrijkend aangenomen (Tabel 7.2). Aan de hand van

een indeling in auditcategorieën is tevens nagegaan in welke situaties deze zeventien werkwijzen

verrijkend zijn. Daaruit is gebleken dat niet voor elke situatie met zekerheid kan worden gesteld dat

de werkwijze verrijkend is. Een overzicht van de zeventien verrijkende werkwijzen, gelinkt aan de

situaties (auditcategorieën) waarvan met zekerheid kan worden gesteld dat de werkwijzen verrijkend

zijn, is opgenomen in Tabel 7.2.

48

Werkwijzen vanuit methoden gebaseerd op agile

Situaties waarin de werkwijzen verrijkend zijn

Be

lan

ghe

bb

en

de

is

vera

ntw

oo

rde

lijke

Be

lan

ghe

bb

en

de

w

il ze

kerh

eid

Do

orl

oo

pti

jd <

2

we

ken

Do

orl

oo

pti

jd >

2

we

ken

< 6

we

ken

Do

orl

oo

pti

jd >

6

we

ken

Op

dra

cht

be

pe

rkte

sc

op

e

Op

dra

chte

n

om

van

grijk

e s

cop

e

Backlog per audit ⎷ △ △ △ ⎷ △ ⎷

Werken in iteraties ⎷ △ △ ⎷ ⎷ △ ⎷

Dagstart ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Multidisciplinair team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Meedraaien in agile-businessteams △ △ △ △ △ △ △

Stakeholdermapping △ ⎷ △ △ ⎷ △ △

Demo/review ⎷ △ △ ⎷ ⎷ △ ⎷

Retro met klant ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Retro met team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Planningsspel △ △ △ △ △ △ △

Persoonlijke kanban ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Werkafspraken (Foundations) △ △ △ △ ⎷ △ △

Fysiek op een locatie werken ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Backlog als auditjaarplan ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷

Fastlane △ △ △ △ ⎷ △ △

Onderhanden-werk-limiet △ △ △ △ △ △ △

Heartbeats △ △ ⎷ ⎷ ⎷ △ ⎷

Tabel 7.2: Verrijkende werkwijzen voor auditmethodologie per situatie

⎷= verrijkend △ = verrijkend, maar onzeker voor de desbetreffende situatie

De bestaande werkwijzen (Tabel 7.1) en agile-werkwijzen (Tabel 7.2) vormen samen

auditmethodologie verrijkt met werkwijzen uit methoden gebaseerd op agile. Zoals beschreven is

methodologie de methode per situatie geschikt maken; keuzes uit de werkwijzen zullen derhalve per

situatie moeten worden gemaakt.

49

8 Implicaties van het uitgevoerde onderzoek voor de praktijk

8.1 Betrouwbaarheid en validiteit van het uitgevoerde onderzoek

Auditmethodologie verrijkt met werkwijzen uit methoden gebaseerd op agile is tot stand gekomen

door middel van literatuurstudie en expertvalidatie. De beperkingen van auditmethodologie vanuit

agile-perspectief zijn onderzocht, waarna de beperkingen zijn ingevuld met agile-werkwijzen. Voor

de uitvoering van het onderzoek zijn diverse maatregelen getroffen ten behoeve van de

betrouwbaarheid en validiteit (paragraaf 1.4).

Tijdens het onderzoek is gebleken dat in het negende interview geen nieuwe informatie

meer werd verkregen (theoretische saturatie). De omvang van het panel is daarmee representatief

voor de populatie. Sociaal wenselijk gedrag van panelleden is door middel van separaat interviewen

van experts voorkomen. De experts hebben een overzicht ontvangen met daarin een korte

toelichting per agile-werkwijze om begripsverwarring te voorkomen. Primaire data uit het onderzoek

is beschikbaar gesteld in de bijlagen waardoor resultaten kunnen worden geverifieerd. Op basis van

de uitgevoerde werkzaamheden en de maatregelen die zijn getroffen ten aanzien van de

betrouwbaarheid kan worden gesteld dat bij herhaling van dit onderzoek de resultaten hetzelfde

zouden zijn. Het onderzoek is daarmee betrouwbaar.

Belangrijke maatregel die is getroffen om de validatie van het onderzoek te borgen is het

testen van de vragen voor de interviews en vragenlijst. Beide instrumenten zijn vooraf door

professionals uit het vakgebied getest. Echter, bij de analyse van de resultaten uit de Delphi-studie is

gebleken dat de antwoordcategorieën voor ‘backlog als auditjaarplan’ in de vragenlijst niet passen bij

de desbetreffende vraag. De resultaten uit het onderzoek voor ‘backlog als auditjaarplan’ zijn

derhalve niet valide. Voor de overige resultaten kan worden gesteld dat zich geen systematische

fouten hebben voorgedaan; het onderzoek is derhalve voor de overige resultaten valide.

8.2 Verwachtingen versus de resultaten

Op basis van eerder onderzoek en de literatuurstudie bestonden bepaalde verwachtingen ten

aanzien van de resultaten van dit onderzoek. Niet alle verwachtingen zijn uitgekomen.

Op basis van de uitgevoerde literatuurstudie werd verondersteld dat zeven agile-werkwijzen

auditmethodologie zouden kunnen verrijken. Tijdens de expertvalidatie zijn de resultaten uit de

literatuurstudie voor de ‘scrummeester’ niet zijn bekrachtigd. Het verschil in de resultaten kan zijn

veroorzaakt doordat in de literatuur over auditmethodologie werkwijzen niet altijd als zodanig

worden benadrukt. De theorie is daarmee minder concreet dan vooraf was verwacht. Experts

50

hebben vanuit de praktijk andere ervaringen met auditmethodologie dan vanuit het

literatuuronderzoek werd verondersteld. Experts hebben dan ook aangeven dat een ‘scrummeester’

binnen auditmethodologie reeds bestaat. Een van de agile-experts gaf daarnaast te kennen dat deze

werkwijze reeds is achterhaald en experts hierop terugkomen. De resultaten voor ‘scrummeester’

zijn dan ook verworpen.

Naast de zes agile-werkwijzen die voortkwamen uit de literatuurstudie en zijn bekrachtigd door de

experts, zijn aanvullend elf agile-werkwijzen als verrijkend aangenomen. Deze agile-werkwijzen

(‘multidisciplinair team’, ‘stakeholdermapping’, ‘retro met de klant’, ‘persoonlijke kanban’,

‘werkafspraken’, ‘fysiek op een locatie werken’, ‘backlog als auditjaarplan’, ‘fastlane’, ‘onderhanden-

werk-limiet’ en ‘heartbeats’) zijn niet onderkend tijdens de literatuurstudie. Oorzaak hiervan is dat de

literatuurstudie is afgebakend op vijf methoden die zijn gebaseerd op agile. Daarnaast zijn alleen die

werkwijzen in de literatuurstudie meegenomen, die in de literatuur expliciet zijn onderkend als

werkwijze van een van deze vijf methoden. De elf werkwijzen die door experts als verrijkend voor

auditmethodologie zijn aangedragen, komen niet als dusdanig voor binnen deze vijf methoden. Het

kan echter wel zijn dat ze worden toegepast binnen de desbetreffende vijf methoden.

8.3 Betekenis resultaten voor de theorie en praktijk

Met het uitgevoerde onderzoek zijn nieuwe inzichten verkregen voor de theorie en praktijk. Eerdere

onderzoeken toonden aan dat meer flexibiliteit en aanpassingsvermogen noodzakelijk zijn voor de

uitvoering van een audit, maar zij gaven hiervoor geen suggesties. In dit onderzoek is aangetoond dat

agile-werkwijzen wel degelijk een verrijking vormen voor auditmethodologie, en bijdragen aan

flexibiliteit en aanpassingsvermogen. IAF’s kunnen op basis van dit onderzoek gaan experimenteren

met werkwijzen waarvan is aangetoond dat zij een verrijking vormen voor auditmethodologie. De

verwachting is dat, door deze werkwijzen toe te passen, een IAF beter kan inspelen op de

veranderende organisatie en meer flexibiliteit kan tonen. De verwachting is tevens dat de

opdrachtgever hierdoor meer toegevoegde waarde ervaart.

Echter, met uitvoeren van de werkwijzen alleen is de auditor er (nog) niet. Het uitvoeren van

werkwijzen is relatief gemakkelijk. Het creëren van een agile-mindset en het naleven van agile-

waarden is niet van vandaag op morgen gerealiseerd. De auditor moet vooruit leren kijken,

innoveren en heeft een veilige werkomgeving nodig waarin hij of zij mag leren. Daar waar een IAF

gewend is een meerjarenplan te maken, is dit niet meer passend wanneer bij agile-mindset.

Wanneer de IAF te maken heeft met een traditioneel ingestelde manier van werken in de top van de

51

organisatie, is het van belang dat ook hier support wordt verkregen. Traditioneel aansturen van de

IAF zal anders confronteren met de agile-mindset van de auditors.

In dit onderzoek is niet expliciet stilgestaan het IPPF. Het IPPF heeft een belangrijke invloed op de

wijze waarop een IAF haar werkzaamheden uitvoert. In interviews is hier meerdere malen naar

gerefereerd. Hoewel het IPPF vrijheid geeft voor interpretatie, wordt het veelal strikt opgevat. IAF’s

zullen zich daarom moeten afvragen of het IPPF nog passend is. Alleen auditmethodologie

aanpassen zal niet de volledig oplossing bieden voor het beperkte aanpassingsvermogen van de IAF.

Ook het IPPF zal hier meer richting voor moeten geven. Het gehele auditvakgebied zal moeten

groeien op het vlak van aanpassingsvermogen.

Op deze plek is het eveneens van belang te benoemen dat de agile-werkwijzen niet het redmiddel

zijn of een universele oplossing voor iedere IAF. Wanneer de IAF niet openstaat voor agile, agile ziet

als een hype of het niet past bij de waarden van de organisatie zal er geen verandering ontstaan.

8.4 Beperkingen van het uitgevoerde onderzoek

Vanuit het onderzoek zijn enkele beperkingen geconstateerd. Bij de invulling van de vragenlijst

hebben enkele experts te kennen gegeven dat zij het moeilijk vonden een antwoord te kiezen. De

indeling in auditcategorieën zorgde ervoor dat veel keuzemogelijkheden waren gecreëerd. Het is aan

te bevelen voor soortgelijk (vervolg)onderzoek in de vragenlijst enkel ‘ja’ en ‘nee’ als antwoorden op

te nemen, aangevuld met de mogelijkheid ‘ja, tenzij’. Op deze manier hebben de experts meer

keuzevrijheid in hun antwoorden, en hebben zij niet de indruk dat sprake is van auditcategorieën die

mogelijk in hun ogen niet bestaan.

In de uitkomsten van het onderzoek zijn elf werkwijzen (‘multidisciplinair team’,

‘stakeholdermapping’, ‘retro met de klant’, ‘persoonlijke kanban’, ‘werkafspraken’, ‘fysiek op een

locatie werken’, ‘backlog als auditjaarplan’, ‘fastlane’, ‘onderhanden-werk-limiet’ en ‘heartbeats’) als

verrijkend aangenomen enkel op basis van de expertvalidatie. Van deze werkwijzen zijn het effect en

resultaat niet bekend, en is niet duidelijk aan welke agile-kenmerken zij een bijdrage leveren. Om

deze reden kan geen uitspraak worden gedaan in hoeverre de werkwijzen bijdragen aan de

verbetering van de flexibiliteit en het aanpassingsvermogen in een audit.

52

8.5 Aanbevelingen voor vervolgonderzoek

In dit onderzoek is enkel gefocust op de theorie, die vervolgens is gevalideerd door experts.

Vervolgonderzoek is noodzakelijk om na te gaan of de agile-werkwijzen in de praktijk daadwerkelijk

een verrijking vormen voor auditmethodologie. In vervolgonderzoek is het mogelijk te

experimenteren met de werkwijzen die als verrijkend zijn aangenomen. Daarmee kan worden

onderzocht of daadwerkelijk meer flexibiliteit en aanpassingsvermogen in een audit wordt

gerealiseerd. Het is daarbij van belang na te gaan of de elf werkwijzen aangedragen door de experts

daadwerkelijk bijdragen aan deze agile-kenmerken. Vervolgonderzoek zou zich ook kunnen focussen

op de toegevoegde waarde die een opdrachtgever ervaart wanneer de voorgestelde werkwijzen

worden toegepast. Tot slot kan worden onderzocht of het mogelijk is binnen de IAF meer agile toe te

passen, naast de toepassing van werkwijzen binnen audits.

53

Bibliografie

Abrahamsson, P., Conboy, k., & Wang, X. (2009). Lots done, more to do': the current state of agile systems development research. European Journal of Information Systems, 18(4), 281-284.

Abrahamsson, P., Warsta, B., Siponen, M. T., & Ronkainen, j. (2003). New Directions on Agile Methods: A comparative Analysis. 25th International Conference on Software Engineering, (pp. 244-254).

Alqudah, M., & Razali, R. (2017). Key Factors for Selecting an Agile Method: A Systematic Literature Review. International Journal on Advanced Science Engineering Information Technology, 7(2), 526-537.

Al-Zewairi, M., Biltawi, M., Etaiwi, W., & Shaout, A. (2017). Agile Software Development Methodologies:Survey of Surveys. Journal of Computer and Communications, 5, 74-97.

Ayed, H., Vanderose, B., & Habra, N. (2014). Supported Approach for Agile Methods Adaptation:An Adoption Study. Proceedings of the 1st International Workshop on Rapid Continuous Software Engineering, (pp. 36-41). Hyderabad, India.

Beck, K., Beedle, M., Bennekum, A. v., Cockburn, A., Cunningham, W., . . . Thomas, D. (2001). Manifesto for Agile Software Development. Opgeroepen op juni 20, 2017, van agilemanifesto: http://agilemanifesto.org/

Blom, M. (2010). Is Scrum and XP suitable for CSE Development? Procedia Computer Science, 1(1), 1511-1517.

Bos, P., De Korte, R., & Otten, J. (2017). Management Control Auditing: bijdragen aan doelrealisatie en verbetering. Driebergen, Nederland: Auditing.nl.

Bowers, A., Sangwan, R., & Neill, C. (2007). Adoption of XP Practices in the Industry – A Survey. Software Process: Improvement and Practice, 12(3), 283-294.

Burch, S. (2011). Building an internal audit function: whether creating or transforming an audit function, CAEs need to understand all of the critical components-from stakeholder support to the audit methodology. Internal Auditor, 68(1), 46-51.

Cervone, H. F. (2011). Understanding agile project management methods using Scrum. OCLC Systems & Services: International digital library perspectives, 27(1), 18-22.

Chirouze, O., Cleary, D., & Mitchell, G. (2005). A software methodologyfor applied research:eXtreme Researching. Software: Practice and Experience, 35(15), 1441-1454.

Chowdhury, A., & Huda, M. N. (2011). Comparison between Adaptive Software Development and Feature Driven Development. Proceedings of 2011 International Conference on Computer Science and Network Technology,, (pp. 363-367).

Conforto, E. C., Salum, F., Amaral, D. C., Silva, S. L., & Almeida, L. F. (2014). Can agile project management be adopted by industries other than software development. Project Mananagement Journal, 45(3), 21-34.

De Korte, R., & Otten, J. (2003). Operational audit: Van ‘containerbegrip’ naar een methodologisch ondersteunde auditvorm. Opgehaald van Auditing.nl.

Dikert, K., Paasivaara, M., & Lassenius, C. (2016). Challenges and success factors for large-scale agile transformations: A systematic literature review. The Journal of Systems and Software, 119, 87-108.

Dingsøyr, T., Nerur, S., Balijepally, V., & Moe, N. (2012). A decade of agile methodologies: Towards explaining agile software development. The Journal of Systems and Software, 85, 1213-1221.

Driessen, A., & Molenkamp, A. (2012). Internal auditing : een managementkundige benadering (5e, (herz) ed.). Deventer: Kluwer.

Drury, M., Conboy, K., & Power, K. (2012). Obstacles to decision making in Agile software development teams. The Journal of Systems and Software, 85, 1239-1254.

Dybå, T., & Dingsøyr, T. (2008). Empirical studies of agile software development: A systematic review. Information and Software Technology(50), 833-859.

54

Fernandes , J., & Almeida, M. (2010). Classification and Comparison of Agile Methods. 2010 Seventh International Conference on the Quality of Information and Communications Technology (pp. 391-396). IEEE Computer society.

Ghosh, G. (2012). Challenges in Distributed Scrum. 2012 IEEE Seventh International Conference on Global Software Engineering, (pp. 200-220).

Hamed, A., & Abushama, H. (2013). Popular Agile Approaches in Software Development: Review and Analysis. International confrence on computing, electrical an electronic engineering (pp. 160-166). Khartoum, Sudan: University of Khartoum.

Henderson-Sellers, B., & Serour, M. K. (2005). Creating a Dual-Agility Method: The Value of Method Engineering. Journal of Database Management, 16(4), 1-26.

Hoogveld, M. (2016). Agile managen. Culemborg, Nederland: Van Duuren Media. Hu, Z., Yuan, Q., & Zhang, X. (2009). Research on Agile Project Management with Scrum Method. IITA

International Conference on Services Science, Management and Engineering, (pp. 26-29). Zhangjiajie, China.

Inayat, I., Salim, S., Marczak, S., & Daneva, M. (2015). A systematic Literature review on agile requirements engineering practices and challenges. Computers in Human Behavior, 51, 915-929.

Ionel, N. (2008). Critical analysys of the scrum project. Annals of the University of Orade, 435-441. Jalali, S., Wohlin, C., & Angelis, L. (2014). Investigating the applicability of Agility assessment surveys:

A case study. The Journal of Systems and Software(98), 172-190. Koch, A. S. (2005). Agile Software Development, Eveluating the Methods for your Organisation.

Norwood: Artech House. Kongyai, B., & Edi, E. (2011). Adaptation of Agile Practices: A Systematic Review and Survey-

Adaptation of Agile Practices: A Systematic Review and Survey. Dr. Jürgen Blekinge Tekniska Högskola, Sektionen för datavetenskap och kommunikation.

Lee, G., & Xia, W. (2010). Toward Agile: An integrated analysis ofquantative and qualitive field data on software development agility. MIS Quarterly, 34(1), 87-114.

Llamas, V., Coudert, T., Geneste, L., Romero-Bejarano, J., & de Valroger, A. (2016). Proposition of an agile knowledge-based process model. IFAC PapersOnLine, 49(12), 1092-1097.

Lyytinen, K., & Rose, G. M. (2006). Information System Development Agility as Organizational Learning. European Journal of Information Systems, 15(2), 183-199.

Mahadevan, D. (2017, Januari). ING’s agile transformation. Opgeroepen op februari 13, 2017, van www.mckinsey.com: http://www.mckinsey.com/industries/financial-services/our-insights/ings-agile-transformation

Mann, C., & Maurer, F. (2005). A Case Study On The Impact of Scrum On OvertimeAnd Customer Satisfaction. Agile 2005 Conference, (pp. 70-79).

Matharu, G., Mishra, A., Singh, H., & Upadhyay, P. (2015). Empirical Study of Agile Software Development Methodologies: A Comparative Analysis. ACM SIGSOFT Software Engineering Notes, 40(1), 1-6.

Munteanu, V., & Berechet, M. (2016). Challenges of the Audit Profession in the Globalization Era. Academic Journal of Economic Studies, 2(2), 169-178.

Nuijten, A., Van Twist, M., & Van der Steen, M. (2015). Auditing Interactive Complexity: Challenges for the Internal Audit Profession. International Journal of Auditing, 19, 195-205.

Otten, J., Hartog, P. A., & Babeliowsky, A. (2002, December). Auditmethodologie, meta-tool voor klantgericht auditen. Opgehaald van Docplayer: http://docplayer.nl/1516917-Auditmethodologie-meta-tool-voor-klantgericht-auditen.html

Overhage, S., & Schlauderer, S. (2012). Investigating the Long-Term Acceptance of Agile Methodologies:An Empirical Study of Developer Perceptions in Scrum Projects. 45th Hawaii International Conference on System Sciences, (pp. 5453-5461).

Paterson, J. C. (2015). Lean Auditing: Driving Added Value and Efficiency in Internal Audit. Chichester: John Wiley & Sons.

55

Pino, F., Pedreira, O., García, F., Luaces, M., & Piattini, M. (2010). Using Scrum to guide the execution of software process improvement. The Journal of Systems and Software, 83, 1662-1677.

Qumer, A., & Henderson-Sellers, B. (2006). Measuring agility and adoptability of agile methods; a 4-dimensional analytical tool. IADIS International Conference Applied Computing, (pp. 503-507).

Qumer, A., & Henderson-Sellers, B. (2008a). An Evaluation of the Degree of Agility in Six Agile Methods and its Applicability for method engineering. Information and Software Technology, 50(4), 280-295.

Qumer, A., & Henderson-Sellers, B. (2008b). A framework to support the evaluation, adoption and improvement of agile methods in practice. The Journal of Systems & Software, 81(11), 1899-1919.

Qureshi, R., & Hussain, S. (2008). An adaptive software development process model. Advances in Engineering Software, 39(8), 654-658.

Ribeiro, F. L., & Fernandes, M. T. (2009). Exploring agile methods in construction small and medium enterprises: a case study. Journal of Enterprise Information Management, 23(2), 161-180.

Riehle, D. (2000). A Comparison of the Value Systems of Adaptive Software Development and Extreme Programming: How Methodologies May Learn from Each Other. SKYVA International.

Rising, L., & Janoff, N. (2000). The SCRUM software development process for small teams. IEEE Software, 26-32.

Sarens, G., & Lamboglia, R. (2014). The (mis)fit between the profile of internal auditors and internal audit activities. Accounting and Business Research, 44(1), 41-62.

Scheffield, J., & Lemétayer, J. (2013). Factors associated with the software development agility of succesful projects. International Journal of Project Management, 31(3), 459-472.

Sherehiy, B., Karwowski, W., & Layer, J. K. (2007). A review of enterprise agility: Concepts, frameworks, and attributes. International Journal of Industrial Ergonomics, 37, 445-460.

Stray, V., Lindsjørn, Y., & Sjøberg, D. (2013). Obstacles to Efficient Daily Meetings in Agile Development Projects: A Case Study. IEEE International Symposium on Empirical Software Engineering and Measurement, (pp. 95-102).

Sutherland, J. (2014). Scrum, Tweemaal zoveel doen in de helft van de tijd. Amsterdam: Maven Publishing.

Taromirad, M., & Ramsin, R. (2008). CEFAM: Comprehensive Evaluation Framework for Agile Methodologies. 32nd Annual IEEE Software Engineering Workshop, (pp. 195-204).

The institute of Internal Auditors. (2016, 12). Implementation Guide 2200. The institute of Internal Auditors. (2017). International Standards for the Professional Practice of

Internal Auditing (Standards). Opgehaald van The intitute of internal auditors. Verschuren, P., & Doorewaard, H. (2015). Het ontwerpen van een onderzoek. Amsterdam: Boom. Wood, S., Michaelides, G., & Thomson, C. (2013). Successful extreme programming: Fidelity to the

methodology or good teamworking? Information and Software Technology, 55(4), 660-672.

56

Bijlage 1 Begripsbepaling Agile-werkwijzen

• Backlog per audit: Een backlog is een lijst met ‘brokken’ werk in volgorde van urgentie. De

opdrachtgever/ proceseigenaar heeft invloed op het bepalen van de urgentie en de ‘brokken’

werk die op de backlog worden geplaatst (Sutherland, 2014).

• Werken in iteraties (sprints): Een iteratie bestaat uit een vaste periode waarin een gedeelte

van het werk wordt opgeleverd. Iedere iteratie heeft een bepaald einddoel, waarbij de

opdrachtgever/ proceseigenaar een product (rapport) ontvangt (Hu, Yuan, & Zhang, 2009).

• Dagstart: Een dagelijkse bijeenkomst van het team waarin hulpvragen kunnen worden

belegd (Sutherland, 2014).

• Dagstart zoals in krimi’s: Het toepassen van dagstarts als een briefing zoals in ‘Krimi’s. De

laatste status van het onderzoek wordt besproken, argumenten worden uitgewisseld en het

werk wordt voor de dag verdeeld (Expert 1, bijlage 13).

• Multidisciplinair team: Het team is samengesteld uit medewerkers met verschillende

specialismen.

• Meedraaien in agile-businessteams: De auditor draait mee in het agile-businessteam en geeft

direct input tijdens de lopende iteratie en waar mogelijk al bij de dagstart (Expert 9, bijlage

13).

• Stakeholdermapping: Het in kaart brengen van alle belanghebbenden voor een audit (Expert

3, bijlage 13).

• Demo/review: Het tussentijds rapporteren van de (audit)resultaten, waarmee een klant

(auditee) direct aan de slag kan (Sutherland, 2014).

• Retro met de klant: Een evaluatie van de afgelopen iteratie samen met de klant. De klant

krijgt de mogelijkheid om (proces)verbetering aan te dragen voor de komende iteratie

(Sutherland, 2014).

• Retro met het team: Na iedere iteratie vindt een evaluatie plaats met het team over het

teamproces, wat ging goed en wat kan beter. Dit voor zowel het werkproces als de

onderlinge relaties (Overhage & Schlauderer, 2012).

• Planningsspel: Een methode om in te schatten hoeveel effort in een deel van de

werkzaamheden wordt gestoken. Door alle teamleden worden de verschillende

deelwerkzaamheden door middel van punten ingeschat, waarbij als referentiekader andere

werkzaamheden gelden. De hoogste en laagste toebedeelde punten worden geëvalueerd (Al-

Zewairi, Biltawi, Etaiwi, & Shaout, 2017).

57

• Scrummeester: Een scrummeester is een vaste rol binnen het team. Deze faciliteert alle

rituelen en bewaakt het proces (Sutherland, 2014).

• Persoonlijke kanban: Per auditor wordt een bord gemaakt met ‘to do’, ‘in progress’ en

‘done’, waarin alle taken voor een dag worden geplot. Gedurende de dag verschuift de

auditor de taken over het bord (Expert 2, bijlage 13).

• Fysiek op een locatie werken: Het team werkt samen in een ruimte dicht bij elkaar.

• Backlog als auditjaarplan: Een overzicht met alle gewenste auditopdrachten die na elke

opdracht wordt geëvalueerd. Op basis van prioriteit wordt de volgende opdracht gekozen

(Expert 3, bijlage 13).

• Fastlane: Wanneer er een incident binnen komt, komt het team bij elkaar. Het incident wordt

in de fastlane geplaatst. Een medewerker zet zijn reguliere taken ‘on hold’. Pas als de taak

met prioriteit is afgerond, wordt de reguliere taak weer opgepakt (Expert 2, bijlage 13).

• Onderhanden-werk-limiet: Het aantal deelwerkzaamheden waaraan wordt gewerkt is het

aantal teamleden gedeeld door 2 (naar boven afgerond). Nieuwe werkzaamheden worden

pas gestart als het aantal werkzaamheden onder het onderhanden-werk-limiet is gedaald

Expert 2, bijlage 13).

• Heartbeats: Iedere drie tot vier dagen bestaat er contract tussen de auditor en

belanghebbenden voor afstemming over de resultaten die aan het einde van de iteratie

worden opgeleverd. Een heartbeat heeft een kortere frequentie dan de iteraties (Expert 2,

bijlage 13).

58

Bijlage 2 Overzicht deelnemende experts

De inhoud van deze bijlage is verwijderd i.v.m. de privacy van de respondenten.

59

Bijlage 3 Auditmethodologie geprojecteerd op dimensie 1 van het 4-DAT-model

In het eerste perspectief van het 4-DAT-model worden de scope en toepasbaarheid van de

verschillende methoden in kaart gebracht. Voor de toepasbaarheid van het 4-DAT-model is in deze

analyse ervoor gekozen de stijl van coderen en de dataverkrijgingsmethode achterwege te laten.

Deze twee elementen hebben enkel een technisch component en zijn gericht op IT-

ontwikkelmethoden. Voor het analyseren van auditmethodologie bieden deze elementen derhalve

geen toegevoegde waarde. De resultaten van de analyse voor perspectief 1 zijn opgenomen in Tabel

1: Scope en toepasbaarheid.

Tabel 1 laat zien dat bij het toepassen auditmethodologie sprake is van een gefaseerde werkwijze

waarbij chronologisch in volgorde van tijd wordt gewerkt. Dit in tegenstelling tot de op agile

gebaseerde methoden waarbij iteratief werken gebruikelijk is. Scopeafbakening is cruciaal en leidend

voor het uitvoeren van een audit.

Op basis van de verkregen informatie kan worden geconcludeerd dat auditmethodologie toepasbaar

is binnen een omgeving waarbij voorafgaand aan de uitvoering opdracht de scope bekend is. Voor

het uitvoeren van de opdracht is het van belang dat er zich weinig wijzigingen voordoen in de

omgeving. Immers, wanneer scopeafbakening cruciaal is mag verwacht worden dat hier in de loop

van de opdracht niet meer van af wordt geweken.

Criterium Auditmethodologie en beheersing

1. Omvang van het project

Scopeafbakening cruciaal, niet gespecificeerd hoeveel auditobjecten kunnen worden onderzocht of hoe groot een audit mag zijn.

2. Omvang van het team

Niet gespecificeerd.

3. Ontwikkelmethode Clusteren van inhoudelijke activiteiten in logische stappen van tijd, projectfasen.

4. Technologische omgeving

Niet gespecificeerd.

5. Fysieke omgeving Niet gespecificeerd.

6. Organisatiecultuur Niet gespecificeerd.

Tabel 1: Scope en toepasbaarheid

60

Bijlage 4 Auditmethodologie en de belangrijkste kenmerken van agile

Tabel 1 is ingevuld op basis van beschrijving auditmethodologie van Bos e.a. (2017).

Audit methodologie Flexibiliteit Snelheid Mate van lean Leren Reactievermogen Totaal

Fasen

Selectie van het auditobject Er is voor een gedeelte sprake van opgelegde audits en audits op verzoek. Daarnaast wordt gebruik gemaakt van een risicoanalyse om te komen tot een selectie van objecten met als resultaat een globale auditdoelstelling. Derhalve houdt de selectie van het auditobject rekening met zowel verwachte als onverwachte veranderingen (1).

Objectselectie vindt plaats op basis van risicoanalyse en aandragen door verantwoordelijken. draagvlaksessies zijn nodig voor goedkeuring. Dit proces kan veel tijd in beslag nemen. Derhalve betreft het geen snel proces. Het levert tevens geen direct bruikbaar resultaat voor de opdrachtgever (0).

Objectselectie vindt plaats op basis van risicoanalyse en aandragen door verantwoordelijken. Draagvlaksessies zijn nodig voor goedkeuring. Dit proces kan veel tijd in beslag nemen. Derhalve kan het selecteren van auditobjecten niet als lean worden gekenmerkt (0).

Door de organisatie uitgevoerde risicoanalyses kunnen als input worden gehanteerd, evenals opgedane kennis uit eerdere audits. Dit leidt ertoe dat wordt geleerd/ gebruik wordt gemaakt van eerdere opgedane kennis (1).

De selectie van auditobjecten resulteert in een auditplanning voor 1 of meerdere jaren. Hierdoor is het lastiger om gedurende het jaar te reageren op veranderingen. Deze methode kent tevens geen tussentijdse afstemming. Derhalve is het reactievermogen op basis van de selectie van auditobjecten laag (0).

2

Voorbereiding Binnen de context analyse en technische analyse wordt een vaste set aan onderwerpen onderzocht. Doel is om te komen tot een zo voorspelbaar mogelijke situatie. Op basis van een kosten/baten afweging wordt vervolgens invulling gegeven aan de werkwijzen die in de gehele opdracht worden gehanteerd. In de voorbereiding wordt gekozen welke werkwijzen worden gehanteerd, derhalve is er sprake van flexibiliteit (1).

De omvang en de doorlooptijd moeten beperkt blijven omdat meerwaarde van informatie afneemt en je anders voortijdig conclusies trekt. Derhalve ligt de snelheid van de voorbereiding tot oplevering van een auditontwerp hoog. De opdrachtgever ontvang snel een concept auditontwerp (1).

Het gebruiken van vaste instrumenten (context en technische analyse) en de kortste doorlooptijd worden gestimuleerd, hieruit blijkt dat lean werken van belang is (1).

Er wordt navraag gedaan naar ervaringen uit eerdere audits, hieruit blijkt leervermogen (1).

In een gedegen voorbereiding wordt de context van de opdracht in kaart gebracht. Op basis van de verwachte en onverwachte veranderingen wordt bepaald welke werkwijzen in de opdracht worden toegepast. Deze inventarisatie vindt plaats voorafgaand aan de opdracht. Derhalve leidt de voorbereid tot een resultaat waarbij het inspelen op onverwachte verandering wordt beperkt (0).

4

Gegevensverzameling In het technisch ontwerp is vastgelegd van welke methoden gebruik gemaakt wordt en welke bronnen verzameld dienen te worden verzamelen. Derhalve is er weinig flexibiliteit in de gegevensverzamelingsfase (0).

Er geen sprake van een iteratief proces. De verzameling van gegevens vindt plaats, waarna overgegaan kan worden na de volgende fase. Derhalve levert deze fase levert geen direct resultaat voor de opdrachtgever (0).

Bij de keuzes die worden gemaakt voor gegevensverzameling worden doelmatigheid en betrouwbaarheid als uitgangspunt gehanteerd. Triangulatie wordt als kwaliteitsinstrument gehanteerd. Daarnaast hebben budget en tijd invloed op de keuzes die worden gemaakt. Derhalve kan gesteld worden dat er nagedacht wordt over doorlooptijd en kosten efficiëntie. Daarom wordt gegevensverzameling als lean aangemerkt (1).

Wanneer een audit vaker wordt uitgevoerd, kan worden gekozen voor een gestandaardiseerde werkwijze. Hieruit blijkt het leereffect (1).

Interviews bieden de mogelijkheid om in te spelen op hetgeen er op dat moment speelt bij de auditee. Hoor wederhoor biedt de mogelijkheid te reageren en daardoor werkzaamheden aan te passen. Echter is er sprake van een audit ontwerp waaraan gehouden wordt gedurende de opdracht. Derhalve is het reactievermogen beperkt (0).

2

61

Gegevensverwerking, analyse, oordeelsvorming

In het technisch ontwerp is vastgelegd hoe gegevens worden geanalyseerd en hoe oordeelsvorming plaats zal vinden. De keuze hierin is reeds bepaald, waardoor geen rekening meer wordt gehouden met verwachte en onverwachte veranderingen (0).

Er is geen sprake van een iteratief proces waarbij oordeelsvorming snel plaats vindt nadat het veldwerk is afgerond. De opdrachtgever ziet pas resultaat bij de rapportage. Derhalve is de snelheid laag (0).

Kwaliteitsinstrumenten als hoor/wederhoor en een bronnenmatrix worden ingezet. Documentatie wordt vastgelegd zodat ten alle tijden het onderzoek transparant en reproduceerbaar is. Er wordt met meerdere personen gewerkt aan het opstellen van conclusies om interpretatie niet van 1 persoon af te laten hangen. Geen specifieke stimulans van doorlooptijd of gebruik beperkte resources. Derhalve is de mate van lean beperkt (0).

Wanneer een audit vaker wordt uitgevoerd kan worden gekozen voor een gestandaardiseerde werkwijze die eerder is toegepast. De wijze waarop het team tot een oordeel komt is dan reeds bekend. Hiermee wordt een leereffect behaald. Leren wordt derhalve toegepast (1).

De verwerking van de gegevens en wijze waarop oordeelsvorming plaats vindt is in het auditontwerp bepaald. Deze methode zorgt ervoor dat de werkwijze niet direct wordt aangepast bij verwachte en onverwachte veranderingen. Derhalve kan worden gesteld dat het reactievermogen in deze fase beperkt is (0).

1

Rapportage In het technisch ontwerp is al bepaald hoe wordt gerapporteerd. Hierdoor is er weinig ruimte is om in te spelen op verwachte en onverwachte veranderingen. Derhalve is de rapportage fase niet flexibel (0).

Het proces is niet iteratief, de rapportage wordt in 1 keer opgeleverd waarna nog hoor/wederhoor kan plaatsvinden. Derhalve is het resultaat niet snel beschikbaar voor de klant (0).

Kwaliteitsinstrumenten als hoor wederhoor en kwaliteitsbeheersing worden toegepast in deze fase, geen specifieke stimulering voor korte doorlooptijd of minimale middelen. Derhalve een lage mate van lean (0).

Wanneer een audit vaker wordt uitgevoerd kan worden gekozen voor een gestandaardiseerde werkwijze. Dit leidt ertoe dat gebruikt wordt gemaakt van het leereffect (1).

De wijze van rapporteren is vooraf bepaald. Derhalve is het lastig om de werkwijze aan te passen bij verwachte en onverwachte veranderingen (0).

1

Afronding (opvolging en evaluatie)

Belangrijke onderwerpen voor evalueren zijn benoemd in de auditmethodiek. Evalueren draagt echter niet meer bij aan de werkwijze tijdens de opdracht. Daarnaast zijn er vaste eisen waaraan het auditdossier moet voldoen. Hierop moet worden gecontroleerd. Derhalve draagt deze fase niet bij aan flexibiliteit bij verwachte en onverwachte veranderingen (0).

Snelheid is niet gespecificeerd, evaluatie volgt in delen vrij snel na de audit, dit geldt ook voor afronden dossier. De evaluatiefase levert echter geen resultaat voor de opdrachtgever. Derhalve is de snelheid laag (0).

De afronding van de opdracht dient als kwaliteitsbevordering. De evaluatie is achteraf maar draagt wel bij aan de kwaliteit van een volgende audit. Er zijn geen specifieke eisen aan doorlooptijd voor deze fase. Gezien het feit dat door evaluatie de effectiviteit en efficiëntie voor een volgende opdracht kan worden beïnvloed, heeft het beperkte invloed op de mate van lean van de desbetreffende opdracht (0).

Leerpunten worden meegenomen en verwerkt in handboeken en/of charters. Derhalve is er in deze fase voor de opdracht zelf geen leereffect meer. Het leereffect heeft betrekking op volgende opdrachten (0).

In de evaluatie wordt niet direct ingespeeld op veranderende omstandigheden en/of klantwensen. De afronding kan ook niet meer tot een ander resultaat leiden. Derhalve is er sprake van weinig reactievermogen (0).

0

Totaal 2 1 2 5 0 10

Mate van agile 2/6 1/6 2/6 5/6 0/6 10/(6*5)

Audit methodologie Flexibiliteit Snelheid Mate van lean Leren Reactievermogen Totaal

Werkwijzen

Risicoanalyse voor selectie van opdrachten

Er wordt gebruik gemaakt van een risicoanalyse om te komen tot een selectie van objecten. Voor de selectie van objecten volgt o.a. op basis van de risicoanalyse een globale auditdoelstelling. Dit betekent dat geïnventariseerd wordt welke verandering hebben plaatsgevonden en of er

Voor de inventarisatie van de risico’s vinden afstemming en draagvlaksessies plaatst. Dit proces kan veel tijd in beslag nemen. Derhalve betreft het een werkwijze die niet snel tot resultaat voor de opdrachtgever leidt (0).

Draagvlaksessies en afstemming dragen niet bij aan het verkorten van de doorlooptijd. Derhalve is er sprake van een lage mate van lean (0).

Door de organisatie uitgevoerde risicoanalyses kunnen als input worden gehanteerd, evenals opgedane kennis uit audits. Het gebruiken van eerder opgedane ervaring maakt deel van deze werkwijze (1).

De risicoanalyse wordt jaarlijks gehouden en resulteert in een auditplan voor 1 of meerdere jaren. Hierdoor is het lastiger te reageren op veranderingen die zich voordoen voordat de volgende werksessie wordt gehouden. Derhalve een beperkt reactievermogen (0).

2

62

eventueel nog onbekende elementen zijn die een risico vormen. Hierbij wordt zowel rekening gehouden met verwachte als onverwachte veranderingen. De werkwijzen die worden gehanteerd kunnen hierop worden aangepast (1).

Contextanalyse bepalen type audit en haalbaarheid van de opdracht

In de contextanalyse worden de kenmerken van de opdracht onderzocht, behoeften in kaart gebracht, nagegaan welke problemen er spelen en binnen welke stimulerende en belemmerende factoren de opdracht wordt uitgevoerd. Op basis van wat er wordt gevonden in deze analyse kunnen zijsporen worden bewandeld. Derhalve kan de werkwijze nog worden aangepast en is er sprake van flexibiliteit (1).

De omvang en de doorlooptijd moeten beperkt blijven. Meerwaarde van informatie neemt af bij een lange doorlooptijd. Tevens bestaat het risico dat voortijdig conclusies worden getrokken. Derhalve ligt de snelheid van de voorbereiding tot oplevering van een resultaat (aangeven haalbaarheid opdracht) hoog (1).

Het gebruiken van vaste instrumenten (context en technische analyse) en een korte doorlooptijd worden gestimuleerd. Hieruit blijkt dat lean werken van belang is (1).

Er wordt navraag gedaan naar ervaringen uit eerdere audits. Hieruit blijkt leervermogen (1).

Op basis van wat de auditor tegenkomt kan besloten worden met behulp van de contextanalyse nog andere methoden toe te passen. Bijvoorbeeld een data-analyse om risico’s in kaart te brengen. Derhalve is er sprake van reactievermogen op verwachte en onverwachte veranderingen (1).

5

Auditontwerp (conceptueel en technisch)

Het auditontwerp geeft richting aan wat er in de audit wordt uitgevoerd. Werkwijzen worden gekozen op basis van wat er in de context analyse is aangetroffen. Veranderingen die hier zijn gesignaleerd worden meegenomen in het ontwerp. De voorkeur is om te kiezen voor een gedetailleerd ontwerp. Dit ontwerp maakt het lastig om in latere fase van de audit in te spelen op verwachte en onverwachte veranderingen. Derhalve is de mate van flexibiliteit bij het toepassen van deze methode laag (0).

Het auditontwerp draagt eraan bij dat in de latere fases van het audit proces snel tot conclusies kan worden gekomen. Derhalve zorgt deze werkwijze voor sneller resultaat. Tevens betreft het ontwerp een tussenresultaat dat wordt gepresenteerd aan de opdrachtgever (1).

In het audit ontwerp is vastgelegd hoe de kwaliteit wordt bewaakt, alsmede de voortgang. Tevens wordt in het ontwerpen van de opdracht rekening gehouden met de kosten/baten. Derhalve draagt de werkwijze bij aan het lean uitvoeren van de opdracht (1).

Ervaringen uit eerdere audits worden meegenomen in het audit ontwerp. Derhalve wordt leren toegepast met behulp van een audit ontwerp (1).

Het auditontwerp betreft een gedetailleerde beschrijving van de activiteiten die worden uitgevoerd gedurende de opdracht. Het gebruik maken van deze werkwijze zorgt ervoor dat de werkzaamheden en methoden vast staan. Het reageren op veranderingen wordt hierdoor beperkt (0).

3

Veldwerk voor verzamelen van data (met behulp van verschillende ontsluitingstechnieken)

Verschillende ontsluitingstechnieken kunnen flexibel worden ingezet (diepgang van de analyse) wanneer omstandigheden (verhoogd risico) hierom vragen. Dit wordt echter vooraf aan de opdracht in het auditontwerp bepaald. Bij onverwachte

Opzichzelfstaand geven de verschillende ontsluitingstechnieken niet direct een deugdelijk resultaat, er dient sprake te zijn van triangulatie. Tevens leidt het veldwerk niet direct tot resultaten voor de opdrachtgever. Derhalve is

Bij de keuzes die worden gemaakt voor gegevensverzameling worden doelmatigheid en betrouwbaarheid als uitgangspunt gehanteerd, triangulatie wordt als kwaliteitsinstrument gehanteerd. Daarnaast hebben budget en tijd invloed op de keuzes die worden gemaakt. Derhalve wordt in de

Wanneer een audit vaker wordt uitgevoerd kan worden gekozen voor een gestandaardiseerde werkwijze en daarmee ook gestandaardiseerde ontsluitingstechnieken. Daarmee wordt een leereffect gecreëerd (1).

Gedurende de opdracht is het bij observaties, interviews en inhoudsanalyse mogelijk om de diepgang te vergroten. Hiermee kan worden ingespeeld op verandering binnen de werkzaamheden die worden uitgevoerd. Echter, veranderingen die niet binnen de gedefinieerde veldwerkzaamheden vallen worden niet meegenomen. Derhalve is het reactievermogen beperkt (0).

2

63

veranderingen is het beperkt mogelijk om de werkwijze van het veldwerk aan te passen (0).

er geen sprake van een werkwijze die snelheid ondersteund (0).

werkwijze aandacht besteed aan de mate van lean (1).

Scoren van criteria Voor het scoren van criteria wordt in de beginfase van de opdracht vastgelegd hoe de weging zal zijn. Het wordt afgeraden dit achteraf aan te passen. Dit omdat de auditor beïnvloed kan worden door de praktijk. Derhalve is de werkwijze beperkt flexibel (0).

De werkwijze waarbij criteria worden gescoord vindt plaats als al het veldwerk is afgerond. Derhalve is het resultaat niet snel inzichtelijk voor de opdrachtgever. Alle veldwerkzaamheden moeten eerst zijn afgerond (0).

Door vooraf te bepalen hoe criteria gewogen worden ten opzichte van elkaar, zorgt deze wijze voor een versnelde doorlooptijd. Derhalve draagt deze werkwijze bij aan de mate van lean van de audit (1).

Bij herhaling van de opdracht kan gebruik worden gemaakt van dezelfde werkwijzen. Hier wordt leereffect gecreëerd (1).

De te scoren criteria worden aan de beginfase van de opdracht vastgesteld. Wanneer veranderingen zich voordoen kunnen de criteria niet zomaar gewijzigd worden. Derhalve is er sprake van een laag reactievermogen (0).

2

Hoor en wederhoor Hoor wederhoor vindt zowel plaatst tijdens de opdracht (bijvoorbeeld interviews) als aan het einde van de opdracht bij de bespreking van de bevindingenmatrix. Wanneer uit hoor wederhoor blijkt dat de auditor een verkeerde conclusie heeft getrokken, bestaat de mogelijkheid om binnen de capaciteit en tijdslijnen nog aanvullende werkzaamheden uit te voeren. Derhalve zorgt hoor wederhoor ervoor dat werkwijzen aangepast kunnen worden op basis van nieuwe informatie (1).

Hoor wederhoor met de opdrachtgever vindt plaats aan het einde van de opdracht, wanneer alle veldwerkzaamheden zijn afgerond. Derhalve levert de methode niet snel resultaat voor de opdrachtgever (0).

Bij hoor wederhoor is geen specifieke aandacht voor de doorlooptijd of het gebruik van middelen. Het betreft wel een instrument om te komen tot een goede kwaliteit van het eindoordeel. Derhalve een lage mate van lean (0).

Bij hoor wederhoor wordt niet gebruik gemaakt van specifieke eerder opgedane kennis. Derhalve weinig leereffect (0).

Hoor wederhoor wordt in de opdracht toegepast om bevindingen te bespreken, te bevestigen en eventuele nuanceringen te bespreken. Wanneer blijkt dat de uitkomsten van de opdracht afwijken van de werkelijkheid wordt aanvullend onderzoek gedaan. Dit betreffen onverwachte veranderingen van de uitkomsten waar binnen de methodologie op ingespeeld wordt. Derhalve is er sprake van reactievermogen (1).

2

Rapporteren In het technisch ontwerp is al bepaald hoe wordt gerapporteerd. Hierdoor is er weinig ruimte om in te spelen op verwachte en onverwachte veranderingen. Derhalve is de rapportage methode niet flexibel. (0)

Rapporteren vindt plaatst wanneer alle resultaten bekend zijn. Derhalve levert rapporteren niet snel resultaat voor de opdrachtgever (0).

Het rapporteren zelf draagt niet bij aan het realiseren van een korte doorlooptijd, verbeteren van kwaliteit of verlagen van gebruik van middelen (0).

Wanneer een audit vaker wordt uitgevoerd kan worden gekozen voor een gestandaardiseerd rapport. Dit leidt ertoe dat gebruikt wordt gemaakt van het leereffect (1).

De wijze van rapporteren is vooraf bepaald. Verandering die spelen maken niet dat de werkwijze wordt aangepast (0).

1

Strokenplanning De strokenplanning geeft aan wanneer activiteiten en beslismomenten plaatsvinden en wordt gebruikt als beheersingsinstrument voor de doorlooptijd. Er zijn harde deadlines opgenomen in de strokenplanning. Derhalve kent de werkwijze weinig flexibiliteit (0).

In een strokenplanning worden kritieke paden opgenomen. Echter levert de strokenplanning niet snel resultaat. Het betreft een planning voor de gehele looptijd. (0).

De strokenplanning draagt bij aan het beheersen van de doorlooptijd. Kritieke paden worden geïdentificeerd. De strokenplanning houdt echter niet direct rekening met de kortste doorlooptijd. Derhalve draagt de werkwijze niet direct bij aan de mate van lean (0).

De strokenplanning kan bij een tweede opdracht op hetzelfde onderwerp verbeterd worden op basis van het leereffect (1).

De strokenplanning heeft harde deadlines en beslismomenten. Tevens kunnen kritieke paden zijn opgenomen. Het reageren op verwachte/onverwachte verandering wordt niet bevorderd door de strokenplanning (0).

1

Capaciteitsplanning De capaciteitsplanning bestaat uit de activiteiten en het aantal uren dat een specifieke auditor

De capaciteitsplanning betreft geen product wat resultaat oplevert voor de

De capaciteitsplanning houdt rekening met welke medewerker op welk moment wordt ingezet. Er is geen

Bij herhaalde uitvoering van de opdracht kan de capaciteitsplanning worden

De capaciteitsplanning draag niet specifiek bij aan het identificeren van en reageren op veranderingen in de omgeving (0).

1

64

hieraan zal besteden. De capaciteitsplanning is gekoppeld aan de strokenplanning en kent derhalve weinig flexibiliteit omdat deadlines gerealiseerd moeten worden (0).

opdrachtgever. Het betreft een planning voor de gehele looptijd. Derhalve levert de methode niet snel resultaat (0).

specifieke nadruk op beheersen van doorlooptijd en kosten. Derhalve draagt de capaciteitsplanning niet direct bij aan de mate van lean (0).

aangepast op basis eerdere opdrachten. Derhalve is er sprake van leereffect (1).

Kosten- batenafweging voor inzet capaciteit

De kosten- batenafweging heeft vooral betrekking op het bewust inzetten van de juiste mensen en afbaken van de opdracht om doelmatig tot een resultaat te komen. Bij verwachte en onverwachte veranderingen kan de kosten- batenanalyse bijdragen aan het bepalen of ingespeeld wordt op de verandering. Derhalve is door het toepassen van een kosten- batenafweging mogelijk om in te spelen op veranderingen (1).

De kosten- batenafweging geeft input voor het audit ontwerp. Het is echter geen direct resultaat voor de opdrachtgever. De kosten-batenafweging dient als input voor de capaciteits- en strokenplanning (0).

Bij de kosten- batenafweging wordt aandacht besteed aan kosten, doorlooptijd en op te leveren kwaliteit. Derhalve bevorderd deze werkwijze de mate van lean van een opdracht (1).

Bij het herhaald uitvoeren van een opdracht kan in de kosten-batenafweging worden meegenomen wat de realisatie in de voorgaande opdracht is geweest. Derhalve is sprake van een leereffect (1).

De kosten- batenanalyse vindt plaats aan het begin van de opdracht. De methode zorgt er niet direct voor dat gereageerd wordt op verwachte en onverwachte veranderingen gedurende de looptijd van een opdracht (0)

3

Informatiebeheersing door vooraf vastleggen toegang tot documenten

Informatiebeheersing wordt gedaan volgens een beleidsafspraak die voor alle opdrachten geldt. Het is hierdoor moeilijk om wijzigingen door te voeren op basis van verwachte en onverwachte veranderingen (0).

Informatiebeheersing levert geen resultaten op voor de opdrachtgever. Derhalve geen invloed op de snelheid van de opdracht (0).

Informatiebeheersing heeft geen directe invloed op de doorloopsnelheid, kosten of kwaliteit van de opdracht. Informatiebeheersing heeft als doel eenduidigheid te realiseren. Derhalve draag deze werkwijze niet direct bij aan de mate van lean (0).

Informatiebeheersing wordt uitgevoerd conform beleidsafspraak. Derhalve is er geen sprake van een specifiek leereffect (0).

Informatiebeheersing zorgt ervoor dat documentatie wordt vastgelegd, zodat resultaten eenduidig kunnen worden gereproduceerd. Informatiebeheersing heeft derhalve geen directe relatie met het reageren op veranderingen in de omgeving (0).

0

Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door de auditmanager.

Een audit moet controleerbaar, valide en betrouwbaar zijn, waaronder eenduidige begripsbepaling ontstaat. Daarnaast moet informatie vastgelegd worden conform afspraken. Bij de voortgangsbewaking worden resultaten vergeleken met de planning. De frequentie waarop dit gebeurt is afhankelijk van de doorlooptijd van de audit. Op basis van verwachte en onverwachte verandering kan worden bijgestuurd en kan de werkwijze worden aangepast. (1)

Geadviseerd wordt om maandelijks voortgangsbewaking uit te voeren en eventueel af te stemmen met de opdrachtgever. Op basis van de voortgangsbewaking kunnen werkzaamheden worden aangepast. Het betreft een evaluatie die niet frequent plaats vindt. Derhalve geen snel resultaat voor de opdrachtgever (0).

Tijdsbeheersing draagt bij aan beheersen van de doorlooptijd. Kwaliteitsbeheersing draagt bij aan de deugdelijkheid van de audit. Derhalve kunnen beide gezien worden als het leveren van een bijdrage aan het lean uitvoeren van de audit (1).

Onderdelen uit de kwaliteitsbeheersing worden geëvalueerd en meegenomen in het doorvoeren van verbeteringen tijdens de audit zelf en bijvoorbeeld het audit charter. Derhalve zorgt kwaliteitsbeheersing voor een leereffect (1).

Voortgangsbewaking kan leiden tot bijsturing als gevolg van verwachte en onverwachte veranderingen. Hiermee wordt op veranderingen ingespeeld (1).

4

Voortgangsrapportage De voortgangsrapportage is een informerend instrument. Voorafgaand aan de opdracht wordt afgesproken hoe het instrument wordt ingezet. Wanneer uit de voortgangsrapportage

Door het toepassen van de voortgangsrapportage wordt de opdrachtgever tijdig aangehaakt bij de audit. Derhalve levert de voortgangsrapportage snel resultaat (1).

De voortgangsrapportage levert niet specifiek een bijdrage aan de doorlooptijd, kwaliteit of kostenverlaging van de audit. Derhalve draag het niet bij aan het lean uitvoeren van de audit. (0)

De voortgangsrapportage betreft een communicatieinstrument. Derhalve is er geen sprake van een leereffect. (0)

De voortgangsrapport triggert de opdrachtgever om na te denken over de relevantie van de opdracht. Derhalve draagt voortgang rapporteren bij aan identificeren van veranderingen en inspelen op veranderingen (1).

3

65

Tabel 1: Argumentatie mate van agile auditmethodologie

bijzonderheden naar voren komen, kan dit ertoe leiden dat de werkzaamheden worden aangepast (1)

Evaluatie door het team Voor het uitvoeren de evaluatie wordt veelal een gestructureerde aanpak aanbevolen. Resultaten uit de evaluatie kunnen meegenomen worden in een volgende opdracht maar hebben geen directe invloed meer op de werkwijze van een lopende opdracht. Derhalve draagt teamevaluatie niet bij aan flexibiliteit van de werkwijze tijdens de opdracht (0).

De evaluatie heeft niet direct invloed op de resultaten die de opdrachtgever ontvangt. Derhalve is er geen sprake van snelheid (0).

Er zijn geen criteria geformuleerd hoe een evaluatie dient plaats te vinden. De teamevaluatie heeft geen invloed op de opdracht zelf. Derhalve is het geen werkwijze die bijdraagt aan de mate van lean van de opdracht (0).

De evaluatie draagt bij aan het bijstellen van de auditinstrumenten en ontwikkelen van good practices. Het leereffect heeft echter betrekking op volgende opdrachten en niet op de opdracht zelf (0).

Doordat de evaluatie van de opdracht plaatsvindt na afronding van de rapportage, is er geen sprake van reageren op verwachte of onverwachte veranderingen (0).

0

Evaluatie door de opdrachtgever

Evaluatie kan per audit of over meerdere opdrachten heen worden uitgevoerd. Resultaten uit de evaluatie kunnen meegenomen worden in een volgende opdracht, maar hebben geen directe invloed meer op de werkwijze van de lopende opdracht. Derhalve draagt evaluatie door de opdrachtgever niet bij aan flexibiliteit van de werkwijze tijdens de opdracht (0)

De evaluatie heeft niet direct invloed op de resultaten die de opdrachtgever ontvangt. Derhalve is er geen sprake van snelheid (0)

Er zijn geen criteria geformuleerd hoe een evaluatie dient plaats te vinden. De evaluatie heeft geen invloed meer op de opdracht zelf. Derhalve is het geen werkwijze die bijdraagt aan de mate van lean van de opdracht (0).

De evaluatie draagt bij aan het bijstellen van de auditinstrumenten en ontwikkelen van good practices. Het leereffect heeft echter betrekking op volgende opdrachten en niet op de opdracht zelf (0).

Doordat de evaluatie van de opdracht plaatsvindt na afronding van de rapportage, is er geen sprake van reageren op verwachte of onverwachte veranderingen (0).

0

6 3 6 10 4 29

Mate van agile 6/15 3/15 6/15 10/15 4/15 29/(15*5)

66

Bijlage 5 Auditmethodologie geprojecteerd op dimensie 2 van het 4-DAT-model

In het tweede perspectief van het 4-DAT-model is geanalyseerd in hoeverre auditmethodologie

voldoet aan de belangrijkste kenmerken van agile. Dit is gedaan door na te gaan in hoeverre

auditmethodologie voldoet aan de belangrijkste kenmerken van agile. De resultaten van deze

analyse zijn opgenomen in Tabel 1, mate van agile.

Om de mate van agile te bepalen is 1 punt toegekend voor iedere fase of werkwijze die voldoet aan 1

van de 5 kenmerken van agile. Wanneer dit niet zo is, is er een score van 0 toegekend. Een nadere

argumentatie voor de score 1 en 0 is opgenomen in bijlage 4. Door het totaal van de scores te delen

door het aantal toegekende scores is de mate van agile berekend.

Audit methodologie Flexibiliteit Snelheid Mate van lean

Leren Reactievermogen Totaal

Fasen

Selectie van het auditobject 1 0 0 1 0 2

Voorbereiding 1 1 1 1 0 4

Gegevensverzameling 0 0 1 1 0 2

Gegevensverwerking, analyse, oordeelsvorming

0 0 0 1 0 1

Rapportage 0 0 0 1 0 1

Afronding (opvolging en evaluatie)

0 0 0 0 0 0

Totaal 2 1 2 5 0 10

Mate van agile 1/6 1/6 2/6 5/6 0/6 10/(6*5)

= 0.333

Werkwijzen Flexibiliteit Snelheid Mate van lean

Leren Reactievermogen Totaal

Risicoanalyse voor selectie van opdrachten

1 0 0 1 0 2

Contextanalyse bepalen type audit en haalbaarheid van de opdracht

1 1 1 1 1 5

Audit ontwerp (conceptueel en technisch)

0 1 1 1 0 3

Veldwerk voor verzamelen van data (met behulp van verschillende ontsluitingstechnieken)

0 0 1 1 0 2

Scoren van criteria 0 0 1 1 0 2

Hoor en wederhoor 1 0 0 0 1 2

Rapporteren 0 0 0 1 0 1

Strokenplanning 0 0 0 1 0 1

Capaciteitsplanning 0 0 0 1 0 1

Kosten batenafweging voor inzet capaciteit

1 0 1 1 0 3

Informatiebeheersing door vooraf vastleggen hoe toegang tot documenten wordt geborgd.

0 0 0 0 0 0

Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door de auditmanager.

1 0 1 1 1 4

Voortgangsrapportage 1 1 0 0 1 3

Evaluatie door het team 0 0 0 0 0 0

Evaluatie door de opdrachtgever

0 0 0 0 0 0

Totaal 6 3 6 10 4 29

Mate van agile 6/15 3/15 6/15 10/15 4/15 29/(15*5)

=0,38667

Tabel 1: Mate van agile

67

In zijn totaliteit is de mate van agile voor auditmethodologie lager dan de volgens Qumer en

Henderson-Sellers minimale toegekende waarde voor een agile methode. Deze minimale waarde ligt

zoals reeds beschreven in hoofdstuk 3 tussen 0,5 en 0,6 (Qumer & Henderson-Sellers, 2008a).

Auditmethodologie scoort hier 0,333 voor de verschillende fasen en 0,39 voor de werkwijzen.

Opvallend (afwijkend) resultaat uit deze analyse is dat de voorbereidingsfase in auditmethodologie

als enige fase een hoge mate van agile kent. In deze beginfase van een audit is er nog een hoge mate

van flexibiliteit, worden snel resultaten geleverd, wordt lean gewerkt en is er sprake van een

leereffect. Ook de werkwijzen in deze fase (context analyse en audit ontwerp) scoren gemiddeld

hoog op de mate van agile. Deze resultaten sluiten aan bij de wijze waarop auditmethodologie is

opgezet. Zoals aangegeven in de beschrijving van auditmethodologie in hoofdstuk 2 zorgt

auditmethodologie voor een auditontwerp dat passend is bij het onderzoeksobject van de opdracht

(Bos e.a., 2017). Dit vindt plaats op basis van de contextanalyse. Dit impliceert in ieder geval dat

gereageerd wordt op veranderingen in de omgeving.

De werkwijze die het meeste bijdraagt aan agile is de voortgangsrapportage. In deze werkwijze wordt

de opdrachtgever tussentijds geïnformeerd en zorgt de opdrachtgever voor eventuele informatie

over nieuwe en/of gewijzigde behoeften. Zoals reeds onderstreept door Bos e.a. (2017) is het wel

van belang dat de voortgangsrapportage periodiek plaatsvindt, dus niet alleen bij bijzonderheden. In

de praktijk blijkt voortgangsrapportage veelal alleen bij bijzonderheden te worden toegepast.

In zijn algemeenheid blijkt uit voorgaande resultaten dat vanaf het afronden van het gedetailleerde

auditontwerp (het einde van de voorbereidingsfase), auditmethodologie vanuit het oogpunt van

agile in beperkte voldoet aan de kenmerken flexibiliteit, snelheid, lean en reactievermogen. Overall

wordt er op het leereffect hoog gescoord. Zowel in de verschillende fasen als in de werkwijzen wordt

opgedane kennis uit eerdere ervaringen toegepast.

68

Bijlage 6 Auditmethodologie geprojecteerd op dimensie 3 van het 4-DAT-model

Agile-waarden vormen het derde perspectief van het 4-DAT-model. Vanuit dit perspectief is op een

kwalitatieve wijze geanalyseerd welke werkwijzen uit auditmethodologie een bijdrage leveren aan de

6 verschillende agile-waarden. De resultaten zijn opgenomen in Tabel 1.

Agile-waarden karakteristieken Auditmethodologie en beheersing

1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier aandacht aan besteedt.

2. Werkend/goed resultaat boven allesomvattende documentatie

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.

3. Samenwerking met de klant boven onderhandelingen

1. Hoor en wederhoor. Resultaten worden teruggelegd en besproken met de auditee/opdrachtgever. 2. Voortgangsrapportage. De opdrachtgever wordt gestimuleerd om betrokken te blijven bij de opdracht.

4. Inspelen op verandering boven het volgen van een plan

Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.

5. Het proces agile houden Evaluatie door het team en evaluatie door de opdrachtgever zijn expliciet bedoeld om na te gaan wat er in een volgende opdracht beter kan. Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit eenvoudig blijft of uitmunten goed wordt uitgevoerd.

6. Het proces kosteneffectief houden Kosten-batenafweging voor inzet capaciteit. In het auditontwerp wordt nagedacht welke auditors worden ingezet om tot een gedegen resultaat te komen. Voortgangsbewaking. Tijdens de audit wordt nagegaan of nog steeds conform plan wordt gewerkt. Daarnaast wordt waar nodig bijgestuurd.

Tabel 1: Bijdrage aan agile-waarden vanuit auditmethodologie

Auditmethodologie biedt geen invulling aan de volgende agile-waarden:

1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen.

2. Werkend /goed resultaat boven allesomvattende documentatie.

3. Inspelen op verandering boven het volgen van een plan.

Dat er geen invulling wordt gegeven aan inspelen op verandering boven het volgen van het plan, sluit

aan bij de resultaten van de analyse voor het tweede perspectief (bijlage 5). Het reactievermogen

scoort in perspectief 2 laag. Er zijn dan ook geen werkwijzen binnen auditmethodologie die expliciet

bijdragen aan het identificeren van veranderingen en het reageren op deze veranderingen.

Twee werkwijzen komen naar voor die bijdragen aan samenwerking met de klant, te weten hoor

wederhoor en voortgangsrapportage. Echter valt er nog verbetering te realiseren vanuit de agile-

waarden op dit onderwerp. De samenwerking concentreert zich veelal op de latere fasen in de audit.

Er zijn meerdere werkwijzen geïdentificeerd die het proces agile houden. Deze werkwijzen hebben

echter enkel betrekking op het evalueren en verbeteren van de aanpak. Er zijn geen werkwijzen

geïdentificeerd die bijdragen aan uitmuntend presteren of het eenvoudig houden van de audit.

69

De werkwijzen zoals opgenomen bij het proces kosteneffectief houden sluiten aan bij de gemiddelde

mate van lean uit perspectief 2. Passend bij auditmethodologie is de kosten- batenafweging tijdens

het opstellen van het plan van aanpak in de voorbereidingsfase. Dit is een belangrijke activiteit in het

kader van de kosteneffectiviteit.

70

Bijlage 7 Auditmethodologie geprojecteerd op dimensie 4 van het 4-DAT-model

Het vierde perspectief van het 4-DAT-model betreft een kwalitatieve analyse van processen. Uit

Tabel 1 blijkt dat op alle elementen sprake is van ondersteunende werkwijzen.

Processen Auditmethodologie

1. Uitvoeren De levenscyclus van de audit bestaat uit de volgende (belangrijkste) werkwijzen:

• Risicoanalyse voor selectie opdrachten;

• Contextanalyse voor bepalen type audit en haalbaarheid van de opdracht;

• Auditontwerp (conceptueel en technisch);

• Veldwerk voor verzamelen van data;

• Scoren van criteria;

• Hoor en wederhoor;

• Rapporteren.

• Evalueren

Kwaliteitscontrole wordt voornamelijk vormgegeven in de voortgangsbewaking op kwaliteit.

2. Projectmanagement proces

Het project managen komt voornamelijk naar voren in de volgende werkwijzen:

• Auditontwerp (technisch)

• Voortgangsbewaking

3. Ondersteunende processen/configuratie- management

Informatiebeheersing zorgt voor het borgen van de traceerbaarheid en reproduceerbaarheid van de audit.

4. Procesmanagement proces

De evaluatie met de opdrachtgever en de evaluatie van het team dragen bij aan verbetering van het auditproces.

Tabel 1: Werkwijzen die invulling geven aan procesbeheersing

71

Bijlage 8 Afstemming analyse auditmethodologie met de expert

De inhoud van deze bijlage is verwijderd i.v.m. de privacy van de respondenten.

72

Bijlage 9 Analyse agile-werkwijzen per dimensie van het 4-DAT-model

Dimensie 1

Vanuit dimensie 1 is naar voren gekomen dat bij het toepassen van auditmethodologie gewerkt

wordt in fasen. Daarentegen wordt bij de op agile gebaseerde methoden vrijwel altijd door middel

van iteraties gewerkt. Uit de literatuurstudie in hoofdstuk 2 en is gebleken dat iteraties voor

projecten met een langere doorlooptijd diverse voordelen leveren, waaronder:

• betere werkdruk verdeling;

• tussentijdse resultaten voor de opdrachtgever;

• verbeterde interactie in het team; en

• mogelijkheden om in te spelen op veranderingen.

Deze voordelen passen bij de elementen relevantie, op het juiste moment opleveren en efficiëntie

van auditmethodologie. Nadelen van het werken in iteraties betreffen echter dat de scope van de

opdracht kan veranderen en dat er meer capaciteitsbeslag op de opdrachtgever wordt gelegd. De

voordelen geschetst vanuit de literatuur lijken op te wegen tegen de nadelen, waarmee wordt

verondersteld dat een iteratieve werkwijze een verrijking kan zijn voor audits met een langere

doorlooptijd en grotere scope. Voor audits met een korte doorlooptijd en beperkte scope lijkt

iteratief werken geen aanvulling te vormen. Bij een korte doorlooptijd wordt relatief snel resultaat

geleverd. Het werken met tussentijdse rapportages zou tot inefficiëntie kunnen leiden.

Dimensie 2

Vanuit de analyse van auditmethodologie voor dimensie 2 van het 4-DAT-model is naar voren

gekomen dat in de uitvoering van een opdracht, auditmethodologie weinig werkwijzen heeft die

ondersteunen in snelheid, flexibiliteit en inspelen op verandering (hoofdstuk 3 en 4). Uit de

expertvalidatie is gebleken dat snelheid van belang is om relevant te blijven. Dit heeft tevens te

maken met de elementen uit de doelstelling van auditmethodologie die ingaan op urgentie en

uitvoeren van de audit op het juiste moment. Wanneer snelheid voldoende is gerealiseerd, zijn

flexibiliteit en inspelen op verandering niet nodig in de uitvoering. Wanneer dit niet het geval is,

dragen flexibiliteit en inspelen op verandering juist bij aan de relevantie.

De op agile gebaseerde methoden Scrum, ASD, DSDM, FDD, en XP zorgen allen voor het snel

opleveren van resultaten aldus de voordelen van de kenmerken van de methoden zoals opgenomen

in hoofdstuk 2. Daarnaast zijn de methoden flexibel en spelen ze in op verandering. De elementen uit

deze werkwijzen worden hier opvolgend separaat besproken.

73

Werkwijzen die betrekking hebben op het werken in iteraties

Vanuit de literatuurstudie zoals weergegeven in hoofdstuk 2 zijn diverse agile-werkwijzen naar voren

gekomen die invulling geven aan zowel snelheid, flexibiliteit als inspelen op verandering. Een

gedeelte van deze werkwijzen heeft betrekking op het werken in iteraties. De betreffen de volgende

agile-werkwijzen:

• productbacklog;

• sprint/korte releases/regelmatige levering van producten;

• sprintplanning/planningsspelen/adaptieve cyclus planning;

• dagelijkse scrum;

• sprintdemo/klantfocusgroep reviews;

• continue integratie/reguliere builds/ontwikkelen m.b.v. componenten;

• refactoring/ omkeerbare wijzigingen; en

• sprintevaluatie/ project post mortem.

Het werken met een productbacklog lijkt veel op het normenkader en werkprogramma in een audit.

Aanvullend aan het werken met een backlog is dat de opdrachtgever wordt betrokken bij de

prioritering van werkzaamheden binnen de opdracht en de mogelijkheid heeft om werkzaamheden

toe te voegen gedurende de opdracht. Deze agile werkwijze vormt derhalve theoretisch gezien een

verrijking op de bestaande methodologie. Het hanteren van een backlog draagt bij aan de relevantie

van de opdracht. Door de vergrote betrokkenheid van de opdrachtgever bij de opdracht wordt

tevens de urgentie van werkzaamheden voor het normenkader continu in kaart gebracht. Deze

werkwijze past echter alleen goed wanneer in iteraties gewerkt wordt.

Met het toepassen van de dagelijkse scrum wordt op dagelijkse basis de voortgang van het project in

kaart gebracht. Dit is vele malen vaker dan regulier binnen auditmethodologie plaatsvindt. De

dagelijkse voortgangsbewaking heeft als grootste voordeel dat problemen dagelijks in kaart worden

gebracht en besproken. De auditmanager kan vervolgens in staat worden gesteld deze problemen

vroegtijdig weg te nemen en daarmee de snelheid van uitvoering van de opdracht verhogen.

Dagelijkse scrum is derhalve vanuit theoretisch oogpunt een aanvulling voor zowel opdrachten van

beperkte- als grotere omvang.

Het werken in sprints, met een sprintplanning, sprintdemo en sprintevaluatie vormen vanuit de

theorie een verrijking voor auditmethodologie ten aanzien van flexibiliteit, snelheid en het inspelen

op veranderingen. Deze werkwijze is goed toepasbaar bij opdrachten met grotere doorlooptijd. De

74

opdrachtgever ontvangt periodiek (snel) een resultaat en kan zowel in de sprintplanning als demo

nagaan of hij dit resultaat voldoende relevant vindt. Wanner de opdrachtgever ontevreden is kan

hij/zij aangeven welke wijzigingen eventueel van belang zijn. En, hoewel er tijd geïnvesteerd wordt in

de periodieke planning en demonstraties, wordt er volgens de theorie efficiënter gewerkt omdat

eventuele gewenste veranderingen snel in kaart worden gebracht. Tevens draagt de sprintevaluatie

bij aan een efficiëntere samenwerking en het toepassen van verbeteringen in vervolgsprints.

Hiermee wordt bijgedragen aan een deugdelijk resultaat door middel van het gecreëerde leereffect.

Continue integratie is een werkwijze die reeds wordt toegepast binnen audits. Verkregen resultaten

worden vastgelegd in de bevindingenmatrix, die door iedereen wordt bijgewerkt. Refactoring is een

werkwijze die erg lijkt op het scoren van criteria, op basis van nieuw verkregen bewijs kan de score

worden aangepast. Deze werkwijze lijken derhalve geen aanvulling te vormen op auditmethodologie.

Werkwijzen die betrekking hebben op teams

Naast de werkwijzen die passen bij het iteratief werken, zijn ook diverse agile-werkwijzen naar voren

gebracht die te maken hebben met het team en de samenwerking met de opdrachtgever. Dit

betreffen:

• scrummeester/ adaptief managementmodel;

• scrumteams/ samenwerkende teams/ gemotiveerde teams;

• gezamenlijk eigendom;

• individueel eigenaarschap; en

• klant ter plaatse.

Hoewel binnen auditmethodologie veelal een auditmanager is aangesteld, is deze rol niet volledig

gelijk aan die van een scrummeester of de werkwijze zoals toegepast in het adaptive management

model. De leidinggevende rol in de agile-werkwijzen moet ervoor zorgen dat problemen het team

niet in de weg staan. Hij of zij is echter geen projectleider. Het wegnemen van problemen draagt bij

aan de snelheid van uitvoeren van een opdracht. Deze werkwijze draagt derhalve bij aan het

uitvoeren van de opdracht met urgentie. Tevens zorgt deze werkwijze ervoor dat er rust ontstaat

binnen het team wat bijdraagt aan een efficiënt resultaat.

Scrumteams lijken veel op de teams waarin gewerkt wordt bij audits en vormen derhalve geen

verrijking van bestaande auditmethodologie. Dit geldt ook voor individueel en gezamenlijk

eigenaarschap. Vanuit de auditmethodologie komt naar voren dat diverse kwaliteitscontroles plaatst

75

vinden in het auditproces. Werkzaamheden die door een individu zijn uitgevoerd worden door een

ander gereviewd en in team verband worden criteria gezamenlijk gescoord (Bos e.a., 2017). Dit lijkt

veel op de genoemde agile-werkwijzen. Derhalve vormen deze werkwijzen geen verrijking van

auditmethodologie.

De klant ter plaatse zorgt voor een hoge mate van klantbetrokkenheid, waardoor zowel flexibiliteit

als het inspelen op veranderingen kan worden gerealiseerd. Deze werkwijze vraagt echter veel tijd

van de opdrachtgever of een van zijn medewerkers en zorgt derhalve voor een lagere mate van

efficiëntie aan de kant van de opdrachtgever. Daarnaast leert praktijkervaring uit audits dat 1

medewerker veelal niet alle kennis over het gehele object van onderzoek bezit. Derhalve lijkt deze

werkwijze auditmethodologie onvoldoende te verrijken.

Overige werkwijzen

Naast de eerder genoemde werkwijzen bestaat er een groep ‘overige werkwijzen’. Dit betreffen:

• metafoor;

• simpel ontwerp;

• configuratiemanagement; en

• zichtbaarheid & voortgangsrapportage.

De metafoor draagt volgens de theorie bij aan snelheid doordat er sprake is van een gedegen

voorbereiding. Echter, het grote nadeel van de metafoor is dat het doel van een metafoor voor veel

medewerkers onduidelijk is. Kijkend naar de fasen waarin meer snelheid nodig is binnen een audit

(de uitvoering) lijkt een metafoor geen verrijking van auditmethodologie. Juist omdat een metafoor

betrekking heeft op de voorbereiding van een opdracht.

Het simpele ontwerp wordt binnen auditmethodologie reeds ondervangen in het vooronderzoek. In

de technische analyse wordt de opdracht op een zo simpel mogelijke wijze vormgegeven. Derhalve

vormt ook dit element geen verrijking van auditmethodologie, hoewel het zowel een element is dat

zorgt voor snelheid, lean werken en flexibiliteit en reactievermogen.

Configuratiemanagement gaat over het bewaken van opgeleverde producten en heeft derhalve veel

weg van informatiemanagement binnen een audit. Het creëren van orde en overzicht is met

informatiemanagement reeds gerealiseerd. Configuratiemanagement vormt daarom geen verrijking

van auditmethodologie. Dit geldt ook voor zichtbaarheid en voortgangsrapportage. Deze werkwijze

heeft tot doel de voortgang te rapporteren. Binnen auditmethodologie wordt dit reeds gedaan met

76

behulp van voortgangsrapportages. Derhalve is ook deze werkwijze geen verrijking voor

auditmethodologie.

Werkwijzen die bijdragen aan een hogere mate van lean

Hoewel er vanuit de theorie is gebleken dat er in beperkte mate invulling wordt gegeven aan lean

binnen auditmethodologie, zijn er vanuit de literatuurstudie geen werkwijzen gebleken die hierop

een verrijking bieden. De werkwijzen die eventueel een verrijking zouden vormen zijn de metafoor,

het simpele ontwerp, refactoring en continue integratie. Uit de hierboven beschreven analyse is

reeds gebleken dat gelijksoortige werkwijzen binnen auditmethodologie bestaan. Derhalve is er geen

verrijking gevonden in het kader van agile element lean.

Dimensie 3

Vanuit dimensie 3 is gebleken dat vooral nog aanvulling vanuit agile kan worden gerealiseerd op

mensen en hun onderlinge interactie boven processen en hulpmiddelen.

Vanuit de theorie blijkt dat meerde werkwijzen die reeds in dimensie 2 als verrijking zijn benoemd

ook een verrijking op dit vlak vormen. Dit betreffen:

• Planningspel/sprint planning/adaptieve cyclusplanning;

• Dagelijkse scrum;

• Adaptief managementmodel; en

• Sprintdemo/ klantfocusgroep reviews.

Daarnaast zijn er diverse werkwijzen die veel lijken op de werkwijzen in auditmethodologie, maar

waar vanuit de beschrijving van auditmethodologie niet is gebleken dat hiermee expliciet de

onderlinge interactie wordt verbeterd. Dit betreffen o.a.:

• Collectief eigenaarschap;

• Werken in teams; en

• Inspecties (kwaliteitscontroles).

Als laatste betreft het actief gebruikers betrokkenheid. Echter, hiervan is ook al bij de analyse van

dimensie twee gebleken dat dit niet direct bijdraagt aan de doelstelling van auditmethodologie.

Derhalve zijn er vanuit dimensie 3 geen aanvullende werkwijzen die een verrijking vormen op

auditmethodologie. Tevens zijn er geen werkwijzen gevonden die ingaan op uitmunten presteren.

77

Dimensie 4

Vanuit de analyse vanuit dimensie 4 was reeds bekend dat alle werkwijzen worden ondersteund door

werkwijzen vanuit auditmethodologie. Derhalve is hier niet gezocht naar aanvullende verrijking.

78

Bijlage 10 Uitnodiging Delphi-studie

79

Bijlage 11 Onthouding van nadere medewerking

De inhoud van deze bijlage is verwijderd i.v.m. de privacy van de respondenten.

80

Bijlage 12 Interviewvragen

Inleidende vragen: Er worden een aantal inleidende vragen gesteld om na te gaan in hoeverre de geïnterviewde op de hoogte is van auditmethodologie en agile zoals toegepast in het onderzoek.

Ervaring met auditmethodologie

• Ken je de theorie van auditmethodologie zoals deze is opgesteld door Peter Bos, Ron de Korte en Jan Otten?

• Wat zijn de belangrijkste voordelen van deze methodologie volgens jou (vanuit theoretisch en/of toepassingsperspectief)?

• Welke verbetermogelijkheden ten aanzien van deze methodologie onderken je (vanuit theoretisch en/of toepassingsperspectief)?

Ervaring met agile In het geval van audit experts

• Ben je bekend met de theorie over agile?

• Ben je werkzaam (geweest) in een functie waarin agile werken wordt toegepast?

• In wat voor functies heb je agile werken toegepast? Alle respondenten

• Wat zijn voor jou de belangrijkste kenmerken van agile?

• Met welke methoden gebaseerd op agile ben je bekend?

Hoofdvragen: Middels deze vragen wordt nagegaan welke kenmerken uit agile methoden de geïnterviewde als verrijkend voor auditmethodologie classificeert.

Audit methodologie verrijken met kenmerken van agile Ik heb je zojuist een overzicht laten zien in hoeverre auditmethodologie voldoet aan de belangrijkste kenmerken van agile conform mijn literatuuronderzoek en afstemming met een expert op het gebied van auditmethodologie. Op basis van dit overzicht wil ik je een aantal vragen stellen: Welke kenmerken van agile zoals in het overzicht opgenomen kunnen jouws inziens auditmethodologie van Bos, de Korte en Otten verrijken?

• Minimaal de resultaten uit de analyse bespreken

• Iteratief werken

• Snelheid

• Flexibiliteit

• Reactievermogen

• Lean

• Mensen en hun onderlinge interactie boven processen en hulpmiddelen

• Het proces agile houden (Uitmuntend presteren) n.b. de uitleg over de kenmerken van auditmethodologie voor agile experts wordt met behulp van de praatplaat toegelicht. Per kenmerk:

• Waarom vind je dit kenmerk verrijkend voor auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?

• Welke toegevoegde waarde zie je hierin?

81

• Kun je dit verder uitleggen?

• Hoe draagt dit kenmerk jouws inziens bij aan het realiseren van de doelstelling van auditmethodologie (van Bos, de Korte en Otten) of een deelaspecten van deze doelstelling (samenvatting en validatievraag)?

• Hoe draagt dit kenmerk van agile bij aan de door jou genoemde elementen van auditmethodologie (zoals omschreven door Bos, de Korte en Otten) die nog verbeterd kunnen worden?

• Wat zijn de nadelen van dit kenmerk van agile wanneer je het toepast in auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?

• Zie je onderscheid in verschillende type (audit)opdrachten waarbij dit kenmerken toepasbaar is of juist niet?

• Welke verschillen onderken je hierin?

• Kun je dit verder uitleggen? Wanneer kenmerken die uit de literatuurstudie naar voren zijn gekomen als verrijkend, maar niet zijn benoemd door de geïnterviewde, deze separaat bespreken door middel van bovenstaande vragen. Voor de kenmerken die uit de analyse als verrijkend zijn benoemd maar niet worden aangedragen als verrijkend door de geïnterviewde:

• Waarom zie je dit/deze element(en) niet als verrijkend voor auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?

Zijn er kenmerken van agile die we nu niet hebben besproken maar jouws inziens wel relevant zijn? (Indien ja, de vragen hierboven opnieuw behandelen).

Auditmethodologie verrijken met elementen uit methoden gebaseerd op kenmerken van agile Onder elementen uit methoden gebaseerd op kenmerken van agile worden de verschillende werkwijzen verstaan die worden toegepast in de methoden. Hierbij wordt uitgegaan van de methoden XP, Scrum, DSDM, ASD en FDD. Uit mijn analyse zijn een aantal elementen/basis principes naar voren gekomen als verrijkend voor auditmethodologie. Deze elementen wil ik graag met je doornemen.

• Iteratief werken

• Backlog: Proceseigenaar (productowner) betrekken bij prioritering uitvoeren werkprogramma en mogelijkheid bieden toevoegen normen tijdens opdracht

• Dagelijkse scrum

• Sprint/korte releases/regelmatig leveren van producten

• Sprintplanning/planningsspel/adaptieve cyclus planning

• Sprintdemo/ klantfocusgroep

• Sprintevaluatie/ project post mortem

• Scrummeester/adaptief managementmodel: Wegnemen van problemen door de leidinggevende rol

Welke van deze elementen uit methoden gebaseerd op agile vormen volgens jou een verrijking van auditmethodologie? Per element doorvragen met o.a. de volgende vragen:

• Waarom vind je dit element als verrijkend voor auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?

• Welke toegevoegde waarde zie je hierin?

• Kun je dit verder uitleggen?

82

• Hoe draagt dit element jouws inziens bij aan het realiseren van de doelstelling van auditmethodologie (zoals omschreven door Bos, de Korte en Otten) of een deelaspecten van deze doelstelling (samenvatting en validatievraag)?

• Hoe draagt dit element bij aan de door jou genoemde elementen van auditmethodologie (zoals omschreven door Bos, de Korte en Otten) die nog verbeterd kunnen worden?

• Wat zijn de nadelen van dit element wanneer je het toepast in auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?

• Zie je onderscheid in verschillende type (audit)opdrachten waarbij het element wel toepasbaar is of juist niet?

• Welke verschillen onderken je hierin?

• Kun je dit verder uitleggen? Voor de elementen uit bovenstaand overzicht die niet worden aangedragen als verrijkend:

• Waarom ziet je dit/deze element(en) niet als verrijkend voor auditmethodologie? Ik heb zojuist een overzicht laten zien van diverse elementen uit methoden gebaseerd op agile en waar nodig deze elementen toegelicht. In dit overzicht is opgenomen aan welke agile kenmerken deze elementen voldoen.

• Zijn er in dit overzicht elementen opgenomen, die (naast de eerder behandelde elementen) een verrijking vormen van auditmethodologie?

• Welke van deze elementen vormen volgens jou naast de eerder behandelde elementen een verrijking van auditmethodologie? (

• Zijn er elementen uit methoden gebaseerd op agile die we nu niet hebben besproken maar jouws inziens wel relevant zijn?

Afsluitende vraag om na te gaan of er geen onderdelen zijn gemist

• Heb je nog relevante aanvullingen die nu niet zijn besproken?

• Heeft het gesprek inzichten opgeleverd waarmee je in de praktijk verder zou kunnen, zo ja welke en hoe?

• Hoe heb je het gesprek ervaren?

83

Bijlage 13 Interviewverslagen

De inhoud van deze bijlage is verwijderd i.v.m. de privacy van de respondenten.

84

Bijlage 14 Vragenlijst expertvalidatie

Naam:

Datum:

Introductie

Graag wil ik je vragen om onderstaande vraag te beantwoorden voor de 19 genoemde elementen

(werkwijzen) op basis van jouw expertise. In de bijlage bij deze vragenlijst vind je een korte

toelichting over de verschillende werkwijzen en de argumentatie die door mede geïnterviewden is

aangedragen om genoemde elementen (werkwijzen) als verrijkend voor auditmethodologie te zien.

Onderzoeksvraag:

Vormen onderstaande elementen (werkwijzen) uit methoden gebaseerd op agile volgens jou een

verrijking voor auditmethodologie?

Elementen (werkwijzen) Antwoordmogelijkheden (meerdere keuzes mogelijk)

1 Een backlog per audit met auditstories. De opdrachtgever en/of proceseigenaar worden betrokken bij het bepalen van de elementen op de backlog en de urgentie van de verschillende elementen.

☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

2 Werken in iteraties (sprints) ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

3 Dagstart ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

85

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

3a Dagstart zoals in ‘krimi’s’ ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

4 Multidisciplinair team ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

5 Meedraaien in agile-businessteams ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

6 Stakeholdermapping/stakeholder management

☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

86

7 Tussentijds rapporteren aan de klant (demo/review/)

☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

8 Tussentijds evalueren met de klant (retrospectieve met de klant)

☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

9 Tussentijds evalueren met het team (retrospective)

☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

10 Planningsspel ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

11 Scrummeester ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

87

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

12 Persoonlijke kanban ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

13 Werkafspraken (Foundations) ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

14 Fysiek op één locatie werken ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

15 Backlog als auditjaarplan ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

88

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

16 Fastlane ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

17 Onderhanden-werk-limiet ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

18 Heartbeats ☐ Ja, in alle onderstaande gevallen

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)

☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)

☐ Ja, bij opdrachten met een doorlooptijd < 2 weken

☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken

☐ Ja, bij opdrachten met een doorlooptijd > 6 weken

☐ Ja, bij opdrachten met een beperkte scope

☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of

☐ Nee

☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.

89

Bijlage 15 Samenvatting argumenten vanuit interviews

Samenvattend verslag interviews auditmethodologie verrijken met elementen uit methoden

gebaseerd op agile

In de periode maart/april 2018 zijn negen interviews gehouden met experts uit het agile- en audit

vakgebied. Diverse agile principes en elementen uit methoden gebaseerd op agile zijn gedurende

deze interviews als verrijkend aangemerkt voor auditmethodologie. Hieronder volgt een overzicht

van de benoemde principes en elementen uit de verschillende methoden. Per principe of element is

de benoemde argumentatie opgenomen.

Algemene informatie vooraf:

Keuzemogelijkheden op basis van de context

Door de geïnterviewde is benoemd dat het van belang is om per type opdracht keuzes te maken uit

de methoden/ elementen uit methoden die worden toegepast. Deze moeten passen bij de context

waarin de opdracht wordt uitgevoerd.

Agile een verrijking of het expliciet maken van wat al in auditmethodologie staat?

Een gedeelte van de geïnterviewden gaf aan agile-werkwijzen zoals besproken herkenbaar zijn

binnen het auditvakgebied/ auditmethodologie. Deze werkwijzen zijn echter niet altijd zo expliciet

belicht binnen auditmethodologie zoals bij agile wel het geval is. De vraag is dus of het gaat om

verrijken, of dat het over het benadrukken van bepaalde werkwijzen/principes gaat.

Elementen die zijn benoemd als verrijkend

Backlog per audit Een backlog is een lijst met ‘brokken’ werk in volgorde van urgentie. De

opdrachtgever/ proceseigenaar heeft invloed op het bepalen van de urgentie en de ‘brokken’ werk

die op de backlog worden geplaatst.

Argumenten voor:

• Het is uitermate van belang om bij de start van het onderzoek goed de probleemdefinitie in

kaart te brengen. Het gaat er om wat de opdrachtgever ten principale wil; dat dient de

auditor geduldig, vakkundig, empathisch en vertrouwenwekkend te exploreren.

• De opdrachtgever moet helpen bij het bepalen van de waarde van de opdracht. Wat is het

meest belangrijke en waar zitten de problemen, dat weet de opdrachtgever veelal het beste.

Je betrekt hem of haar daarom ook bij het opstellen van de auditbacklog. Met je team zou je

hier de nodige tijd voor uit moeten trekken.

• Elke story moet waarde toevoegen aan benoemde (SMART) auditdoelstelling.

• De items bovenaan je backlog kun je meenemen in de sprintplanning.

• Je maakt via de backlog continu inzichtelijk waar je aan werkt.

• Je hoeft niet alles vooraf vast te leggen in uitgebreide documenten, maar kunt samen

bepalen wat je gaat toetsen.

• Als je iets tegen komt tijdens de audit wat interessant is, heb je de mogelijkheid dit nog toe

te voegen.

• Wanneer je agile gaat werken binnen Internal Audit is het van belang het einddoel te zetten.

Hoe je er precies komt kun je dit nog onderweg bedenken. Een backlog draagt hieraan bij.

• De auditee kan tijdens de prioritering aangeven wat hij belangrijk vindt of waar hij een

onderbuikgevoel bij heeft. Het gevoel van de auditee klopt vaak.

90

• De mindset van het management is altijd vooruit, van de traditionele auditor is dit achteruit.

Als je meer vooruit gaat kijken dan vergroot je de relevantie van het werk wat je als auditor

doet. De agile-werkwijzen passen hier goed bij.

• Het betrekken van de opdrachtgever of auditee bij de opdracht draagt bij aan efficiency voor

de opdracht. In bijvoorbeeld een sessie van een halve dag kun je heel veel inzicht krijgen in

de onderwerpen waarop je verder wilt kijken. Het is van belang dat de cultuur wel stimuleert

dat mensen er open voor staan om inzichten te delen.

• Door de lijst visueel te maken en in een ruimte te hangen waar de medewerkers hun

werkzaamheden uitvoeren is het project de hele dag onder de aandacht van het team

• Het waarom van de opdracht ligt in handen van de opdrachtgever.

Argumenten tegen

• De auditor dient zich te voegen naar de wijze waarop er binnen de organisatie overleg wordt

gepleegd en wordt gecommuniceerd. In de meeste gevallen kan daarbij niet met

zogenaamde “plakkertjes” (in een backlog) worden gewerkt, tenzij het binnen de organisatie

een gebruikelijke manier is van menings- en besluitvorming.

• Nadeel van her prioriteren of tussentijds toevoegen is dat dit wringt met de striktheid van

het vooraf goedgekeurde werkprogramma en de IPPF.

• Je moet oppassen dat je geen speelbal van het management wordt.

• Het is van belang om niet uit het oog verliezen dat je objectief blijft als auditor. Dit is zeker

vanuit de RvC en RvB een belangrijke verwachting.

Werken in iteraties (sprints) Een sprint bestaat uit een vaste periode waarin een gedeelte van het

werk wordt opgeleverd. Iedere sprint heeft een bepaald einddoel, waarbij de opdrachtgever/

proceseigenaar een product (rapport) ontvangt.

Argumenten voor:

• Auditopdrachten kun je goed opknippen in verschillende deelvraagstukken, waardoor je een

auditee vanuit verschillende invalshoeken een eerste herkenbaar en behapbaar zicht kunt

bieden op de voor hem of haar relevante aspecten of thema’s.

• De belangrijkste dingen doe je als eerste. Je kunt daarbij prima 3 tot 4 sprints

vooruitplannen. Alleen moet je onthouden dat deze planning niet heilig is.

• Door iteratief te werken lever je vrijwel direct aan het begin van je audit waarde. Wanneer je

in iteraties werkt, begin je altijd met het belangrijkste (meeste inefficiëntie, grootste risico

etc.).

• In de loop van het traject kun je besluiten dat de belangrijkste elementen zijn opgeleverd. Op

basis van kosten/baten afweging kun je dan besluiten geen effort meer te stoppen in de

laatste minimale verbeteringen. Je kunt tussentijds de opdracht beëindigen;

• Uiteindelijk leidt dit tot een hogere ROI.

• Je houdt de opdrachtgever voldoende aangehaakt waardoor de samenwerking met de

opdrachtgever beter wordt

• Het element om iteratief te werken, heeft dan mede tot doel om aan de competenties van

management en staf te werken binnen een bepaald proces. Door deze manier van werken

wordt het een leerervaring voor de organisatie.

• Je kunt op deze wijze ook sturing geven en kijken waar je op in gaat/ de diepgang van het

testen bepalen. Hierdoor kun je ook stoppen wanneer je voldoende diepgang hebt bereikt.

• De frequentie van opleveren is bij agile hoger dan bij een regulier project.

91

• Met een dergelijke aanpak kun je eerder effect realiseren. Met deze wijze van werken is je

reactievermogen groter. Je kunt direct inspelen op de wens/ behoefte van je klant voor het

volgende element waar je naar gaat kijken. Dit is het omgaan met veranderingen.

• Tijdens een audit kun je hierdoor ook acties initiëren bij je auditcliënt. Deze kunnen ook al

opgelost worden gedurende de audit door je auditcliënt.

Argumenten tegen:

• Het werken in iteraties levert niet altijd efficiency voordeel. Wanneer je in iteraties werkt

wordt er veel meer tijd aan overleg besteed.

• Wanneer de doelstelling is om de audit ‘te doen’ gezien indicaties van onregelmatigheden of

non-compliance, is iteratief werken minder geschikt.

• Wanneer het een assurance-opdracht betreft in de termen van het NBA (verantwoording

afleggen door het management), dan wegen objectiviteit en onafhankelijkheid wat zwaarder

en is deze wijze van werken wellicht iets minder geschikt.

• Wat er veel gebeurt met audits, is dat we ze veel te groot maken. Ze zouden veel kleiner

kunnen qua scope en vooral veel gerichter qua relevantie (doel e.d.). Wanneer je dit doet is

het werken in sprints al niet meer nodig omdat je een audit binnen zes weken kunt afronden.

Dagstart Een dagelijkse bijeenkomst van het team waarin hulpvragen kunnen worden belegd.

Argumenten voor:

• Van elkaar leren als een continu proces past heel goed in deze aanpak en heeft een positief

effect op de verschillende elementen van de auditdoelstelling.

• Belemmeringen worden toegewezen aan een deel van het team die hierover de volgende

dag terug rapporteren. In de dagstart bespreek je de issues niet inhoudelijk.

• Bij een groter team leert het houden van een dagstart je in korte tijd waar iedereen mee

bezig is. Je creëert een samenwerkingssfeer waarbij je kunt aangeven welke problemen je

hebt waardoor je een ander betrekt. Bij een team van 2 mensen is deze werkwijze minder

goed toepasbaar.

Argumenten tegen:

• Niet altijd geschikt voor toepassing in internationale omgevingen waarbij niet iedereen op

één locatie werkzaam is.

• Frequent afstemmen voelt als hoge vorm van belasting (voor het hoofd audit).

• Omdat het team bij elkaar zit is een dagelijkse scrum niet nodig. Twee keer in de week wordt

erbij elkaar gezeten om te bespreken hoe het gaat. Deze frequentie wordt wel als nuttig

ervaren.

Alternatieven:

• Het toepassen van dagstarts als een briefing zoals in ‘Krimi’s kan positief werken omdat de

status van het onderzoek en de allerlaatste bevindingen goed in kaart worden gebracht en

gedeeld met alle bij het onderzoek betrokken auditors.

• Werken in gildes waarbij tussen auditteams onderling op basis van specialismes onderling

kennis wordt gedeeld. Deze gildes hebben dagelijks een dagstart.

92

Multidisciplinair team Het team is samengesteld uit medewerkers met verschillende specialismen

Argumenten voor:

• Een multidisciplinair samengesteld auditteam voorziet in de nodig variaties qua

onderzoeksmethodologie.

• Je kunt bijvoorbeeld een business controller laten meedraaien om performance

management toe te voegen aan je audit.

Argumenten tegen:

• Zijn niet benoemd.

Alternatieven:

• Meedraaien in business agile teams zodat een auditor bijvoorbeeld direct meehelpen met

het helpen prioriteren van een backlog op basis van risico’s. Een klant heeft bij een dergelijke

opdracht direct meerwaarde en hoeft achteraf zaken niet opnieuw uit te voeren. Tijdens de

ontwikkelingen die het business team meemaakt kun je als auditor tijdens een sprint direct

het desbetreffende onderwerp toetsen en zo waarde toevoegen.

• Nadelen bij deze werkwijze is dat de onafhankelijkheid van de auditor hierbij in het geding

kan komen. En het is de vraag of je niet op de stoel van riskmanagement zit.

• Je moet oppassen dat je geen speelbal van het management wordt.

Stakeholdermapping/stakeholder management Je kunt stakeholdermapping toepassen om onder

andere na te gaan wie je allemaal moet uitnodigen voor de reviewsessies en wie invloed heeft op de

scope en urgentie van je audit (backlog).

Argumenten voor:

• Je weet dan wie iets wil of moet met de audit. Dit is heel nuttig om vooraf in kaart te

brengen.

• Stakeholdermanagement is een van de manieren om goed in kaart te brengen wie er

allemaal belang hebben bij de opdracht. Binnen je team maak je iemand verantwoordelijk

voor het informeren van de stakeholders gedurende de opdracht. Deze persoon haalt dan

ook direct feedback op om na te gaan of het team met de juiste dingen bezig is.

Argumenten tegen:

• In het kader van samenwerking is het van belang om al je stakeholders in kaart te brengen. Je

moet aan stakeholdermanagement doen, zeker wanneer er botsende belangen zijn.

Auditmethodologie adresseert dat in de zogeheten ‘technische contextanalyse’; daarmee

breng je het speelveld in kaart. Daarmee is dit stakeholdermanagement reeds onderdeel van

auditmethodologie.

Tussentijds rapporteren aan de klant (demo/review) & Tussentijds evalueren met de klant

(retrospectieve met de klant). Deze termen zijn in de interviews door elkaar gebruikt, onderstaande

argumenten kunnen mogelijk om deze reden voor beide elementen gelden.

93

Argumenten voor:

• Door het stapsgewijs werken kun je fasegewijs het contact aangaan met de opdrachtgever

door de bevindingen te bespreken, te evalueren en de volgende stap door te nemen.

• Idee hierbij is dat je voor een vervolgtraject een backlog creëert, dit zijn transformatiestories.

Met deze transformatiestories kan de klant direct aan de slag.

• Na een iteratie kan de klant met de adviezen aan de slag. Tussentijds kun je feedback halen

en samen nagaan of de verbeterslagen mogelijk zijn. Hierin zoek je afstemming met je klant.

• Je laat vaker iets zien aan de klant. Je hebt op korte termijn inzicht op wat er beter kan,

omdat je frequenter bij elkaar zit.

• Door de continue feedback in het proces weet je wat de klant verwacht en kun je de

uitvoering van de opdracht hierop aanpassen. Je uitkomsten worden beter geaccepteerd.

Het rapport wordt hierdoor minder als een vinklijstje gezien en zal meer beklijven.

• Het eindresultaat van de opdracht wordt door het tussentijds evalueren vermoedelijk beter

afgestemd op de mate van aanvullende zekerheid die de opdrachtgever van de auditor

verwacht.

• Het rapporteren (visueel inzicht geven in afgerond werk met information radiators als

burnupp, burndown, etc.) o.b.v. epics en stories draagt dan bij aan het waarde doel van je

klant.

• Als lange termijneffect kan de relatie met de klant aan toegevoegde waarde winnen.

• Op basis van openheid in de communicatie kan er, in voorkomend gevallen, worden

afgeweken van het originele plan omdat auditor en auditee gezamenlijk kunnen besluiten

dat meer relevante issues zich aandienen.

• De retrospective is een noodzakelijk ritueel om de samenwerking te optimaliseren. Zowel

vanuit de klant kunnen verbeteringen worden aangedragen, als vanuit het auditteam.

• Hoe eerder je iets bespreekt wat je ziet, hoe eerder het bedrijf er profijt van kan hebben. Als

auditteam heb je verbindingsmomenten nodig om met voldoende diepgang te bereiken en

om te weten waar je het over het hebt. Daarmee leidt het werken in iteraties inclusief meer

contact met de business tot inzicht en meer relevantie voor de klant.

• Als je vaker een moment hebt met het management, kun je door de bril kijken van de

persoon die in het proces zit. Het is vooral veel luisteren en de juiste vragen stellen.

• Gedurende het proces lever je kwaliteit. Dit is de ervaring van de betrokken ten aanzien van

het audit proces. Wat leren ze ervan. Welke tussentijdse inzichten hebben ze gekregen.

Wanneer je dan 3 weken later het rapport hebt opgeleverd, kan een deel van de bevindingen

al zijn opgelost door het management. Dan heeft het proces en de verbinding veel effect. Het

ownership kan door deze werkwijze zijn verbeterd.

• Met behulp van deze bijeenkomsten weet je ook of de opdrachtgever het nog zinvol vindt

wat je aan het doen bent. Zo leer je of je tijdig moet stoppen met de opdracht.

• Bevindingen worden veel sneller worden geaccepteerd door de auditees.

• Demo’s maken het mogelijk om met interactie de issues te bespreken. De sfeer is veel

relaxter dan bij een reguliere rapportage. De business ziet direct in dat acties kan worden

ondernomen. De klanten zijn overall positiever.

• Het verkort de feedback lus tussen het moment van bedenken en opleveren van hetgeen je

maakt en vervolgens oplevert. Door in onderdelen op te leveren heb je als ontwikkelende

partij uiteindelijk veel minder overhead. De regressie aan het einde van het project wordt

veel kleiner. De delta is veel kleiner, hierdoor kun je veel beter en efficiënter testen.

Argumenten tegen:

Er zijn geen tegenargumenten benoemd in de interviews.

94

Tussentijds evalueren met het team (Retrospective) Na iedere iteratie vindt een evaluatie met het

team plaats over het teamproces, wat ging goed en wat kan beter. Dit voor zowel het werkproces als

de onderlinge relaties.

Argumenten voor:

• De samenwerking binnen het team wordt meer transparant en beter bespreekbaar; het

wordt bijvoorbeeld duidelijk of een teamlid wat werk uit handen kan worden genomen dan

wel dat werkverruiming of training on the job bij een ander teamlid kan worden toegepast.

• Retro zorgt voor het continu verbeteren en is van meer toegevoegde waarde dan alleen aan

het einde van de opdracht een evaluatie uitvoeren. De combinatie van de review en de

retrospective zorgt ervoor dat je nagaat waar het mogelijk is om tijdens de opdracht nog

waarde toe te voegen.

• Retro’s dragen bij aan het leervermogen binnen een audit.

• Wat goed gaat benoemen krijg je ook energie van.

• Je gaat steeds slimmer gaat werken en daarom kan evalueren binnen audits ook van

toegevoegde waarde zijn.

• Achteraf evalueren van een opdracht heeft voor je opdrachtgever niet veel zin meer.

Wanneer je dit tussendoor al kunt doen, weet je waar je de accenten moet leggen in de

vervolgstappen van het onderzoek, of er nog andere bronnen zijn voor je onderzoek of dat je

‘fouten’ in je onderzoeksproces hebt gemaakt. Hier kun je direct op inspelen. Dit is veel

effectiever.

Argumenten tegen:

• Je hoopt een cultuur te hebben binnen Internal Audit waarbij tussentijds evalueren niet

nodig is. Je zou niet hoeven te wachten op een evaluatie om het uit te spreken als er iets aan

de hand is.

Planningsspel Een methode om in te schatten hoeveel effort in een deel van de werkzaamheden

(story) wordt gestoken. Door alle teamleden worden de verschillende deelwerkzaamheden(story’s)

door middel van punten ingeschat, waarbij als referentiekader andere werkzaamheden gelden. De

hoogste en laagste toebedeelde punten worden geëvalueerd.

Argumenten voor:

• Je gaat pokeren om inzicht te verkrijgen in de tijdsbesteding van je activiteiten.

• De methode om iedereen te laten inschatten hoeveel ‘punten’ een activiteit kost, helpt om

tot een realistischere planning te komen en kan daarmee ook zinvol zijn om toe te passen bij

audits.

Argumenten tegen:

• Door de opdracht in elementen op te delen en de betreffende ervaren auditors zelf globale

tijdschattingen te laten maken (en daarover later terug te laten rapporteren) kan zonder veel

moeite een praktisch hanteerbare planning worden vastgesteld. Hier is geen nieuwe

methode voor nodig.

• Het blijft lastig om tijd in te schatten, maar dit zou voor bepaalde mensen prima kunnen

werken. Het hangt ervan af of je hiervoor open staat. Veelal heb je al wel gevoel of je een

opdracht gaat redden of niet. Het ligt vooral in heldere doelen en het stellen van deadlines of

je de opdracht tijdig afrondt.

95

• Bij een volwassen team weet iedereen ongeveer hoeveel tijd bepaalde werkzaamheden in

beslag zullen nemen.

Scrummeester Een scrummeester is een vaste rol binnen je team. Deze faciliteert alle rituelen en

bewaakt het proces.

Argumenten voor:

• Taken moeten zo klein mogelijk worden gemaakt (uren in plaats van dagen). Een

scrummeester speelt hierin een centrale rol.

• Als je een team hebt dat waarde levert zorgt de scrummeester ervoor dat het team het

proces volgt. Tevens zorgt de scrummeester ervoor dat het team ongestoord zijn werk kan

doen. Het zorgt voor focus in het team zelf. In combinatie met een productowner zou je dit

kunnen toepassen. De productowner bepaalt dan de prioriteit van een team.

Argumenten tegen:

• De vraag is wel of dit altijd nodig is; tenslotte moeten teamleden elkaar onderling kunnen

aanspreken op de wijze waarop de onderlinge communicatie plaats vindt en of de gemaakte

of impliciete afspraken wel worden nageleefd.

• Dit is al de natuurlijke rol van de auditmanager. Dit is daarom niet echt een verrijking naast

wat er standaard is.

• Je ziet steeds meer de trend ontstaan dat deze rol samen wordt gevoegd met de rol van

productowner. Deze persoon vormt dan de teamlead.

• Er bestaat het risico dat zaken worden afgeschoven naar een scrummeester. Dit geldt

bijvoorbeeld ook voor agile coaches.

Persoonlijke kanban Per auditor kun je ook goed persoonlijke kanban toepassen. Hierbij maak je een

bord met ‘to do’, ‘in progress’ en ‘done’, waarin je alle taken van die dag plot.

Argumenten voor:

• Hierdoor zorg je voor focus en word je minder afgeleid. Dit resulteert vervolgens in hogere

productiviteit (stop starting, start finishing). Taken worden door het toepassen van

persoonlijke kanban sneller en beter afgerond.

Foundations (werkafspraken) Met je team en voor je zelf maak je werkafspraken. Dit kan

bijvoorbeeld zijn dat iedereen zijn telefoon op stil zet en pas terugbelt zodra een taak is afgerond.

Argumenten voor:

• Hogere productiviteit.

Fysiek op één locatie werken

Argumenten voor:

• In softwareontwikkeling wordt steeds meer in teams gewerkt die dicht bij elkaar zitten. Zo is

er direct interactie als er iets nodig is. Dit is een manier waarbij je met de verschillende

disciplines bij elkaar, elkaar helpt en verbeterd. Bij een auditrapport kun je direct met z’n

96

tweeën nadenken en een definitieve versie van het rapport opstellen omdat je elkaar

meeneemt in het gedachtenproces.

• Daarnaast helpt het dat een team in één ruimte zit waarbij je ook de wanden van de ruimte

kunt gebruiken om het een en ander te visualiseren. Door in één ruimte samen te werken

kun je veel sneller met elkaar schakelen.

Backlog als auditjaarplan Een overzicht met alle gewenste auditopdrachten die na elke opdracht

wordt geëvalueerd. Op basis van prioriteit wordt de volgende opdracht gekozen.

Argumenten voor:

• Veranderingen op het plan vragen vaak zware processen die de verandering traag maken,

iets wat tegenwoordig niet meer te permitteren is.

• Je maakt een plan waarbij je continu de waarde ervan bijhoudt.

• Je moet uiteindelijk als IAF relevant zijn en waarde toevoegden. Dat kan dus betekenen dat

het auditjaarplan op een andere manier moet worden ingestoken. Je kunt na elke audit, met

de daarmee opgeleverde kennis i.r.t. de voortschrijdende behoefte, weer gaan kijken welke

audits op dat moment het meest relevant lijken. Vervolgens kun je de planning herijken. Een

soort ‘rolling forecast’ dus.

• Uit de uitkomsten van je audit kan immers blijken dat je een nieuw onderwerp hebt

aangeboord wat nog niet op de planning stond, maar dusdanig relevant is om direct te

onderzoeken.

• Hierdoor begin je met de belangrijkste dingen. De vraag hier is hoe je ook de onbelangrijke

dingen meeneemt. Dit kan door onbelangrijke dingen ook punten mee te geven waardoor ze

bovenaan op de backlog komen te staan.

Argumenten tegen:

• Je moet niet zomaar afwijken van je plan omdat vandaag iets belangrijk is. De

gestructureerdheid van werken zoals deze bestaat in het traditionele auditen is van

meerwaarde.

Fastlane Wanneer er een incident binnen komt, komt je team bij elkaar. Een medewerker zet zijn

reguliere taken ‘on hold’. Pas als de taak met prioriteit is afgerond wordt de reguliere taak weer

opgepakt.

• Zorgt voor focus

Onderhanden-werk-limiet Het aantal stories waaraan wordt gewerkt is het aantal teamleden

gedeeld door 2 (naar boven afgerond).

• Dit zorgt voor maximale focus.

Heartbeats Iedere drie tot vier dagen zou je contact moeten hebben met je stakeholders

(heartbeats) om afstemming te hebben over wat je geeft.

• Stakeholders blijven betrokken.

• Hiermee zorg je ervoor dat je acceptatie hebt voordat je een demo hebt. De acceptatie moet

je opbouwen tijdens de sprint.

Argumenten tegen:

97

• Het frequent afstemmen van een opdracht wordt als te frequent en te belastend voor de

audit cliënt gezien.

Algemene bezwaren, aandachtspunten bij agile werken:

• Het gevaar van agile werken kan zijn dat de auditmanager zich vooral concentreert op het

nauwgezet agile werken en niet meer op de professionele habitus van de auditoren met hun

vermogen tot het vaststellen van een onverwachte, cruciale bevinding als deficiëntie in het

management control construct.

• Mogelijk leef je niet geheel de IIA-standaarden/ NBA-standaarden na. Het kan zijn dat de

standaarden op dit vlak ook aan vernieuwing toe zijn. Het is vooral van belang dat je je, als

auditor, ook beseft wat de bedoeling is van wat je doet.

• Als je de IPPF erbij pakt wringt het met het agile werken omdat je vooraf een goedgekeurd

werkprogramma behoort te hebben. Maar dit is maar net hoe strikt je de IPPF interpreteert.

Mogelijk moeten de standaarden herzien worden als je agile meer wilt toepassen.

• Binnen de financiële wordt eerder een grens verwacht in de toepasbaarheid van een agile

methode veroorzaakt door extern toezicht.

Type opdrachten waarbij agile werken wel/niet toepasbaar is:

• Bij een duidelijk hoe en wat van de opdracht kun je gemakkelijk alles uitvoeren en is agile

niet direct van toegevoegde waarde. Dit geldt ook voor het uitvoeren van een opdracht

waarbij je voor de tweede keer hetzelfde doet. Dit kun je prima doen op basis van de

waterval methode. Je weet wat je moet doen en hoe je dit moet gaan doen. Wanneer dit

niet het geval is kun je beter agile/iteratief werken.

• Daarnaast is er onderscheid tussen lange opdrachten en opdrachten van bijvoorbeeld 2

weken. Wanneer je een korte opdracht uitvoert van ongeveer 2 weken spreek je over 1

iteratie en heeft het waarschijnlijk weinig toegevoegde waarde om dit nog verder op te

knippen in kortere periodes. Er zal waarschijnlijk niet zo heel veel veranderen in een week.

• Onder een aantal voorwaarden kun je voor bepaalde soorten audits elementen uit

methoden gebaseerd op agile toevoegen aan je werkwijze. Grootschalige audits met

eventueel een internationale scope kunnen geschikt zijn.

• Voor een kleine opdracht past dit minder goed, omdat je dan al vrij snel tot resultaat komt.

98

Bijlage 16 Afstemming interviewvragen

Afbeelding 1: Afstemming audit professional

99

Afbeelding 2: Afstemming audit professional

100

Afbeelding 3: Afstemming agile professional

101

Bijlage 17 Afstemming vragenlijsten

Afbeelding 1: Afstemming agile professional

102

Afbeelding 2: Afstemming audit/controller professional

103

Bijlage 18 Resultaten per auditcategorie

Per auditcategorie is nagegaan of een werkwijze als verrijkend is aangemerkt. In de grafieken volgt

een overzicht van de resultaten. In de grafieken is het aantal panel leden waarvan het antwoord

begrijpelijk was opgenomen. Tevens is opgenomen hoeveel van de panelleden de werkwijze voor de

auditcategorie als verrijkend hebben gezien. Werkwijzen die niet door een meerderheid als

verrijkend zijn benoemd zijn niet opgenomen in dit overzicht.

Tabel 1: Backlog per audit: resultaten per auditcategorie

Tabel 2: Werken in iteraties: resultaten per auditcategorie

8 8 8 8 8 8 8

5

3 34

5

3

5

0123456789

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Backlog per audit

Panelleden

Verrijkend

8 8 8 8 8 8 8

54

3

5

8

3

6

0

2

4

6

8

10

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke

scope

Werken in iteraties

Panelleden

Verrijkend

104

Tabel 3: Dagstart: resultaten per auditcategorie

Tabel 4: Multidisciplinaire teams: resultaten per auditcategorie

Tabel 5: Meedraaien in agile-businessteams: resultaten per auditcategorie

8 8 8 8 8 8 8

6 6 6 67

6 6

0123456789

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Dagstart

Panelleden

Verrijkend

8 8 8 8 8 8 8

5 5 5 56

5 5

0

2

4

6

8

10

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke

scope

Multidisciplinaire teams

Panelleden

Verrijkend

8 8 8 8 8 8 8

23

2 23

2 20

2

4

6

8

10

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke

scope

Meedraaien in Agile business teams

Panelleden

Verrijkend

105

Tabel 6: Stakeholdermapping: resultaten per auditcategorie

Tabel 7: Demo/review: resultaten per auditcategorie

Tabel 8: Retro met de klant: resultaten per auditcategorie

7 7 7 7 7 7 7

3 3

4 4

5

3

4

0

1

2

3

4

5

6

7

8

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke

scope

Stakeholder mapping

Panelleden

Verrijkend

8 8 8 8 8 8 8

54 4

5

7

45

0123456789

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Demo/Review

Panelleden

Verrijkend

8 8 8 8 8 8 8

5 5 5 5

7

5 5

0123456789

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Retro met de klant

Panelleden

Verrijkend

106

Tabel 9: Retro met het team: resultaten per auditcategorie

Tabel 10: Planningsspel: resultaten per auditcategorie

Tabel 11: Persoonlijke kanban: resultaten per auditcategorie

8 8 8 8 8 8 8

5 5 5 56

5 5

0123456789

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Retro met het team

Panelleden

Verrijkend

6 6 6 6 6 6 6

1 1 1 1

3

1 10

1

2

3

4

5

6

7

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Planningsspel

Panelleden

Verrijkend

7 7 7 7 7 7 7

5 5 5 5

6

5 5

0

1

2

3

4

5

6

7

8

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Persoonlijke kanban

Panelleden

Verrijkend

107

Tabel 12.: Werkafspraken (foundations): resultaten per auditcategorie

Tabel 13: Fysiek op een locatie werken: resultaten per auditcategorie

Tabel 14: Backlog als audit jaarplan: resultaten per auditcategorie

7 7 7 7 7 7 7

3 3 3 3

4

3 3

0

1

2

3

4

5

6

7

8

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Werkafspraken (foundations)

Panelleden

Verrijkend

7 7 7 7 7 7 7

4 4 4 4

5

4 4

0

1

2

3

4

5

6

7

8

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Fysiek op een locatie werken

Panelleden

Verrijkend

7 7 7 7 7 7 7

5

4 4 4 4 4 4

0

1

2

3

4

5

6

7

8

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke

scope

Backlog als auditjaarplan

Panelleden

Verrijkend

108

Tabel 15.: Fastlane: resultaten per auditcategorie

Tabel 16.: Onderhanden-werk-limiet: resultaten per auditcategorie

Tabel 17: Heartbeat: resultaten per auditcategorie

7 7 7 7 7 7 7

3 3 3 3

4

3 3

0

1

2

3

4

5

6

7

8

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke

scope

Fastlane

Panelleden

Verrijkend

8 8 8 8 8 8 8

2 2 2 23

23

0123456789

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke

scope

Onderhanden-werk-limiet

Panelleden

Verrijkend

7 7 7 7 7 7 7

3 3

4 4

5

3

4

0

1

2

3

4

5

6

7

8

Belanghebbendeis

verantwoordelijke

Belanghebbendewil zekerheid

Doorlooptijd <2weken

Doorlooptijd >2weken < 6 weken

Doorlooptijd > 6weken

Opdrachten metbeperkte scope

Opdrachtenomvangrijke scope

Heartbeat

Panelleden

Verrijkend

109

Bijlage 19 Scores vanuit vragenlijsten Verrijking totaal

Ve

rrijk

en

d

Nie

t ve

rrijk

en

d

On

du

ide

lijk

Tota

al g

eld

ige

ste

mm

en

Ja in

alle

on

de

rsta

and

e g

eva

llen

Be

lan

ghe

bb

en

de

is v

era

ntw

oo

rde

lijke

Be

lan

ghe

bb

en

de

wil

zeke

rhe

id

Do

orl

oo

pti

jd <

2 w

eke

n

Do

orl

oo

pti

jd >

2 w

eke

n <

6 w

eke

n

Do

orl

oo

pti

jd >

6 w

eke

n

Op

dra

cht

bep

erk

te s

cop

e

Op

dra

chte

n o

mva

ngr

ijke

sco

pe

Ne

e

Ne

e, h

et

be

tre

ft e

en w

erk

wijz

e d

ie a

l be

staa

t

bin

ne

n a

ud

itm

eth

od

olo

gie

maa

r e

xplic

iete

r

kan

wo

rde

n b

en

adru

kt.

Backlog per audit 6 2 0 8 3 5 3 3 4 5 3 5 2 0

Werken in iteraties 8 0 0 8 3 5 4 3 5 8 3 6 0 0

Dagstart 7 1 0 8 6 6 6 6 6 7 6 6 0 1

Dagstart zoals in 'krimi's' 3 0 5 3 2 2 2 2 2 3 2 2 0 0

Multidisciplinair team 6 2 0 8 5 5 5 5 5 6 5 5 0 2

Meedraaien in agile business teams

4 4 0 8 2 2 3 2 2 3 2 2 3 1

Stakeholdermapping 5 2 1 7 3 3 4 3 3 4 3 3 0 2

Demo/review 7 1 0 8 4 5 4 4 5 7 4 5 0 1

Retro met klant 7 1 0 8 5 5 5 5 5 7 5 5 0 1

Retro met team 6 2 0 8 5 5 5 5 5 6 5 5 0 2

Planningsspel 3 3 2 6 1 1 1 1 1 3 1 1 2 1

Scrummeester 3 5 0 8 1 1 1 1 2 3 1 2 3 2

Persoonlijke Kanban 6 1 1 7 5 5 5 5 5 6 5 5 0 1

Werkafspraken (Foundations) 4 3 1 7 3 3 3 3 3 4 3 3 1 2

Fysiek op één locatie werken 5 2 1 7 4 4 4 4 4 5 4 4 2 0

Backlog als auditjaarplan 5 2 1 7 4 5 4 4 4 4 4 4 1 1

Fastlane 4 3 1 7 3 3 3 3 3 4 3 3 2 1

Onderhanden-werk-limiet 4 4 0 8 2 2 2 2 2 3 2 3 3 1

Heartbeat 6 1 1 7 3 0 0 1 1 2 0 1 1 0

Tabel 1: Aantal stemmen per categorie