de IT-Auditor nummer 2 | 201318 de IT-Auditor nummer 2 | 2013

Een van de mogelijke oplossingen voor de genoemde obstakels bij process mining is om tijdens de ana-lyse- en ontwerpfase van de imple-mentatie van een bedrijfsproces in een systeem na te denken over de toepassing van process mining. Als de registratie van data op een zorgvul-dige manier wordt ingericht en uitge-voerd, produceert het systeem event logs van hoge kwaliteit en kunnen proceseigenaren en auditors bedrijfs-processen en -systemen (eventueel continu) controleren en analyseren.

In dit artikel wil ik deze oplossing verder uitwerken en het belang van de samenwerking van process miningdeskundigen en het imple-mentatieteam benadrukken om tot een betere inrichting van de event log te komen. Ik ga ook in op een aantal voor geautomatiseerde processen belangrijke onderwerpen die sterk met elkaar samenhangen, namelijk: kwaliteit en controleerbaarheid van processen en de life cycle en auditing van de event logs.

De hoofdvraag in dit artikel is: ‘Hoe kan de kwaliteit van de event logs van het systeem verbeterd worden?’ Deze vraag is belangrijk omdat een goed ingerichte event log de controleer-baarheid van geautomatiseerde (bedrijfs)processen ook kan verbete-ren.Ik wil door middel van dit artikel aandacht voor deze onderwerpen

vragen bij proceseigenaren, hoger management en IT-auditors.

kWalitEitsModEllEn Allereerst wil ik het onderwerp ‘kwaliteit’ en ‘controleerbaarheid’ kort toelichten. Bij de implementa-tie van informatiesystemen worden verschillende modellen gehanteerd om de kwaliteit van de systemen, processen en informatiestromen te waarborgen. Een van deze modellen is het IPS-model. Zie figuur 1. IPS staat voor Informatie, Processen en Systemen. Het IPS-model biedt een 360 graden perspectief op alle mogelijke succesfactoren (en faal-factoren) van de informatievoorzie-ning. Het model wordt gehanteerd bij het definiëren van eisen en bij de (acceptatie)testen. Analisten en ont-werpers gebruiken het model om tot volledige eisen en een compleet ont-werp te komen. Testers gebruiken het model voor risicoanalyses en om de opgeleverde (tussen)producten te controleren.

controlEErbaarHEidOpvallend is dat men in de literatuur weinig aandacht besteedt aan de con-troleerbaarheid van informatiesyste-men en -processen in vergelijking met de andere kwaliteitsaspecten zoals die in het IPS-model zijn beschreven. Dit komt doordat niet alle stakeholders zich bewust zijn van het belang van controleerbaarheid of van de mogelijkheden om contro-

DControleerbaarheid en kwaliteit van event logsDit artikel is geschreven naar aanleiding van mijn

artikel dat in de IT-Auditor nummer 3, jaargang

2012 is verschenen [HAAS12]. Toen heb ik vooral

de lessons learned uit mijn praktijkervaring beschre-

ven en de aandachtspunten en moeilijkheden bij

de toepassing van de process miningtechniek1 in

kaart gebracht. De conclusie was dat er een paar

belangrijke obstakels zijn bij het toepassen van

process mining: de vaak matige kwaliteit van de

beschikbare data, de moeite die het kost om de

juiste data te selecteren en de kosten die gemoeid

zijn met het construeren van event logs vanuit de

bron systemen die geschikt zijn voor analyse.

MARIA HAASNOOT-BEZVERHAYA

VERBETERING CONTROLEERBAARHEID VAN GEAUTOMATISEERDE PROCESSEN

IT Auditor_13_02.indd 18 23/05/13 10:20 PM

de IT-Auditor nummer 2 | 2013 de IT-Auditor nummer 2 | 2013 19

processen bijhoudt, een essentiële rol. Maar zoals ik eerder in de aan-leiding heb genoemd, als de event log van onvoldoende kwaliteit is, is geautomatiseerde analyse met proces mining niet mogelijk en is er onvoldoende inzicht te krijgen in de werking van het proces. Vaak con-stateert men slechte kwaliteit van de event log pas achteraf als het proces (en systeem) reeds geïmplementeerd is. In dat geval kost het veel tijd en geld om aanpassingen nog door te voeren. Hierbij rijst de vraag : Hoe kan het anders?In de volgende paragraaf wil ik het proces vanaf de ontwikkeling en de implementatie tot de nazorg van de event logs langslopen en aangeven welke verbeteringen mogelijk zijn.

leerbaarheid te concretiseren en tech-nisch te realiseren. Ook worden sys-temen vaak als een standaardpakket geïmplementeerd en daarna wordt nog veel maatwerk ingebouwd en toegevoegd, waarbij controleerbaar-heid in het ontwerp van het maat-werk niet (of in beperkte mate) wordt meegenomen. Wat is nu ‘con-troleerbaarheid’ en waarom is con-troleerbaarheid zo belangrijk voor de bedrijfsprocessen?Controleerbaarheid heeft verschil-lende synoniemen en verwante begrippen: ‘traceerbaarheid’, ‘meet-baarheid’, ‘auditability’, ‘herleidbaar-heid’.Controleerbaarheid wordt in de literatuur beschreven vanuit drie perspectieven: procesperspectief, systeemperspectief en informatie-perspectief. Hieronder beschrijf ik de drie per-spectieven in het kort:

ProcesperspectiefIn het POQ-proceskwaliteitsmodel is controleerbaarheid een onderdeel van het aspect ‘Bestuurbaarheid’.2 De definitie van controleerbaarheid vanuit het perspectief van dit proces-kwaliteitsmodel is: ‘Controleerbaar-heid is de mate waarin het proces en de invoergegevens controleerbaar en meetbaar zijn voor derden, zoals IT-auditors en beveiligingsdeskundigen.’

SysteemperspectiefIn het ISO 9126-model wordt con-troleerbaarheid genoemd als onder-deel van het aspect ‘Functionaliteit’.3 Definitie van controleerbaarheid in dit model is: ‘Controleerbaarheid is de mate waarin herkomst en correcte ver-werking van data door het systeem op verschillende momenten in de verwer-king gecontroleerd kan worden.’

InformatieperspectiefVolgens het IDQ-informatiekwali-teitsmodel is controleerbaarheid de mate waarin de informatie geschikt is voor controle. Figuur 2 toont deze aspecten van controleerbaarheid in detail en in de paragraaf over auditing

van de event logs ten behoeve van process mining vormen deze aspecten van controleerbaarheid het referen-tiekader.In andere woorden als het aspect ‘controleerbaarheid’ goed in het sys-teem en in het geautomatiseerde proces is aangebracht, is het systeem en het proces geen ‘black box’ meer; het wordt inzichtelijk voor de belang-hebbenden zoals proceseigenaren, data analisten en auditors.

EVEnt log tEn bEHoEVE Van procEss MiningProces miningtechnieken zijn bij-zonder goed geschikt om processen te controleren. Bij deze technieken speelt een event log4, die informatie en data over de geautomatiseerde

Figuur 1: IPS-kwaliteitsmodel [SMAR08]

Het IDQ model is een model voor de kwaliteit van Informatie en Data. Dit model is met name geschikt voor de beoordeling van gegevensverzame-lingen. Typische voorbeelden: datawarehouses, CRM-systemen, managementinformatiesystemen (MIS), ERP-systemen en virtuele marktplaatsen.

Het POQ-model (Process and Organization Quality) voor kwaliteit van processen in organisaties omvat alle kwaliteitsaspecten van geautomatiseer-de en niet-geautomatiseerde processen in organisaties. Dit model is met name geschikt voor de beoordeling van procesinrichting.

Het ISO 9126 model is het model voor Software- en Systeemkwaliteit. Bij dit model ligt de nadruk op de soft-warematige kant en niet op de meer fysieke eigenschappen.

IT Auditor_13_02.indd 19 23/05/13 10:20 PM

de IT-Auditor nummer 2 | 201320 de IT-Auditor nummer 2 | 2013

adviseur aangeven hoe de event log moet worden opgezet om deze geschikt te maken voor proces mining en te laten voldoen aan de eisen van de verschillende belanghebbenden. Het is bijzonder belangrijk om het ontwerp goed te documenteren om in de latere fasen gemakkelijk inzicht te krijgen in de opzet van de event log.De IT-auditors kunnen het uitein-delijke ontwerp van de event log beoordelen waarbij ze vaststellen hoe de eisen met betrekking tot beheersbaarheid en controleerbaar-heid van het proces vertaald zijn. Dit kan onnodige aanpassingen in het systeem in een later stadium voorkomen.

bouw en testenNadat de event log in het systeem volgens de specificaties wordt

liFE cYclE Van dE EVEnt logsIn principe loopt de ontwikkeling en implementatie van een event log gelijk op met de implementatie van een informatiesysteem. Ik ga deze imple-mentatiestappen van de event log langslopen en aangeven op welke manier (en door wie) de kwaliteit van de event log het beste gewaarborgd kan worden.

Vooronderzoek- en eisenanalysefase In deze fase kijkt men naar de eisen aan de event log die voortvloeien uit de eisen met betrekking tot contro-leerbaarheid die aan het systeem (en proces) worden gesteld. Bepaald wordt hoe met het aspect ‘controleerbaarheid van het proces’ moet worden omgegaan en de eisen

aan het event log met betrekking tot de controleerbaarheid worden vastge-legd. Een process miningadviseur kan in deze fase adviseren over de moge-lijkheden van process miningtechnie-ken met betrekking tot de contro-leerbaarheid en de voorwaarden die men moet stellen aan de event log.Om de kwaliteit van het proces door middel van de event log te kunnen controleren, kan men de kwaliteitsas-pecten van het POQ-model in de eisenanalyse meenemen.

ontwerp In deze fase bepaalt men hóe de event log in het systeem moet werken. De eisen uit de vooronderzoeksfase bepalen welke data in de event log wordt opgeslagen. Vervolgens wordt het ontwerp van de event log gemaakt. In deze fase kan een process mining-

Figuur 2: Aspecten van contoleerbaarheid in het IDQ-model

IT Auditor_13_02.indd 20 23/05/13 10:20 PM

de IT-Auditor nummer 2 | 2013 de IT-Auditor nummer 2 | 2013 21

Kwaliteitsaspect Toelichting

Structuur Beoordeling van de structuur van de event log vanuit process mining perspectief. Nagaan of de event log de juiste structuur heeft en het formaat van de velden juist is. Bijvoorbeeld of de datum en tijdstip bij elk activiteit aanwezig zijn.

Eenduidigheid Beoordeling of alle kolommen van de event log eenduidig gedefinieerd zijn en of activiteiten in het pro-ces een eenduidige betekenis hebben. Bijvoorbeeld, het verschil tussen de activiteiten zoals ‘Factuur verwerkt’ en ‘Factuur behandeld’ moet duidelijk gedefinieerd zijn.

Uniciteit Beoordeling of de event log geen overbodige, verouderde of dubbele data bevat. Bijvoorbeeld, dubbele opname van de gegevens, zoals ‘Start datum’ en ‘Begin datum’.

Zelfverklarendheid Beoordeling of de metagegevens van de event log goed gedocumenteerd zijn en de beschrijving van betekenis van de eventueel in codes gelogde gegevens beschikbaar is. Bijvoorbeeld, als velden de naam ‘HDRid’ of ‘IKnr’ hebben of de activiteiten namen hebben zoals ‘101’, ‘102’ moet ook de betekenis van deze namen gedocumenteerd en beschikbaar zijn.

Traceerbaarheid Beoordeling of de informatie uit de event log herleid kan worden tot de bron, de locatie en het moment van ontstaan. Bijvoorbeeld, als de resultaten uit de process mining analyse van de event log in het sys-teem gecheckt moeten worden, kunnen deze makkelijk gevonden worden.

Beveiliging Beoordeling of de toegang tot de event log beperkt is en de event log goed beveiligd is.

Capacitieit en opslag Beoordeling of de event log in het reguliere back up systeem is meegenomen en welke maximale peri-ode wordt gelogd en bewaard.

Change management Beoordeling of de wijzigingen in de event log worden bijgehouden en hoe de wijzigingen in het proces in de event log meegenomen worden.

Consistentie Beoordeling of de schrijfwijze consistent is. Bijvoorbeeld, als de event log verschillende typen datum heeft moeten deze allemaal hetzelfde formaat hebben. Of bijvoorbeeld, het mag niet zo zijn dat een activiteit in de event log wordt geschreven als ‘creditnota geboekt’ maar ook als ‘credit nota geboekt’ (met een spatie).

Betrouwbaarheid Beoordeling of de event log inhoudelijk juist en volledig is. Bijvoorbeeld, of alle processtappen en events juist en volledig geregistreerd zijn en of de data in de event log ongewijzigd is.

Tabel 1: Het referentiekader voor een audit naar de kwaliteit van de event log

gebouwd, wordt de event log getest op de functionele en niet functionele specificaties. In de testomgeving kan een process miningadviseur de event log testen door de toepassing van process miningtechnieken en nagaan of de belangrijkste kwaliteitsaspecten van het geautomatiseerde proces con-troleerbaar zijn en of de event log conform het ontwerp is opgezet. Als bepaalde aanpassingen nodig zijn is het eenvoudiger en minder kostbaar om deze door te voeren voordat het systeem ‘live’ gaat.

implementatie , nazorg en latere aanpassingenWanneer de event log geïmplemen-teerd is, is de nazorgfase van toe-passing. Het is essentieel dat men bij wijzigingen (bijvoorbeeld in de vorm van maatwerk of RFC) ook kijkt naar de impact op de event log. Hier blijkt ook het belang van goede documentatie van het ont-werp en de opzet van de event log. Alle wijzigingen in het systeem en in het proces moeten correct in de event log worden meegenomen. Anders geeft de event log niet de werkelijke werking van het systeem (of proces) weer en is het proces niet controleerbaar.

auditing Van EVEnt logIT-auditors zouden de event log in samenwerking met de process miningadviseurs kunnen beoorde-len op de kwaliteit van de informa-tie die de event log weergeeft. Dit kan in de testfase van de implemen-tatie van de event log, maar dit kan ook periodiek na de implementatie om de zekerheid te geven dat de processen nog steeds controleerbaar zijn. Men kan deze audit uitvoeren in het kader van een audit naar de kwaliteit van de geautomatiseerde processen, waar controleerbaarheid een van de kwaliteitsaspecten is, als een aparte audit of als advies over de kwaliteit van de event logs.Ik stel voor om voor dit type audit het referentiekader in tabel 1 te gebruiken.

Het referentiekader in tabel 1 is gebaseerd op de kwaliteitsaspecten van het IDQ-model (zie figuur 2) en de informatiebeveiligingsaspecten.

saMEnVatting En conclusiEVanuit het oogpunt van kwaliteit van een bedrijfsproces is het van belang dat een bedrijfsproces na de imple-mentatie controleerbaar is. In dit artikel is een oplossing aangeboden om de controleerbaarheid van geau-tomatiseerde bedrijfsprocessen te ver-beteren door middel van een goed ingerichte event log. Uit praktijkerva-ring met de toepassing van process mining voor de analyse van geauto-matiseerde processen blijkt dat de event logs vaak van onvoldoende kwa-liteit zijn, dat niet alle belangrijke data gelogd is, de data van slechte kwaliteit

is, of dat er geen documentatie van de opzet van de event log aanwezig is. Om de kwaliteit van de event logs te verbeteren, is een mogelijke oplossing om over de inrichting van event logs ten behoeve van process mining na te denken in de beginfase van de imple-mentatie van een bedrijfsproces in een systeem, namelijk in de analyse- en ontwerpfase. In de testfase moet men testen of de event log conform de specificaties is gebouwd. In de nazorgfase moeten eventuele wijzi-gingen van het proces ook aange-bracht worden in de event log. De samenwerking van een process miningadviseur met het implementa-tieteam is heel wenselijk om de event logs goed te ontwikkelen. IT-auditors kunnen ook een belangrijke bijdrage leveren door de event logs periodiek te beoordelen en te bepalen of de

IT Auditor_13_02.indd 21 23/05/13 10:20 PM

de IT-Auditor nummer 2 | 201322 de IT-Auditor nummer 2 | 2013

3 Functionaliteit is de mate waarin het informatiesys-

teem functioneel correct is.

4 Onder event log versta ik in het artikel de event

logs die geschikt zijn voor de analyse van de

geautomatiseerde bedrijfsprocessen met process

mining.

Literatuur

[HAAS12] Haasnoot-Bezverhaya, M., Lessons learned bij

toepassing van process mining, in: de IT-Auditor, nr. 3,

2012.

[FLOR01] Florijn, G. en D. Greefhorst,

Softwareproductkwaliteit, in: Informatie, nr.1, 2001.

[SMAR08] http://www.smartest.nl/verdieping/

kwaliteitsmodellen.

Overige literatuur

Florijn, G. en D. Greefhorst, Softwareproductkwaliteit ,

in: Informatie, nr.1, 2001.

event log aan de kwaliteitsnormen voldoet. Deze kwaliteitsnormen zijn in een referentiemodel uitgewerkt dat gebaseerd is op het IDQ-informa-tiekwaliteitsmodel. Event logs van hoge kwaliteit zijn van essentieel belang voor de controleer-baarheid van (bedrijfs)processen. Om deze hoge kwaliteit te bereiken en te handhaven, is samenwerking tussen de verschillende disciplines op dit gebied zoals implementatieteam,

testers, proceseigenaren, process mining adviseurs en IT-auditors belangrijk, zelfs noodzakelijk. ■Noten

1 Process mining is een methode om bedrijfsprocessen

in en rond een informatiesysteem op te sporen en te

analyseren met behulp van de event log die het

informatiesysteem produceert.

2 Bestuurbaarheid is de mate waarin het proces

transparant, meetbaar en bestuurbaar is en

mogelijkheden biedt tot tracering en controle

door derden.

Drs. M. (Maria) Haasnoot-Bezverhaya EMITA RE is sinds 2008 werkzaam bij de Departementale Auditdienst (DAD) van het Ministerie van Infrastructuur en Milieu (per 1 mei 2012 onderdeel van de nieuw gevormde Auditdienst Rijk –ADR). Haar interesse gaat vooral uit naar process mining, softwarekwaliteit, IT-Governance en projectmanagement.

maakt je de

onmisbare schakel tussen strategie en

human capital

Als HR-professional lees je in P&Oactueel alles over human capital, development, meetbaar HR en wet&regelgeving.P&Oactueel is betrokken, praktisch, inspirerend en analytisch.

human cappital

l ll h

VOOR EEN GRATIS ABONNEMENT: besteleenvakblad.nl/penoactueel

IT Auditor_13_02.indd 22 23/05/13 10:20 PM