Wiskundige steekproeven en IT-audit

5
de IT-Auditor nummer 2 | 2011 29 Wiskundige steek- proeven en IT-audit E Technieken als kritische deelwaarne- mingen en data-analyse werken het best bij het zo snel mogelijk lokalise- ren van fouten. Wat de auditor echter wil (of liever: zou moeten willen), is zo snel mogelijk de populatie – het bestand met gelogde gegevens in casu – goedkeuren. Wiskundige steek- proeven bieden hem het gereedschap om de toereikendheid van zijn onder- zoek te expliciteren. Dat wil zeggen: zijn subjectiviteit te objectiveren. Mijn voorbeeld gaat weliswaar over het werk van de IT-auditor, het kan evengoed over de compliance tests van een compliance officer, een inter- nal auditor of een financial auditor gaan. Om te komen tot zo’n beschouwing exerceert dit artikel in het hoofd- stuk ‘Basiszaken Steekproeven’ door een deel van de steekproeftheorie. De zaken met betrekking tot de jaarrekeningcontrole (financial audit) zijn beknopt vertolkt, omdat Arjan Hassing 1 eerder al een uiteen- zetting over geldsteekproeven heeft gegeven. In ‘Steekproef bij een IT- audit’ wordt gezocht naar theoreti- sche steun bij compliancetests uit de jaarrekeningcontrole en komen we door middel van een uitstapje via methodologie en een potentiële val- kuil terecht bij de relatie tussen IT- auditbudget, hoeveelheid werk en tolerantie. Het artikel sluit af met een samenvatting. BASISZAKEN STEEKPROEVEN In dit artikel wordt onder een ‘steek- proef ’ een mathematische steekproef verstaan. Steekproeftechnieken, geba- seerd op wiskunde dus, kunnen worden gebruikt om schattingen te maken en om te toetsen. In beide gevallen is een aselecte trekking van steekproefelementen nodig. Alle ele- menten uit zo’n populatie moeten een gelijke trekkingskans (gehad) hebben. Een onderzoek, zoals het voorbeeld in de inleiding, is op goedkeuring gericht. Dat houdt in dat zo’n onder- zoek a priori een toetsingsonderzoek is. Wat houdt nu zo’n toetsing met behulp van een steekproef in en welke voetangels en klemmen kent zo’n steekproef? Steekproeven en toetsen De methodologie van een toet- singsonderzoek is als volgt: men formuleert een nulhypothese en een alternatieve hypothese. De Een IT-auditor kan een oordeel geven over de toewijzingen van rechten aan gebruikers. Hij zal dan beoordelen of er procedures voor zijn, of die procedures hebben bestaan en vooral ook of die procedures hebben gewerkt. Idealiter zou de auditor over een schouder willen meekijken (en dat voldoende frequent). Hij zal meestal vaststellen dat een bestand met gelogde toewijzingen van rechten het dichtst komt bij dat over de schouder meekijken. Dergelijke bestanden zijn omvangrijk. Heel omvangrijk. Alle records bekijken, levert wel erg veel werk op. Welke technieken zijn dan beschikbaar om tot een oordeel te komen? Een kritische deelwaarneming? Data-analyse? Steekproeven? HEIN KLOOSTERMAN

Transcript of Wiskundige steekproeven en IT-audit

Page 1: Wiskundige steekproeven en IT-audit

de IT-Auditor nummer 2 | 2011 29

Wiskundige steek-proeven en IT-audit

E Technieken als kritische deelwaarne-

mingen en data-analyse werken het

best bij het zo snel mogelijk lokalise-

ren van fouten. Wat de auditor echter

wil (of liever: zou moeten willen), is

zo snel mogelijk de populatie – het

bestand met gelogde gegevens in casu

– goedkeuren. Wiskundige steek-

proeven bieden hem het gereedschap

om de toereikendheid van zijn onder-

zoek te expliciteren. Dat wil zeggen:

zijn subjectiviteit te objectiveren.

Mijn voorbeeld gaat weliswaar over

het werk van de IT-auditor, het kan

evengoed over de compliance tests

van een compliance officer, een inter-

nal auditor of een financial auditor

gaan.

Om te komen tot zo’n beschouwing

exerceert dit artikel in het hoofd-

stuk ‘Basiszaken Steekproeven’ door

een deel van de steekproeftheorie.

De zaken met betrekking tot de

jaarrekeningcontrole (financial

audit) zijn beknopt vertolkt, omdat

Arjan Hassing1 eerder al een uiteen-

zetting over geldsteekproeven heeft

gegeven. In ‘Steekproef bij een IT-

audit’ wordt gezocht naar theoreti-

sche steun bij compliancetests uit de

jaarrekeningcontrole en komen we

door middel van een uitstapje via

methodologie en een potentiële val-

kuil terecht bij de relatie tussen IT-

auditbudget, hoeveelheid werk en

tolerantie. Het artikel sluit af met

een samenvatting.

BASISZAKEN STEEKPROEVEN

In dit artikel wordt onder een ‘steek-

proef ’ een mathematische steekproef

verstaan. Steekproeftechnieken, geba-

seerd op wiskunde dus, kunnen

worden gebruikt om schattingen te

maken en om te toetsen. In beide

gevallen is een aselecte trekking van

steekproefelementen nodig. Alle ele-

menten uit zo’n populatie moeten een

gelijke trekkingskans (gehad) hebben.

Een onderzoek, zoals het voorbeeld

in de inleiding, is op goedkeuring

gericht. Dat houdt in dat zo’n onder-

zoek a priori een toetsingsonderzoek

is. Wat houdt nu zo’n toetsing met

behulp van een steekproef in en welke

voetangels en klemmen kent zo’n

steekproef?

Steekproeven en toetsen

De methodologie van een toet-

singsonderzoek is als volgt: men

formuleert een nulhypothese en

een alternatieve hypothese. De

Een IT-auditor kan een oordeel geven over de

toewijzingen van rechten aan gebruikers. Hij zal

dan beoordelen of er procedures voor zijn, of die

procedures hebben bestaan en vooral ook of die

procedures hebben gewerkt. Idealiter zou de

auditor over een schouder willen meekijken (en

dat voldoende frequent). Hij zal meestal vaststellen

dat een bestand met gelogde toewijzingen van

rechten het dichtst komt bij dat over de schouder

meekijken. Dergelijke bestanden zijn omvangrijk.

Heel omvangrijk. Alle records bekijken, levert wel

erg veel werk op. Welke technieken zijn dan

beschikbaar om tot een oordeel te komen? Een

kritische deelwaarneming? Data-analyse?

Steekproeven?

HEIN KLOOSTERMAN

Page 2: Wiskundige steekproeven en IT-audit

de IT-Auditor nummer 2 | 201130

nulhypothese luidt: ‘Goedkeuring

is (nog) niet mogelijk’. De onder-

zoeker gaat proberen ‘bewijs’ te

vinden om de alternatieve hypo-

these te kunnen stellen: ‘Goedkeu-

ring is mogelijk’. Het resultaat in

controletermen luidt dan: “Er is

een toereikende controle uitge-

voerd om (ongeclausuleerd) te

kunnen goedkeuren.” Kan men niet

tot die alternatieve hypothese

komen,2 dan dient de populatie te

worden gezuiverd. Na zuivering

kan de populatie opnieuw ter con-

trole worden aangeboden en kan

men opnieuw het onderzoek gaan

uitvoeren.

Randvoorwaarden en

begrippen

Meetbaarheid

Het toepassen van steekproeven ver-

eist meerdere – voor de hand liggende

– zaken.

In de eerste plaats moet ieder te

meten element ook gemeten kunnen

worden.3

Aanwijsbaarheid

Om met behulp van statistiek te

kunnen schatten of toetsen, is het

verder nodig dat de elementen (vol-

doende) aselect kunnen worden aan-

gewezen.

Toetsbaarheid

Bij het toetsen is het verder nodig dat

bij ieder getrokken element, ook de

norm waaraan getoetst wordt, kan

worden vastgesteld. Dit element van

toetsbaarheid is elementair.4 Let wel:

de toetsbaarheidseis geldt niet alleen

voor toetsingsonderzoeken met

behulp van steekproeven, maar voor

ieder toetsingsonderzoek. Uiteraard

ook voor onderzoeken die integraal5

worden uitgevoerd.

In literatuur over steekproeven wordt

vaak gesproken over ‘foutdefinitie’.

Methodologisch zou ‘goeddefinitie’

eerder in aanmerking komen als term,

omdat de evidence die per te onder-

zoeken item verzameld gaat worden,

duidelijk moet maken dat dat item

‘goed’ is. Er wordt dus bewijs gezocht

om de alternatieve hypothese te

ondersteunen.

Steekproefparameter betrouwbaarheid

Van groot belang is de statistische

betrouwbaarheid waarmee men

bereid is te werken. In het auditvak is

de term ‘betrouwbaarheid’ een homo-

niem.6 Bij het toepassen van statistiek

is betrouwbaarheid een kansbegrip.

Met dat begrip – samen met het

begrip ‘onnauwkeurigheid’ – wordt de

onzekerheid in de uitkomsten van het

onderzoek aangeduid.

Steekproefparameter onnauwkeurig-

heid

De onnauwkeurigheid van een (goed-

keuringssteekproef ) is een aandui-

ding van de slechtste populatie die

met een kans ‘betrouwbaarheid’ nog

net wordt goedgekeurd. Dit kan ook

wel een worst case scenario worden

genoemd.7

Trekkingselementen

Als element van schatting of toetsing

kan men de afzonderlijke records

nemen, alsook de geldeenheden waar-

uit die records bestaan.

Financiële controle: a priori geld-

steekproeven

In de accountantscontrole wil men

doorgaans de uitkomsten uitdrukken

in geld. Het ligt dan voor de hand te

kiezen voor het selectie-element

‘geldeenheid’. De kritische grens,

zoals bijvoorbeeld ‘materialiteit’8, kan

men dan ook in geld vaststellen. Wat

kan leiden tot een overzichtelijke9

aanpak.

Samengevatte eisen

Samengevat is de belangrijkste eis

die aan auditing kan worden gesteld

de eis van controleerbaarheid, dus

de eis van het in beginsel kunnen

vergelijken van alle paren Ist- en

Soll-posities. Wil de audit gebruik-

maken van steekproeven, dan

gelden aanvullend de eisen dat er

een ‘norm voor onbetrouwbaarheid’

(complement van betrouwbaar-

heid) wordt vastgesteld en een

‘norm voor onnauwkeurigheid’.10

Bij

het toepassen van geldsteekproeven

gebruiken accountants voor die

onbetrouwbaarheid de term ‘steek-

proefrisico’ en voor onnauwkeurig-

heid de termen ‘controletolerantie’

en ‘materialiteit’.

Geldsteekproeven

Het toepassen van geldsteekproe-

ven11

neemt als uitgangspunt dat de

te beoordelen elementen geldeenhe-

den zijn. Dat betekent dat de trek-

king wordt verricht op een (virtuele)

populatie geldeenheden. Na de trek-

king vindt de beoordeling van de

geselecteerde posten12

plaats. De

beoordeling van een post is er (in de

context van de controle van een jaar-

rekening) op gericht om vast te stel-

len dat die post goed is. Het doel is

dat er uiteindelijk voldoende goede

elementen zijn vastgesteld om de

nulhypothese te kunnen verwerpen

en de alternatieve hypothese kan

worden aanvaard. Dit betekent dat

de financiële verantwoording goed-

gekeurd kan worden.

Postensteekproeven

Een postensteekproef bestaat uit

aselect aangewezen elementen van de

te beoordelen populatie. Als er sprake

is van een (elektronisch) bestand,

dan zijn de records ervan de te selec-

teren elementen. De technische

hulpmiddelen spreken daarom van

record sampling. Ieder element of

record dient in beginsel een gelijke13

kans te hebben om getrokken te

worden. Deze trekkingmethode heet

random selectie. Een elektronisch

bestand, zoals het bestand met

gelogde gegevens uit de inleiding, kan

worden benaderd met een audit tool

zoals bijvoorbeeld IDEA of ACL.

Dit gereedschap voorziet in de trek-

kingsmethode random selectie.

De meeste theorieën over steekproeven

gaan ervan uit dat de steekproefpara-

meters, zoals de statistische onbe-

trouwbaarheid en een maximaal aan-

vaardbare onnauwkeurigheid (zeg: een

materialiteit in posten of in  records),

bekend zijn. Uit die parameters pleegt

Page 3: Wiskundige steekproeven en IT-audit

de IT-Auditor nummer 2 | 2011 31

dan vervolgens de steekproefomvang te

worden afgeleid.

Het vaststellen van een (goedkeu-

rings-)norm is geen sinecure. De

vraag is ook of die parameter niet

eigenlijk een gevolg is van de hoeveel-

heid werk (de steekproefomvang).

STEEKPROEF BIJ EEN IT-AUDIT

De casus

In het voorbeeld van de inleiding

ging het om het beoordelen van de

toewijzing van rechten aan de ver-

schillende gebruikers. Het toewij-

zen van rechten tot het toevoegen,

het wijzigen, het verwijderen en het

raadplegen van records wordt door-

gaans niet voor iedere afzonderlijke

gebruiker vastgesteld, maar voor

groepen gebruikers. Iedere gebrui-

kersgroep wordt wel ‘rol’ genoemd.

De rechten per rol plegen zo te

worden ingericht dat raadplegen

wordt beperkt door middel van een

need to know-uitgangspunt, idealiter

het muteren en het verwijderen van

records niet dan in uitzonderings-

gevallen wordt toegestaan en het

toevoegen van records overeen

moet komen met de betreffende rol.

De toewijzing van rollen, gevoegd

bij de reeds uitgegeven rollen, kan

worden gecontroleerd als per

gebruiker de beginsituatie is vast-

gesteld en per wijziging wordt

beoordeeld of de gebruiker niet te

veel of te weinig rechten krijgt ver-

geleken met de functie die hij op

dat moment bekleedt. Hoeveel van

die wijzigingen moet de auditor

beoordelen? Wat is het audit risk

met betrekking tot de IT-auditor?

Wat is de onnauwkeurigheid die is

toegestaan bij zo’n onderzoek?

Kortom, wat zijn de audit- en dus

de steekproefparameters?

De betekenis van de vast te

stellen parameters

Betrouwbaarheid

De literatuur over controle hanteert

niet een eenduidig begrip ‘risico’.14

De

begrippen ‘betrouwbaarheid’ en

‘onnauwkeurigheid’ dreigen daardoor

min of meer als synoniem te worden

gebruikt. Onbetrouwbaarheid15

is,

zoals gesteld, een kans (op ten

onrechte goedkeuren van een foute

populatie). Voor de onbetrouwbaar-

heid hanteert men de term risk.16

Onnauwkeurigheid

Onnauwkeurigheid is (in accoun-

tantscontrole) de foutomvang van de

worst case.17

Ter vergelijking: in het geval van geld-

steekproeven hanteert men het begrip

‘materialiteit’ (of een daarvan afge-

leide grootheid: controletolerantie)

voor de onnauwkeurigheid.

IT-auditrichtlijnen en

steekproeven

ISACA heeft in een van de guideli-

nes18

onderkend dat IT-auditors

steekproeven kunnen toepassen.

Deze standaard is (mijns inziens te)

letterlijk overgeschreven van de

accountantsstandaarden en beschrijft

daarom zowel financiële als niet-

financiële steekproeven bij het uitvoe-

ren van IT-audits. In het voorbeeld

van het onderzoek naar de rolverde-

ling helpt deze richtlijn ons niet

verder.

De richtlijnen voor de accountants-

controle geven wel algemene bewoor-

dingen voor onderzoeken met behulp

van steekproeven, maar geven geen

recept of een model waarmee het

aantal te verrichten compliance tests

helder wordt gemaakt.

De praktijk van de financiële con-

trole kan ons wellicht wel verder

helpen. Zo zien we in de praktijk

van de controle compliance tests

van 25, 30, 37, 45 of 60 waarnemin-

gen. Het door middel van een steek-

proef doorploegen van een logbe-

stand is immers te kwalificeren als

een compliance test. In de literatuur

heb ik geen beslissingsmodel

kunnen vinden dat dergelijke aan-

tallen verklaart.

Voldoende omvang van een

steekproef (audit sufficiency)

De IT-auditor is – net als de financial

auditor – bij het definiëren van zijn

onderzoek gehouden (expliciet) te

definiëren wat hij sufficient evidence

vindt. Het gaat in het geval steek-

proeven worden gebruikt, zo zagen

wij, om twee parameters. Te weten

‘betrouwbaarheid’ en ‘(on)nauwkeu-

righeid’.

Betrouwbaarheid

Sluit de IT-auditor zich aan bij de

95 procent (statistische) betrouw-

baarheid zoals zijn collega’s in de

financiële audit hanteren? Het lijkt

mij een bevredigend uitgangspunt.

Onnauwkeurigheid; tolerantie

Wat neemt een IT-auditor als uit-

gangspunt voor de onnauwkeurig-

heid?19

Welk aanknopingspunt moet

hij hanteren?20

De meeste tests op het goed werken

van de organisatie gaan er (impliciet)

vanuit dat de organisatie in voortdu-

ring goed heeft gewerkt: die werking

moet alleen nog in voldoende mate

worden vastgesteld. Die ‘voldoende

mate’ is abstract.

In [HEER74] en [BLOK93] wordt

gesproken over het afwegen van nut

en kosten van een (steekproef )

onderzoek. Beide bronnen geven

geen maat voor het vaststellen van de

‘onnauwkeurigheid’ of de tolerantie.

Wellicht bieden de uitgangspunten

die voor wetenschappelijke toetsings-

onderzoeken zijn bedacht21

mogelijk-

heden.

In de auditconsiderans zal de ver-

wachting toetsbaar zijn gedefinieerd.

Men zal aangeven hoeveel effort men

ervoor over heeft om te proberen de te

bewijzen stelling te valideren.22

De te

bewijzen stelling is dan ‘de populatie is

goed genoeg’ en dat wordt aangetoond

met voldoende paren Ist- en Sollposi-

ties die overeenstemmen. Die hoe-

veelheid effort is subjectief, net als een

onnauwkeurigheid dat is. De winst is

echter dat die ‘voldoende effort’ de

‘maatschappelijke kosten van de audit’

representeert. De subjectieve kwalifi-

catie ‘onnauwkeurigheid’ wordt zo

geobjectiveerd door de vertaling

naar ‘de kosten van de audit’. Dat

Page 4: Wiskundige steekproeven en IT-audit

de IT-Auditor nummer 2 | 201132

achteraf groter is dan wat vooraf is

begroot.

De te hanteren statistische betrouw-

baarheid is vastgesteld op 95 procent.

Stel, men heeft een onderzoek

gepland en in het budget steekproef

van samen 120 te controleren ele-

menten begroot. Dit aantal was geba-

seerd op het uitgangspunt dat de

populatie waaruit de compliance tests

moesten worden getrokken, bestond

uit één (super)populatie die weer uit

twee (deel)populaties bestaat. Elke

deelpopulatie had een tolerantie

(maximale foutfractie) van 5 pro-

cent.24

Dat levert per deelpopulatie 60

waarnemingen en dus in totaal 2 * 60

= 120 waarnemingen.

Als er opeens vijf (deel)populaties

van dezelfde (super)populatie blijken

te zijn, moeten er dan 5 * 60 = 300,

dus weer 60 per deelpopulatie, waar-

nemingen worden genomen?25

Dit

zou schrijnend zijn, nu de omvang

van de totale te beoordelen (super)

populatie niet groter is dan die twee

vooraf verwachte (deel)populaties.

We kunnen dus concluderen dat het

vaststellen van een tolerantie ter

grootte van een percentage per deel-

populatie leidt tot een ongewenst

effect: het uit de hand lopen van het

controlebudget.

Als men op basis van het budget had

gesteld dat de tolerantie 2,5 procent

van de (super)populatie was, dan was

daarmee de gewenste controle-

inspanning van deze IT-auditor vast-

gelegd. Dit lijkt mij een redelijke

wijze van werken. Mocht het blijken

dat er sprake is van een serie deelpo-

pulaties dan zouden die daar naar

evenredigheid uit de totale steekproef

kunnen ‘putten’.26

Welke vragen blijven?

Als de IT-auditor een deelwaarne-

ming wil verrichten, ligt het toepas-

sen van mathematische steekproeven

voor de hand. De IT-auditor moet

zich nog wel buigen over de parame-

ters die hij gaat toepassen. Mag hij

bijvoorbeeld de 95 procent betrouw-

baarheid overnemen van de financial

auditors? En mag hij het gedeelte van

zijn IT-auditbudget dat bestemd is

voor detailonderzoeken vertalen naar

een tolerantie, een onnauwkeurigheid

(in de audit)?

De eerste vraag lijkt bevestigend te

kunnen worden beantwoord. Ik vind

het evident dat ook de tweede vraag

bevestigend wordt beantwoord.

Vinden mijn collega’s dat ook?

SAMENVATTING

Net als in financial auditing is in IT-

auditing het toepassen van steekproe-

ven geen gemeengoed. Dat is de reden

voor de twee inleidende paragrafen

over steekproeven.

Omdat veel IT-audits detailcontroles

kennen en die controles vaak het

karakter van compliance tests hebben,

lenen die detailcontroles zich, net als

andere compliance tests, voor posten-

steekproeven. Postensteekproeven

zouden moeten worden ingericht als

mathematische steekproeven. De

omvang van de steekproeven lijkt te

volgen uit het auditbudget. Het toe-

passen van steekproeven zal het con-

cretiseren van gedachten over suffi-

ciency van IT-audits stimuleren.

IT-auditors zullen hun inzichten en

ervaringen moeten delen. ■

betekent dat naarmate de vaststelling

van de overeenkomst tussen Soll en

Ist moeilijker is vast te stellen het

gerechtvaardigd lijkt minder van der-

gelijke vaststellingen te doen. Nog

steeds kan de ‘effort’ of de ‘onnauwkeu-

righeid’ niet objectief worden afgeleid

uit grootheden van de te controleren

organisatie, maar de beroepsgroep23

heeft een handvat om de inspanning

als aanvaardbaar te duiden: de hoe-

veelheid te verrichten onderzoek

wordt transparant gemaakt.

Het forum [GROOT81]

NOREA zou binnen de beroeps-

groep kunnen waarnemen dat IT-

auditors zich vertrouwd voelen als zij

een betrouwbaarheid van 95 procent

(is gelijk aan een auditrisico van 5

procent) hanteren.

Verder zou NOREA kunnen waar-

nemen dat IT-auditors de omvang

van de hoeveelheid werk laten afhan-

gen van de omstandigheden bij de

gecontroleerde.

Uitgaande van verschillende omstan-

digheden bij verschillende audits

komt mij een onnauwkeurigheid in

een range van pakweg 10 procent tot

1 procent in eerste instantie als rede-

lijk voor. Het onnauwkeurigheids-

percentage kan dan afhankelijk

worden gemaakt van de effort per

onderzochte vraag of set vragen.

Het lijkt mij de moeite waard onder-

zoek onder IT-auditors te doen naar

de omvang van hun detailonderzoe-

ken in relatie tot de betreffende popu-

laties.

Valkuil?

In de praktijk wordt vaak een maxi-

male foutfractie als onnauwkeurig-

heid vastgesteld. Het formuleren

van een onnauwkeurigheid door

middel van een maximale foutfractie

(of -percentage) blijkt echter een

valkuil te herbergen. Als er sprake is

van meerdere deelonderzoeken,

bestaat de neiging om een eenmaal

bepaalde fractie op al die delen toe

te passen. Daardoor dreigt het uit-

gangspunt te worden verlaten dat de

effort die voor goedkeuren nodig is,

Hein (H.H.W.) Kloosterman RE RA is betrokken bij de accoun-

tantsopleiding van de Business Universiteit Nyenrode. Daarnaast is hij

de Erasmus Universiteit (ESAA) en de EDP-auditopleiding van de VU.

Verder is hij ondermeer lid van de redactieraad van Handboek EDP-

audit en werkt hij als zelfstandig adviseur op het gebied van IT-audit

en Statistical Audit.

Page 5: Wiskundige steekproeven en IT-audit

de IT-Auditor nummer 2 | 2011 33

Noten

1. [HASS07] en [HASS08].

2. Dat wil zeggen de nulhypothese blijft gelden. En die

luidt: de verantwoording kan niet goedgekeurd wor-

den. In de accountantspraktijk kan men daarvoor

lezen: de verantwoording kan zonder verbetering

niet goedgekeurd worden.

3. De elementen moeten met andere woorden toets-

baar zijn, vergeleken kunnen worden met een norm.

De waarde van de Ist-positie moet dus kunnen wor-

den vastgesteld.

4. De eis van toetsbaarheid heeft dus twee pijlers:

meetbaarheid en een maatstaf waaraan de gemeten

waarde kan worden geconfronteerd; ofwel: vaststel-

len Ist-positie en vaststellen Soll-positie.

5. Met andere woorden: de hele populatie, de hele

massa, of het hele universum.

6. Homoniem = één woord dat meerdere betekenissen

heeft

7. Als een populatie wordt gekeurd met een betrouw-

baarheid van 95% en een onnauwkeurigheid van

1%, dan betekent dit dat een steekproef van 300 ele-

menten uit een populatie die 1% onjuiste elementen

bevat, er 5% kans is dat al die 300 elementen als

goed kunnen worden gekwalificeerd.

8. Materialiteit is een vertaling die accountants van het

begrip onnauwkeurigheid hebben gemaakt.

9. Transparant zowel als repeteerbaar.

10. De eisen met betrekking tot betrouwbaarheid en

onnauwkeurigheid moeten tesamen “redelijke

zekerheid” uitbeelden.

11. In de artikelen van Hassing zijn geldsteekproeven

aan de orde geweest.

12. Bij deze techniek zijn de “posten” de records waarin

zich de getrokken geldeenheden bevinden.

13. Hier is geabstraheerd van steekproeven zonder

teruglegging. Daardoor kan ik afzien van de behan-

deling van de hypergeometrische verdeling. Dat is

aanvaardbaar omdat de steekproeven waarover het

in dit artikel gaat veel en veel kleiner zijn dan de

populatieomvang.

14. Men gebruikt risico tenminste in de betekenis:

kwade kans, effect van een kwade kans, oorzaak

van een ongewenst effect. Daarnaast worden die

begrippen nog toegepast op het bedrijfsgebeuren,

het vastleggen van het bedrijfsgebeuren en het

controleren van de vastleggingen van het bedrijfs-

gebeuren.

15. In kansen betrouwbaarheid = 1 – onbetrouwbaar-

heid; onbetrouwbaarheid is de kans op ten onrechte

goedkeuren.

16. Men gebruikt meerdere begrippen: audit risk, sam-

pling risk, et cetera. Dit artikel laat risico-analyse

volgens het “audit risk model” of “audit assurance

model” buiten beschouwing.

17. De slechtste populatie die een dergelijk steekproef-

resultaat kan laten zien.

18. IS Guideline G10: Audit Sampling.

19. Een geldsteekproef is bij een compliance test of

andere detailtests die bij een IT-audit kunnen wor-

den toegepast niet aan de orde. Een geldbedrag als

“materialiteit” dus ook niet.

20. In een IT-audit is er sprake van “tests of controls”, of

“tests of control effectiveness”, of termen van die

orde. Dus niet of de financiële waarde van een gese-

lecteerd element juist is!

21. De redenering in [POP75] en [GROOT81] komt erop

neer dat de onderzoeker zijn best moet doen de

geponeerde stelling te ontkrachten. Als dat niet

lukt, blijft de geponeerde stelling gelden.

22. Dit lijkt op de essentie van de verdedigingsgronden

van de onderzoekstechniek case study: Een enkele

beoordeling is zodanig omvangrijk dat het geoor-

loofd is het aantal pogingen tot falsificatie van de

stelling te beperken tot een behapbaar geheel.

23. [GROOT81] noemt het “forum” als referentiegroep.

Daarmee introduceert hij in plaats van een individu-

ele subjectiviteit, de subjectiviteit van een groep. In

casu zou er sprake kunnen zijn van een beroeps-

groep.

24. Enig rekenwerk levert dat uitgaande van 95%

betrouwbaarheid, 5% onnauwkeurigheid,

Poissonverdeling en nul fouten in de steekproef, er

tenminste 3/0,05 = 60 elementen per deelpopula-

tie gecontroleerd moeten worden. Zie onder meer

[TOUW07], hoofdstuk 6 en [GUY98], hoofdstuk 3.

25. Dit is een situatie waarin menig (financial) audi-

tor verstrikt raakt. De wijze van werken is na te

lezen in een aantal controleprotocollen van

ministeries.

26. Deze techniek lijkt op het “niet toedelen van contro-

letoleranties” zoals beschreven in [BLOK96]. De

techniek komt neer op naar evenredigheid toereke-

nen van de controle-inspanning aan de subpopula-

ties. De onnauwkeurigheid voor het geheel (in

financial audits de materialiteit voor de jaarrekening

als geheel) wordt afgeleid uit de toegestane work-

load voor dat geheel.

Literatuur

[BLOK93] Blokdijk, J.H. (1993), Afweging van kosten en

nut bij steekproeven in de accountantscontrole,

Maandblad voor Accountancy en Bedrijfseconomie, sep-

tember, pp 383 – 392.

[BLOK96] Blokdijk, J.H. (1996), Het toedelen van contro-

letolerantie, Maandblad voor Accountancy en

Bedrijfseconomie, juli/augustus, pp 350 - --.

[GROOT81] Groot, A.D. de, Methodologie, Grondslagen

van onderzoek en denken in de gedragswetenschappen,

Uitgeverij Mouton, Den Haag.

[GUY98] Guy, D.M., D.R. Carmichael, O.R. Whittington

(1998), Audit Sampling; an introduction; John Wiley and

Sons, Inc., New York.

[HASS07] Hassing, A.J.A. (2007), De statistische steek-

proef; uitdaging voor de EDP-auditor deel 1, De EDP-

auditor, nr. 4, pp. 16 – 19.

[HASS08] Hassing, A.J.A. (2008), De statistische steek-

proef; uitdaging voor de EDP-auditor deel 2, De EDP-

auditor, nr. 1, pp. 30 – 33.

[HEER74] Heerden, A. van (1974), Steekproeven als

middel van accountantscontrole, Vijftig jaar MAB, pp

368 – 391 (oorspronkelijke publicatie MAB december

1961), Muusses, Purmerend.

[POP79] Popper, Karl R. (1979), The Growth of Scientific

Knowledge, Klostermann Texte Philosophie, Frankfurt

am Main.

[TOUW07] Touw, P., L. Hoogduin, Statistiek voor Audit en

Controlling, SDU Uitgevers b.v., Den Haag.