1

KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDING BIJ IT-PROJECTEN

PRESENTATIE VOOR NGI SECTIE LIMBURG DOOR

DR. ROBERT J. PETERS

VRIJE UNIVERSITEIT, AMSTERDAM

FACULTEIT EXACTE WETENSCHAPPEN

AFDELING INFORMATICA / IMSE

SITTARD15 FEBRUARI 2005

2

AGENDA

1. RISICO’S BIJ UITVOERING IT-PROJECTEN

2. KWANTITATIEF IT-PORTFOLIO MANAGEMENT

3. WISKUNDIG MODEL VOOR RISICO-BEHEERSING BIJ ING

4. CONCLUSIES

KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDINGBIJ IT-PROJECTEN

3

RISICO’S BIJ ONTWIKKELING EN EXPLOITATIE VANIT-PROJECTEN

RISICO’S BIJ SYSTEEMONTWIKKELING

RISICO VAN VOLLEDIGE MISLUKKING RISICO VAN BUDGET OVERSCHRIJDING RISICO VAN NIET TIJDIGE OPLEVERING PROJECTRESULTAAT RISICO VAN NIET OPLEVEREN GEVRAAGDE FUNCTIONALITEIT

IMPLEMENTATIE RISI

ORGANISATORISCH RISICO

EXPLOITATIE RISICO’S

TECHNISCH RISICO BEVEILIGINGS RISICO FINANCIEEL RISICO

4

IT PORTFOLIO MANAGEMENT

SAMENSTELLING IT PORTFOLIO

1. SOFTWARE (INFORMATIE SYSTEMEN)

2. IT PROJECTEN - ONTWIKKELING INFORMATIESYSTEMEN

- AANSCHAF HARDWARE- INRICHTING IT PROCESSEN- ETC.

4. IT STAF / EXPERTISE ( HUMAN CAPITAL)

5. IT PROCESSEN- ONTWIKKELING - ONDERHOUD- EXPLOITATIE- DIENSTVERLENING (HELPDESK, ETC.)

6. HARDWARE (COMPUTERSYSTEMEN, NETWERKEN, ETC.)

5

VOLWASSENHEID IT-SYSTEEM ONTWIKKELORGANISATIE

DE 5 NIVEAUS VAN VOLWASSENHEID VAN HET CAPABILITY MATURITY

MODEL (CMM)

1. INITIAL (BEGINNER)

2. REPEATABLE (REPRODUCEERBAAR)

3. DEFINED (GESTANDAARDISEERD)

4. MANAGED (GEORGANISEERD)

5. OPTIMIZING (STEEDS BETER WORDEN)

6

KWANTITATIEF IT PORTFOLIO MANAGEMENTUITGANGSPUNTEN EN ACHTERLIGGENDE GEDACHTEN

RATIONELE BESLUITVORMING OVER (DES)INVESTERINGEN IN IT WORDT

PAS GOED MOGELIJK ALS INZICHT BESTAAT IN DE KWANTITATIEVEIMPACT VAN “IT-GOVERNANCE RULES “ OP DE KEY MANAGEMENT ISSUES ZOALS: KOSTEN, OPBRENGSTEN, “TIME TO MARKET”, BEDRIJFSRISICO’S, ETC

“EENVOUDIGE” TOEPASSING VAN WISKUNDIGE EN STATISTISCHE METHODEN EN TECHNIEKEN.

DE MODELLEN MOETEN OOK BRUIKBAAR ZIJN VOOR ORGANISATIES MET EEN LAAG CMM-NIVEAU (CMM NIVEAU 1)

FOCUS OP IT SOFTWARE ASSETS EN IT-PROJECTEN PORTFOLIO: VAAK MEER DAN 50% VAN DE (ECONOMISCHE) PORTFOLIO WAARDE

Literatuur: Verhoef, C. (2002). Quantitative IT Portfolio Management,Science of Computer Programming, 45 (1), pp. 1-96

7

IT PORTFOLIO MANAGEMENTFOCUS OP SOFTWARE ASSETS EN IT-PROJECTEN

IT expenditure of Western European bank 1999 – 2004, in billions of dollars (Source: IDC)

 

  1999 2000 2001 2002 2003 2004

Hardware 13.2 14.7 16.2 17.7 19.5 21.4

Packagesoftware

5.5 6.3 7.3 8.4 9.8 11.4

IT services 19.2 22.0 25.0 28.1 31.5 35.1

Total IT 37.8 42.9 48.4 54.3 60.9 67.9 

Note: due to rounding, the sum of the categories may not equal the total

8

KWANTITATIEF IT PORTFOLIO MANAGEMENTIT PORTFOLIO DATABASE

BENODIGDE DATA VOOR TOEPASSING KWANTITATIEF IT-PORTFOLIO MANAGEMENT

1. GEBRUIK EIGEN, INTERNE DATA-SET VERDIENT STERK DE VOORKEUR

- IT PROJECTEN (KOSTEN, PROJECTDUUR, RISICO’S, ETC)- BESTAANDE INFORMATIESYSTEMEN (ONDERHOUD, EXPLOITATIE, BESCHIKBAARHEID, CREATIE BUSINESS VALUE, ETC.)- INZET IT PERSONEEL (INTERN, EXTERN, PRODUCTIVITEIT, ETC)- ETC.

2. INDIEN GEEN INTERNE DATA BESCHIKBAAR IS OF INTERNE DATASET IS ONVOLLEDIG EN ONBETROUWBAAR (CMM NIVEAU 1) GEBRUIK DAN EXTERNE BENCHMARK DATA (STANDISH GROUP, ETC)

3. PAS OP VOOR VALKUILEN BIJ GEBRUIK EXTERNE DATA:- DE DEFINITIES KUNNEN STERK VERSCHILLEN VAN DE DEFINITIES IN EIGEN HUIS- HETEROGENITEIT VAN DE DATA

9

KWANTITATIEF IT PORTFOLIO MANAGEMENTMETING OMVANG IT-ASSESTS

FUNCTIE PUNTEN (FP’S)

DEFINITIE

EEN FUNCTIEPUNT IS EEN (SYNTHETISCHE) MAAT VOOR HET METEN VAN DEOMVANG VAN EEN SYSTEEM IN TERMEN VAN BESCHIKBARE OF OP TE LEVEREN HOEVEELHEID FUNCTIONALITEIT

MEN KAN FP’S VERGELIJKEN MET KILOGRAMMEN WAARIN HET GEWICHT WORDTUITGEDRUKT OF LITERS WAARIN VAN HET VOLUME VAN EEN VLOISTOF OF GASWORDT GEMETEN.

TELLEN VAN FUNCTIE PUNTEN

ALBRECHT (IBM) HEEFT IN 1974 EEN METHODE ONTWIKKELD OM HET AANTAL FUNCTIE PUNTEN VAN EEN BESTAAND SYSTEEM OF TE BOUWEN SYSTEEM TE TELLEN.

FP’S KUNNEN WORDEN GETELD DOOR MENSEN MAAR HET KAN OOK GEAUTOMATISEERD WORDEN GEDAAN (MET TOOLS)

10

KWANTITATIEF IT PORTFOLIO MANAGEMENTWISKUNDIGE RELATIES TUSSEN IT-VARIABELEN

EEN PAAR EENVOUDIGE VOORBEELDEN VAN WISKUNDIGE VERBANDENTUSSEN IT-VARIABELEN

FUNCTIONELE RELATIE TUSSEN DE OMVANG VAN EEN TE BOUWEN SYSTEEM,GEMETEN IN AANTAL FUNCTIEPUNTEN (f), EN DE TIJD NODIG OM HET SYSTEEMTE BOUWEN (d)  

f 0,39 = d (1) NB. DE CONSTANTE 0,39 VERSCHILT PER INDUSTRIETAK EN SYSTEEM TYPE

   FUNCTIONELE RELATIE TUSSEN DE ONTWIKKELTIJD (d) EN HET BENODIGDE AANTAL FTE’S VOOR SYSTEEMBOUW (n) 

  1 n (d) = ------ d 3,564 (2) 150

11

KWANTITATIEF IT PORTFOLIO MANAGEMENTWISKUNDIGE RELATIES TUSSEN IT-VARIABELEN

VOORBEELDEN VAN WISKUNDIGE VERBANDEN TUSSEN IT-VARIABELEN (VERVOLG)

rw

tcd (d) = ------ d 3,564 (3)

1800WAARIN:tcd = TOTAL COST OF DEVELOPMENTw = AANTAL WERKDAGEN IN EEN KALENDER JAARr = DAGLOONd = ONTWIKKELTIJD

  wr mco (y) = ------ y3,205 (4) 750

 y = GESCHATTE GERUIKSDUUR VAN HET SYSTEEM (LIFE-TIME) mco = MINIMALE KOSTEN VAN EXPOITATIE EN ONDRHOUD VAN HET SYSTEEM GEDURENDE Y

12

KWANTITATIEF IT-PORTFOLIO MANAGEMENTKOSTEN ALLOCATIE FUNCTIES

VOOR DE FINANCIERING VAN DE ONTWIKKELINGSKOSTEN EN OPERATIONELE KOSTEN VAN EEN INFORMATIESYSTEEM IS INZICHT NODIG IN HET VERLOOP VAN DE KOSTEN GEDURENDE DE BOUWTIJD EN DE LEVENSDUUR VAN HET SYSTEEM NA OPLEVERING,

VOORBEELD VAN KOSTENALLOCATIE FUNCTIES:

TCDs (ds – is) CADs(t) = als is ≤ t ≤ ds , en = 0 voor andere waarden van t ds – is

MCO s (ds – is)CAOs(t) = als ds ≤ rs ,, en = 0 voor andere waarden van t

12.y (ds – is) waarin: CADs(t) = ontwikkelkosten allocatie functie van systeem s

CAOs(t) = operationele kosten allocatie functie van systeem s

13

KWANTITATIEF IT PORTFOLIO MANAGEMENTGRAFISCHE WEERGAVE KOSTENALLOCATIE FUNCTIES

besteding

tijd in maanden

0

1

2

3

4

0 20 40 60 80

Verloop ontwikkelkosten en operationele kosten van een systeem s in de tijd:grafische weergave cad(t) en cao(t)

14

KWANTITATIEF IT PORTFOLIO MANAGEMENTVOORBEELD VAN KOSTENBEELDEN OP PORTFOLIO NIVEAU

CASE:EEN PORTFOLIO BESTAAT UIT 75 PROJECTEN VAN VERSCHILLENDE OMVANG EN ONTWIKKELDUUR.ENTERPRISE RESOURCE PLANNING (ERP) PROJECTCUSTOMER RELATIONSHIP MANAGEMENT (CRM) PROJECTEEN AANTAL e-BUSINESS PROJECTENETC

MEN KAN BIJVOORBEELD DENKEN AAN HET RESULTAAT VAN EEN FUSIE TUSSEN TWEE ONDERNEMINGEN.

TIME TO MARKET EIS:DE PROJECTEN MOETEN ALLE KORT NA DE FUSIE WORDEN UITGEVOERDOM DE FUSIEVOORDELEN TE INCASSEREN

MANAGEMENT VRAAG:DE BOARD WIL EEN BEELD HEBBEN VAN DE TOTALE KOSTEN VAN REALISATIE EN EXPLOITATIE VAN DE PORTFOLIO IN DE KOMENDE JAREN

15

KWANTITATIEF IT-PORTFOLIO MANAGEMENTKOSTENBEELD ONTWIKKELING EN EXPLOITATIE IT-PORTFOLIO

Planningsperiode (in maanden)

Kosten

Een plotselinge, omvangrijke investerings-impuls kan een operationele kosten vloedgolf (tsunami) veroorzaken

cadM(t)

caoM(T)

cadM(t) = verloop van de totale ontwikkelkosten van de portfolio in de tijdcaoM(t) = verloop van de totale operationele kosten van de portfolio in de tijd

16

KWANTITATIEF IT PORTFOLIO MANAGEMENTKWANTIFICERING RISICO OP PROJECT MISLUKKING

KANS VAN MISLUKKING ( Pf) VAN EEN IT- PROJECT INDIEN EEN SYSTEEM MOET WORDEN GEBOUWD VAN f FUNCTIE PUNTEN  

Pf (f) = 0,4805538 . (1 – exp (- 0,07488905. f 0,587375)) (5) 

WAAR exp (x) STAAT VOOR: e (X)

 

OF, INDIEN MEN DE RELATIE : F 0,39 = d IN (5) SUBSTITUEERT,

  

Pf (d) = 0,4805538 . (1 – exp (- 0,007488905. d1,506090)) (6)

17

KWANTITATIEF IT PORTFOLIO MANAGEMENTRISCO PROJECTMISLUKKING ALS FUNCTIE VAN ONTWIKKELDUUR

GRAFISCHE WEERGAVE VAN DE KANS OP MISLUKKING VAN EEN IT-PROJECT ALS FUNCTIE VAN DE PROJECT-DUUR

0 20 40 60 80 duration time (months)

chance

on

failure

0.1

0.0

0.2

0.3

0.4

18

ONDERZOEK NAAR KWANTIFICERING VAN HET RISICOVAN BUDGETOVERSCHRIJDING BIJ ING

DE WISKUNDIGE RELATIE TUSSEN PROJECT OMVANG EN RISICO OP MISLUKKING VAN HET PROJECT IS BELANGRIJK OM TE KENNEN, MAAR GEEFT GEEN GERICHTE INFORMATIE VOOR RISICO-BEHEERSING

DAAROM IS ONDERZOEK GEDAAN NAAR DE FACTOREN DIE HET RISICO VAN NIET-HALEN VAN DE PROJECT DOELSTELLINGEN BEPALEN EN DE KWANTITATIEVE IMPACT VAN DIE FACTOREN OP HET RISICO

PRIORITEIT IS GEGEVEN AAN ONDERZOEK NAAR DE FACTOREN DIE HET RISICO BEPALEN VAN BUDGET-OVERSCHRIJDING

19

RISICO BEPALENDE FACTOREN DIE IN DE LITERATUUR WORDEN GENOEMD

LIJST VAN SUCCESFACTOREN EN RISICOFACTOREN ONTLEEND AAN EEN ONDERZOEK DOOR DE STANDISH GROUP ONDER 500 BEDRIJVEN, IN 2001.SLECHTS DE TOP-TIEN ZIJN GENOEMD. 1.      Executive Support (18 Points)2.      User Involvement (16 Points)3.      Experienced Project Manager (15 Points)4.      Clear Business Objectives (12 Points)5.      Minimised Scope (10 Points)6.      Standard Software Infrastructure (8 Points)7.      Firm Basic Requirements (6 Points)8.      Formal Methodology (6 Points)9.      Reliable Estimates (5)0 Other (5)

BRON: STANDISH GROUP

20

RISICO BEPALENDE FACTOREN VOLGENS LITERATUUR ONDERZOEK

BRON: Journal of Management Information Systems, R. Schmidt e.a, (2001). 1. Lack of top management commitment to the project2. Failure to gain user commitment3. Misunderstanding the requirements4. Lack of adequate user involvement5. Lack of required knowledge/skills in the project personnel6. Lack of frozen requirements7. Changing scope/objectives8. Introduction of new technology9. Failure to manage end user expectations10. Insufficient / inappropriate staffing11. Conflict between user departments 

Alle genoemde factoren zijn genoemd op hoog management niveau. Bij ING onderzoek is gezocht naar operationele risicofactoren, waarvan data beschikbaar is.

21

GESLECTEERDE RISICO BEPALENDE FACTOREN BIJ ING

Karakteristieken van projecten en Business Units die van invloed zijn op het risico van budgetoverschrijding.

Variable Definitie WaardeDDS ONTWIKKELSTAF ALS PERCENTAGE VAN TOTALE IT-STAF 0 - 1CMM2 BU WEL OF NIET OP CMM-2 NIVEAU 1 or 0

1 or 0RQFgood WEL OF GEEN HELDERE FINANCIELE RAPPORTAGE DOOR BU 1 or 0BS OMVANG BU ( MAAT: TOTALE IT KOSTEN PER JAAR > 0PP PROJECT OMVANG (MAAT: GESCHATTE PROJECTDUUR) > 0

BU WEL OF NIET OP CMM-3 NIVEAUCMM3

22

MEETNIVEAUS VAN DE GESLECTEERDE RISICO BEPALENDE FACTOREN

 

Meet niveau

Beschrijving Voorbeeld uit data set

1 Ratio . Beschikbaar budget

2 Interval Budget afwijking

(+/-)

3 Ordinaal Geheeltallig op een geordende schaal.

CMM niveau

4 Nominaal Geheeltallig, ordening heeft geen betekenis

Project categorie

Klasse

Kwantitatieve schaal met absoluut nulpunt

Kwantitatieve schaal met willekeurig nulpunt

23

MOTIVERING SELECTIE LOGISTISCHE REGRESSIE MODEL

HET LOGISTISCHE REGRESSIE MODEL IS MET SUCCES GEBRUIKT DOOR ANDEREDISCIPLINES BIJ DE VOORRSPELLING VAN DE KANS OP SUCCES OF MISLUKKING.BIJVOORBEELD IN DE MEDISCHE WETENSCHAP BIJ HET VOORSPELLEN VANSTERFTEKANSEN BIJ TE VROEG GEBOREN KINDEREN

LOGISTISCHE REGRESSIE IS MET NAME EEN GESCHIKTE TECHNIEK OM DE KANS TE MODELLEREN OP DE UITKOMST 0 OF 1 VAN EEN STOCHASTISCHE BINAIRE VARIABLE

IN EEN LOGISTISCH REGRESSIE MODEL KUNNEN VERLKARENDE VARIABELEN VANVERSCHILLENDE MEETNIVEAUS (CONTINU, ORDINAAL, NOMINAAL) WORDEN OPGENOMEN.

24

LOGISTISCHE REGRESSIE FORMULE

De onderstaande logistische regressievergelijking is geschat uit de beschikbaredata bij ING van 165 IT projecten

Pbo

log ( ) = -2 + 4 DDS + CMM2 - 7 CMM3 - RFQgood + 0,01 BS – 2 PP 1 – Pbo

waarin Pbo de kans aanduidt op budgetoverschrijding en DDS, CMM2, CMM3, RFQgood, BS en PP de eerder besproken geselecteerde risico bepalende factoren

25

INTERPRETATIE RESULTATEN OP INDIVIDUEEL PROJECT NIVEAU

DDS

RQFgood

CMM2

CMM3

PP

BS

+ Factor verlaagt het risico op budget

overschrijding (positieve invloed)

- Factor verhoogt het risico op budget

overschrijding (negatieve invloed)

O De invloed van de factor op het risico van

budgetoverschrijding kan statistisch niet worden aangetoond

klein groot

Invloed op risico van budgetoverschrijding

+

-

+

-

-

o

26

KWANTIFICERING RISICO BUDGETOVERSCHRIJDING BIJ INGVOORSPEL EFFICIENTIE VAN HET LOGISTISCHE MODEL

Projecten gesorteerd van hoog naar laag risico ( % )

% p

rojec ten

met w

a argen

om

e n b

ud

get o

vers chri jd

ing

0

25

50

75

100

0 25 50 75 100

voorspeliing logistish model

perfecte voorspelling

84

53

25 58

Willekeurige werkwijze

27

CONCLUSIES

1. BIJ DE BESUITVORMING OVER IT-INVESTERINGEN EN DESINVESTERINGEN VORMEN WISKUNDIGE EN STATISTISCHE MODELLEN EEN BELANGRIJKHULPMIDDEL BIJ HET NEMEN VAN RATIONELE BESLISSINGEN

2. DE GROOTSTE BOTTLENECK BIJ HET TOEPASSEN VAN KWANTITATIEVEMETHODEN EN TECHNIEK IS MEESTAL HET ONTBREKEN VAN EEN BETROUWBARE DATASET WAARIN VOLDOENDE HISTORIE IS OPGESLAGEN

3. HET VOORDEEL VAN HET ONTWIKKELEN VAN MODELLEN OM INZICHT TE KRIJGEN IN DE (KWANTITATIEVE) IMPACT VAN MANAGEMENT BESLISSINGENOVER IT OP DE BUSINESS IS DAN OOK TWEELEDIG:- HET DWINGT TOT HET VERZAMELEN EN BIJHOUDEN VAN BETROUWBARE IT-DATA IN EIGEN HUIS (METEN IS WETEN!)- HET LEIDT TOT EEN MEER RATIONELE BESLUITVORMING (OBJECTIEVER) OVER IT-INVESTERINGEN EN DESINVESTERINGEN