1
KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDING BIJ IT-PROJECTEN
PRESENTATIE VOOR NGI SECTIE LIMBURG DOOR
DR. ROBERT J. PETERS
VRIJE UNIVERSITEIT, AMSTERDAM
FACULTEIT EXACTE WETENSCHAPPEN
AFDELING INFORMATICA / IMSE
SITTARD15 FEBRUARI 2005
2
AGENDA
1. RISICO’S BIJ UITVOERING IT-PROJECTEN
2. KWANTITATIEF IT-PORTFOLIO MANAGEMENT
3. WISKUNDIG MODEL VOOR RISICO-BEHEERSING BIJ ING
4. CONCLUSIES
KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDINGBIJ IT-PROJECTEN
3
RISICO’S BIJ ONTWIKKELING EN EXPLOITATIE VANIT-PROJECTEN
RISICO’S BIJ SYSTEEMONTWIKKELING
RISICO VAN VOLLEDIGE MISLUKKING RISICO VAN BUDGET OVERSCHRIJDING RISICO VAN NIET TIJDIGE OPLEVERING PROJECTRESULTAAT RISICO VAN NIET OPLEVEREN GEVRAAGDE FUNCTIONALITEIT
IMPLEMENTATIE RISI
ORGANISATORISCH RISICO
EXPLOITATIE RISICO’S
TECHNISCH RISICO BEVEILIGINGS RISICO FINANCIEEL RISICO
4
IT PORTFOLIO MANAGEMENT
SAMENSTELLING IT PORTFOLIO
1. SOFTWARE (INFORMATIE SYSTEMEN)
2. IT PROJECTEN - ONTWIKKELING INFORMATIESYSTEMEN
- AANSCHAF HARDWARE- INRICHTING IT PROCESSEN- ETC.
4. IT STAF / EXPERTISE ( HUMAN CAPITAL)
5. IT PROCESSEN- ONTWIKKELING - ONDERHOUD- EXPLOITATIE- DIENSTVERLENING (HELPDESK, ETC.)
6. HARDWARE (COMPUTERSYSTEMEN, NETWERKEN, ETC.)
5
VOLWASSENHEID IT-SYSTEEM ONTWIKKELORGANISATIE
DE 5 NIVEAUS VAN VOLWASSENHEID VAN HET CAPABILITY MATURITY
MODEL (CMM)
1. INITIAL (BEGINNER)
2. REPEATABLE (REPRODUCEERBAAR)
3. DEFINED (GESTANDAARDISEERD)
4. MANAGED (GEORGANISEERD)
5. OPTIMIZING (STEEDS BETER WORDEN)
6
KWANTITATIEF IT PORTFOLIO MANAGEMENTUITGANGSPUNTEN EN ACHTERLIGGENDE GEDACHTEN
RATIONELE BESLUITVORMING OVER (DES)INVESTERINGEN IN IT WORDT
PAS GOED MOGELIJK ALS INZICHT BESTAAT IN DE KWANTITATIEVEIMPACT VAN “IT-GOVERNANCE RULES “ OP DE KEY MANAGEMENT ISSUES ZOALS: KOSTEN, OPBRENGSTEN, “TIME TO MARKET”, BEDRIJFSRISICO’S, ETC
“EENVOUDIGE” TOEPASSING VAN WISKUNDIGE EN STATISTISCHE METHODEN EN TECHNIEKEN.
DE MODELLEN MOETEN OOK BRUIKBAAR ZIJN VOOR ORGANISATIES MET EEN LAAG CMM-NIVEAU (CMM NIVEAU 1)
FOCUS OP IT SOFTWARE ASSETS EN IT-PROJECTEN PORTFOLIO: VAAK MEER DAN 50% VAN DE (ECONOMISCHE) PORTFOLIO WAARDE
Literatuur: Verhoef, C. (2002). Quantitative IT Portfolio Management,Science of Computer Programming, 45 (1), pp. 1-96
7
IT PORTFOLIO MANAGEMENTFOCUS OP SOFTWARE ASSETS EN IT-PROJECTEN
IT expenditure of Western European bank 1999 – 2004, in billions of dollars (Source: IDC)
1999 2000 2001 2002 2003 2004
Hardware 13.2 14.7 16.2 17.7 19.5 21.4
Packagesoftware
5.5 6.3 7.3 8.4 9.8 11.4
IT services 19.2 22.0 25.0 28.1 31.5 35.1
Total IT 37.8 42.9 48.4 54.3 60.9 67.9
Note: due to rounding, the sum of the categories may not equal the total
8
KWANTITATIEF IT PORTFOLIO MANAGEMENTIT PORTFOLIO DATABASE
BENODIGDE DATA VOOR TOEPASSING KWANTITATIEF IT-PORTFOLIO MANAGEMENT
1. GEBRUIK EIGEN, INTERNE DATA-SET VERDIENT STERK DE VOORKEUR
- IT PROJECTEN (KOSTEN, PROJECTDUUR, RISICO’S, ETC)- BESTAANDE INFORMATIESYSTEMEN (ONDERHOUD, EXPLOITATIE, BESCHIKBAARHEID, CREATIE BUSINESS VALUE, ETC.)- INZET IT PERSONEEL (INTERN, EXTERN, PRODUCTIVITEIT, ETC)- ETC.
2. INDIEN GEEN INTERNE DATA BESCHIKBAAR IS OF INTERNE DATASET IS ONVOLLEDIG EN ONBETROUWBAAR (CMM NIVEAU 1) GEBRUIK DAN EXTERNE BENCHMARK DATA (STANDISH GROUP, ETC)
3. PAS OP VOOR VALKUILEN BIJ GEBRUIK EXTERNE DATA:- DE DEFINITIES KUNNEN STERK VERSCHILLEN VAN DE DEFINITIES IN EIGEN HUIS- HETEROGENITEIT VAN DE DATA
9
KWANTITATIEF IT PORTFOLIO MANAGEMENTMETING OMVANG IT-ASSESTS
FUNCTIE PUNTEN (FP’S)
DEFINITIE
EEN FUNCTIEPUNT IS EEN (SYNTHETISCHE) MAAT VOOR HET METEN VAN DEOMVANG VAN EEN SYSTEEM IN TERMEN VAN BESCHIKBARE OF OP TE LEVEREN HOEVEELHEID FUNCTIONALITEIT
MEN KAN FP’S VERGELIJKEN MET KILOGRAMMEN WAARIN HET GEWICHT WORDTUITGEDRUKT OF LITERS WAARIN VAN HET VOLUME VAN EEN VLOISTOF OF GASWORDT GEMETEN.
TELLEN VAN FUNCTIE PUNTEN
ALBRECHT (IBM) HEEFT IN 1974 EEN METHODE ONTWIKKELD OM HET AANTAL FUNCTIE PUNTEN VAN EEN BESTAAND SYSTEEM OF TE BOUWEN SYSTEEM TE TELLEN.
FP’S KUNNEN WORDEN GETELD DOOR MENSEN MAAR HET KAN OOK GEAUTOMATISEERD WORDEN GEDAAN (MET TOOLS)
10
KWANTITATIEF IT PORTFOLIO MANAGEMENTWISKUNDIGE RELATIES TUSSEN IT-VARIABELEN
EEN PAAR EENVOUDIGE VOORBEELDEN VAN WISKUNDIGE VERBANDENTUSSEN IT-VARIABELEN
FUNCTIONELE RELATIE TUSSEN DE OMVANG VAN EEN TE BOUWEN SYSTEEM,GEMETEN IN AANTAL FUNCTIEPUNTEN (f), EN DE TIJD NODIG OM HET SYSTEEMTE BOUWEN (d)
f 0,39 = d (1) NB. DE CONSTANTE 0,39 VERSCHILT PER INDUSTRIETAK EN SYSTEEM TYPE
FUNCTIONELE RELATIE TUSSEN DE ONTWIKKELTIJD (d) EN HET BENODIGDE AANTAL FTE’S VOOR SYSTEEMBOUW (n)
1 n (d) = ------ d 3,564 (2) 150
11
KWANTITATIEF IT PORTFOLIO MANAGEMENTWISKUNDIGE RELATIES TUSSEN IT-VARIABELEN
VOORBEELDEN VAN WISKUNDIGE VERBANDEN TUSSEN IT-VARIABELEN (VERVOLG)
rw
tcd (d) = ------ d 3,564 (3)
1800WAARIN:tcd = TOTAL COST OF DEVELOPMENTw = AANTAL WERKDAGEN IN EEN KALENDER JAARr = DAGLOONd = ONTWIKKELTIJD
wr mco (y) = ------ y3,205 (4) 750
y = GESCHATTE GERUIKSDUUR VAN HET SYSTEEM (LIFE-TIME) mco = MINIMALE KOSTEN VAN EXPOITATIE EN ONDRHOUD VAN HET SYSTEEM GEDURENDE Y
12
KWANTITATIEF IT-PORTFOLIO MANAGEMENTKOSTEN ALLOCATIE FUNCTIES
VOOR DE FINANCIERING VAN DE ONTWIKKELINGSKOSTEN EN OPERATIONELE KOSTEN VAN EEN INFORMATIESYSTEEM IS INZICHT NODIG IN HET VERLOOP VAN DE KOSTEN GEDURENDE DE BOUWTIJD EN DE LEVENSDUUR VAN HET SYSTEEM NA OPLEVERING,
VOORBEELD VAN KOSTENALLOCATIE FUNCTIES:
TCDs (ds – is) CADs(t) = als is ≤ t ≤ ds , en = 0 voor andere waarden van t ds – is
MCO s (ds – is)CAOs(t) = als ds ≤ rs ,, en = 0 voor andere waarden van t
12.y (ds – is) waarin: CADs(t) = ontwikkelkosten allocatie functie van systeem s
CAOs(t) = operationele kosten allocatie functie van systeem s
13
KWANTITATIEF IT PORTFOLIO MANAGEMENTGRAFISCHE WEERGAVE KOSTENALLOCATIE FUNCTIES
besteding
tijd in maanden
0
1
2
3
4
0 20 40 60 80
Verloop ontwikkelkosten en operationele kosten van een systeem s in de tijd:grafische weergave cad(t) en cao(t)
14
KWANTITATIEF IT PORTFOLIO MANAGEMENTVOORBEELD VAN KOSTENBEELDEN OP PORTFOLIO NIVEAU
CASE:EEN PORTFOLIO BESTAAT UIT 75 PROJECTEN VAN VERSCHILLENDE OMVANG EN ONTWIKKELDUUR.ENTERPRISE RESOURCE PLANNING (ERP) PROJECTCUSTOMER RELATIONSHIP MANAGEMENT (CRM) PROJECTEEN AANTAL e-BUSINESS PROJECTENETC
MEN KAN BIJVOORBEELD DENKEN AAN HET RESULTAAT VAN EEN FUSIE TUSSEN TWEE ONDERNEMINGEN.
TIME TO MARKET EIS:DE PROJECTEN MOETEN ALLE KORT NA DE FUSIE WORDEN UITGEVOERDOM DE FUSIEVOORDELEN TE INCASSEREN
MANAGEMENT VRAAG:DE BOARD WIL EEN BEELD HEBBEN VAN DE TOTALE KOSTEN VAN REALISATIE EN EXPLOITATIE VAN DE PORTFOLIO IN DE KOMENDE JAREN
15
KWANTITATIEF IT-PORTFOLIO MANAGEMENTKOSTENBEELD ONTWIKKELING EN EXPLOITATIE IT-PORTFOLIO
Planningsperiode (in maanden)
Kosten
Een plotselinge, omvangrijke investerings-impuls kan een operationele kosten vloedgolf (tsunami) veroorzaken
cadM(t)
caoM(T)
cadM(t) = verloop van de totale ontwikkelkosten van de portfolio in de tijdcaoM(t) = verloop van de totale operationele kosten van de portfolio in de tijd
16
KWANTITATIEF IT PORTFOLIO MANAGEMENTKWANTIFICERING RISICO OP PROJECT MISLUKKING
KANS VAN MISLUKKING ( Pf) VAN EEN IT- PROJECT INDIEN EEN SYSTEEM MOET WORDEN GEBOUWD VAN f FUNCTIE PUNTEN
Pf (f) = 0,4805538 . (1 – exp (- 0,07488905. f 0,587375)) (5)
WAAR exp (x) STAAT VOOR: e (X)
OF, INDIEN MEN DE RELATIE : F 0,39 = d IN (5) SUBSTITUEERT,
Pf (d) = 0,4805538 . (1 – exp (- 0,007488905. d1,506090)) (6)
17
KWANTITATIEF IT PORTFOLIO MANAGEMENTRISCO PROJECTMISLUKKING ALS FUNCTIE VAN ONTWIKKELDUUR
GRAFISCHE WEERGAVE VAN DE KANS OP MISLUKKING VAN EEN IT-PROJECT ALS FUNCTIE VAN DE PROJECT-DUUR
0 20 40 60 80 duration time (months)
chance
on
failure
0.1
0.0
0.2
0.3
0.4
18
ONDERZOEK NAAR KWANTIFICERING VAN HET RISICOVAN BUDGETOVERSCHRIJDING BIJ ING
DE WISKUNDIGE RELATIE TUSSEN PROJECT OMVANG EN RISICO OP MISLUKKING VAN HET PROJECT IS BELANGRIJK OM TE KENNEN, MAAR GEEFT GEEN GERICHTE INFORMATIE VOOR RISICO-BEHEERSING
DAAROM IS ONDERZOEK GEDAAN NAAR DE FACTOREN DIE HET RISICO VAN NIET-HALEN VAN DE PROJECT DOELSTELLINGEN BEPALEN EN DE KWANTITATIEVE IMPACT VAN DIE FACTOREN OP HET RISICO
PRIORITEIT IS GEGEVEN AAN ONDERZOEK NAAR DE FACTOREN DIE HET RISICO BEPALEN VAN BUDGET-OVERSCHRIJDING
19
RISICO BEPALENDE FACTOREN DIE IN DE LITERATUUR WORDEN GENOEMD
LIJST VAN SUCCESFACTOREN EN RISICOFACTOREN ONTLEEND AAN EEN ONDERZOEK DOOR DE STANDISH GROUP ONDER 500 BEDRIJVEN, IN 2001.SLECHTS DE TOP-TIEN ZIJN GENOEMD. 1. Executive Support (18 Points)2. User Involvement (16 Points)3. Experienced Project Manager (15 Points)4. Clear Business Objectives (12 Points)5. Minimised Scope (10 Points)6. Standard Software Infrastructure (8 Points)7. Firm Basic Requirements (6 Points)8. Formal Methodology (6 Points)9. Reliable Estimates (5)0 Other (5)
BRON: STANDISH GROUP
20
RISICO BEPALENDE FACTOREN VOLGENS LITERATUUR ONDERZOEK
BRON: Journal of Management Information Systems, R. Schmidt e.a, (2001). 1. Lack of top management commitment to the project2. Failure to gain user commitment3. Misunderstanding the requirements4. Lack of adequate user involvement5. Lack of required knowledge/skills in the project personnel6. Lack of frozen requirements7. Changing scope/objectives8. Introduction of new technology9. Failure to manage end user expectations10. Insufficient / inappropriate staffing11. Conflict between user departments
Alle genoemde factoren zijn genoemd op hoog management niveau. Bij ING onderzoek is gezocht naar operationele risicofactoren, waarvan data beschikbaar is.
21
GESLECTEERDE RISICO BEPALENDE FACTOREN BIJ ING
Karakteristieken van projecten en Business Units die van invloed zijn op het risico van budgetoverschrijding.
Variable Definitie WaardeDDS ONTWIKKELSTAF ALS PERCENTAGE VAN TOTALE IT-STAF 0 - 1CMM2 BU WEL OF NIET OP CMM-2 NIVEAU 1 or 0
1 or 0RQFgood WEL OF GEEN HELDERE FINANCIELE RAPPORTAGE DOOR BU 1 or 0BS OMVANG BU ( MAAT: TOTALE IT KOSTEN PER JAAR > 0PP PROJECT OMVANG (MAAT: GESCHATTE PROJECTDUUR) > 0
BU WEL OF NIET OP CMM-3 NIVEAUCMM3
22
MEETNIVEAUS VAN DE GESLECTEERDE RISICO BEPALENDE FACTOREN
Meet niveau
Beschrijving Voorbeeld uit data set
1 Ratio . Beschikbaar budget
2 Interval Budget afwijking
(+/-)
3 Ordinaal Geheeltallig op een geordende schaal.
CMM niveau
4 Nominaal Geheeltallig, ordening heeft geen betekenis
Project categorie
Klasse
Kwantitatieve schaal met absoluut nulpunt
Kwantitatieve schaal met willekeurig nulpunt
23
MOTIVERING SELECTIE LOGISTISCHE REGRESSIE MODEL
HET LOGISTISCHE REGRESSIE MODEL IS MET SUCCES GEBRUIKT DOOR ANDEREDISCIPLINES BIJ DE VOORRSPELLING VAN DE KANS OP SUCCES OF MISLUKKING.BIJVOORBEELD IN DE MEDISCHE WETENSCHAP BIJ HET VOORSPELLEN VANSTERFTEKANSEN BIJ TE VROEG GEBOREN KINDEREN
LOGISTISCHE REGRESSIE IS MET NAME EEN GESCHIKTE TECHNIEK OM DE KANS TE MODELLEREN OP DE UITKOMST 0 OF 1 VAN EEN STOCHASTISCHE BINAIRE VARIABLE
IN EEN LOGISTISCH REGRESSIE MODEL KUNNEN VERLKARENDE VARIABELEN VANVERSCHILLENDE MEETNIVEAUS (CONTINU, ORDINAAL, NOMINAAL) WORDEN OPGENOMEN.
24
LOGISTISCHE REGRESSIE FORMULE
De onderstaande logistische regressievergelijking is geschat uit de beschikbaredata bij ING van 165 IT projecten
Pbo
log ( ) = -2 + 4 DDS + CMM2 - 7 CMM3 - RFQgood + 0,01 BS – 2 PP 1 – Pbo
waarin Pbo de kans aanduidt op budgetoverschrijding en DDS, CMM2, CMM3, RFQgood, BS en PP de eerder besproken geselecteerde risico bepalende factoren
25
INTERPRETATIE RESULTATEN OP INDIVIDUEEL PROJECT NIVEAU
DDS
RQFgood
CMM2
CMM3
PP
BS
+ Factor verlaagt het risico op budget
overschrijding (positieve invloed)
- Factor verhoogt het risico op budget
overschrijding (negatieve invloed)
O De invloed van de factor op het risico van
budgetoverschrijding kan statistisch niet worden aangetoond
klein groot
Invloed op risico van budgetoverschrijding
+
-
+
-
-
o
26
KWANTIFICERING RISICO BUDGETOVERSCHRIJDING BIJ INGVOORSPEL EFFICIENTIE VAN HET LOGISTISCHE MODEL
Projecten gesorteerd van hoog naar laag risico ( % )
% p
rojec ten
met w
a argen
om
e n b
ud
get o
vers chri jd
ing
0
25
50
75
100
0 25 50 75 100
voorspeliing logistish model
perfecte voorspelling
84
53
25 58
Willekeurige werkwijze
27
CONCLUSIES
1. BIJ DE BESUITVORMING OVER IT-INVESTERINGEN EN DESINVESTERINGEN VORMEN WISKUNDIGE EN STATISTISCHE MODELLEN EEN BELANGRIJKHULPMIDDEL BIJ HET NEMEN VAN RATIONELE BESLISSINGEN
2. DE GROOTSTE BOTTLENECK BIJ HET TOEPASSEN VAN KWANTITATIEVEMETHODEN EN TECHNIEK IS MEESTAL HET ONTBREKEN VAN EEN BETROUWBARE DATASET WAARIN VOLDOENDE HISTORIE IS OPGESLAGEN
3. HET VOORDEEL VAN HET ONTWIKKELEN VAN MODELLEN OM INZICHT TE KRIJGEN IN DE (KWANTITATIEVE) IMPACT VAN MANAGEMENT BESLISSINGENOVER IT OP DE BUSINESS IS DAN OOK TWEELEDIG:- HET DWINGT TOT HET VERZAMELEN EN BIJHOUDEN VAN BETROUWBARE IT-DATA IN EIGEN HUIS (METEN IS WETEN!)- HET LEIDT TOT EEN MEER RATIONELE BESLUITVORMING (OBJECTIEVER) OVER IT-INVESTERINGEN EN DESINVESTERINGEN
Top Related