Ontsluiting ISBSG gegevens mbv QSM

Werkgroep BenchmarkingBaarn, 12 april 2007

NESMA&

ISBSG

12 april 2007 2

Agenda

Nesma en ISBSG-

ISBSG benchmark-

QSM-

Ontsluiten ISBSG via QSM

Theo Kersten

12 april 2007 3

Bestuur

ISBSGIFPUG

BenchmarkingTelrichtlijnen …

GeïnteresseerdenLeden

werkgroepen

12 april 2007 4

� het uitwisselen van ervaringen met benchmarking van applicatie ontwikkeling en applicatie beheer om zo het vakgebied te professionaliseren � het periodiek organiseren van een workshop

Prestaties meten en begroten waarin een belangrijke rol is weggelegd voor benchmarking in het algemeen en ISBSG in het bijzonder.

Nesma Werkgroep Opdracht

12 april 2007 5

� Dhr. A.J.E. Dekkers, Shell Information Technology International BV � Dhr. H.S. van Heeringen, Sogeti Nederland B.V. � Dhr. F. Gerwig, Ordina � Dhr. ir. T.A.G.M. Kersten, ATOS Origin (voorzitter) � Dhr. P. de Ruijter, ABN AMRO Bank N.V. � Dhr. drs. M.P.E. Pereboom, Mediaan/abs bv � Dhr. W. Visser, Capgemini B.V.

Nesma Werkgroep Samenstelling

12 april 2007 6

ISBSG

THE INTERNATIONAL THE INTERNATIONAL SOFTWARE BENCHMARKING SOFTWARE BENCHMARKING

STANDARDS GROUPSTANDARDS GROUP

......or ‘Icebags’......or ‘Icebags’

12 april 2007 7

Doelstelling ISBSG

“… to improve the global understanding of software

practices so that they may be better managed.”

12 april 2007 8

ISBSG leden

� ASMA / SQA (NSW) – Australian Software Metrics Association / Software Quality Association Definieren benchmark standards (+tool)

� CSPIU (China Software Process Improvement Union)� FiSMA (Finnish Software Measurement Association)� DASMA (Deutschsprachige Anwendergruppe fur Software Metrik and Aufwandschatzung)� NASSCOM (National Association of Software & Service Companies)� GUFPI - ISMA (Gruppo Utenti Function Point Italia - Italian Software Metrics Association) � JFPUG (Japan Function Point User Group)� KOSMA (Korea Software Measurement Association)� NESMA (Nederlandse Software Metrieken Gebruikers Associatie)� AEMES (Asociacion Espanola de Metricas de Software)� SWISMA (Swiss Software and Service Metrics Association)� UKSMA (UK Software Metrics Association)� IFPUG (International Function Point Users Group)

12 april 2007 9

Software project & Software beheer

Productie platformProductie platform

Gebruik& Beheer

OntwikkelOntwikkel--procesproces

resourcesresources productproduct

Ontwikkel platformOntwikkel platform

Team Prog.taal Type-project Levertijd Bedrijfstak HardwareUren Hardware Omvang (FP/LOC) Kosten Aantal gebruikers Oper.syst.Ervaring Oper.syst. Methode Fouten Aantal locatie DBMSTijd DBMS Technieken & Tools Herstelkosten Aantal BU’s Prog.TaalBudget Ervaring Type Tevredenheid

Planning, Planning, Rapportage, Evaluatie & Besturing

12 april 2007 10

plan

test

specify

designbuild

SoftwareProject

Maintenance &

Support

Database Maintenance

Application Maintenance

implement

Welk project: Project afbakening

Support

12 april 2007 11

Vragen in Product Questionnaire

InspanningInspanning DD OmvangOmvang FF

Organisatie A

Product E

Project B/C

OpleveringOplevering GG

V 1V 1--66

V 7V 7--5252 V 53V 53--5959

V 60 V 60 -- 8282 V 89 V 89 -- 118118 V 119 V 119 -- 134134

V 83V 83--8888

12 april 2007 12

Vragen in Questionnaire

� Meer vragen beter voor analyse� Weinig vragen goed voor gebruiker

� Evenwicht zoeken tussen aantal vragen

� Geen minimale set gemaakt� Wel verplichte vragen: vetgedrukt

� Echt minimum: omvang en uren

12 april 2007 13

Project (B)

� Type projectNieuw

Aanpassing

Herontwerp

� Project fasen– Plan, Specify, Build, Test, Implement

– Per fase opgeleverde producten

12 april 2007 14

Project: Technologie C

� Operating systeem

� Programmeertaal

� Database

– Primair en niet primair

12 april 2007 15

Mensen en inspanning D

� Ontwikkelteam en omvang� Samenstelling ontwikkelteam� Gebruikersomgeving

- Bank, Regering, Medisch etc� Validatievragen

Maar ook kennis en ervaring wordt gevraagd:� Teamleden met materiekennis� Teamleden met ontwikkelomgeving� Ervaring projectleiding

12 april 2007 16

Oplevering G

� Productiedatum� Doorlooptijd� Aantal fouten

– Minor– Major– Extreme

� Klanttevredenheid� Kosten per fase

– Daarbij aangeven welke mensen meegeteld zijn Software ontwikkelteam, Gebruikersteam, Operators

� Validatievragen

12 april 2007 17

Vergelijken

� Productiviteit: Uren per fp per– Ontwikkeltype– Ontwikkelomgeving– Programmeertaal– Type organisatie– Type applicatie

� Opgeleverde kwaliteit: Aantal defects per 1000 fp

– Ontwikkeltype– Ontwikkelomgeving– Omvang– Type organisatie– Methode

12 april 2007 18

Productiviteit per categoriePresentatievorm (uren / fp)

N Min P10 P25 Median P75 P90 Max Mean Std Dev

categorie aantal laagste hoogste gem.

projecten waarde waarde waarde

mainframe

cobol 70 0.9 3.0 5.9 11.8 18.0 21.6 48.1 13.3 9.9

7.37.3

12 april 2007 19

KwaliteitPresentatievorm (fouten /1000 fp)

1e maand productie

Je project Min Mean Max

Extreme

defects 0 0 0 6

Major

defects 4 1 5 120

Minor

defects 19 1 16 300

12 april 2007 20

NESMA & ISBSG, producten

� Producten & diensten– Project profile report gratis

– Application Benchmark report gratis

– Benchmark report R8 € 70,- / € 100,-

– Repository CD R10 € 800,- / € 1200,-

– Project Estimation Toolkit € 90,- / €. 100,-

– Compendium € 90,- / € 110,-

– ISBSG Special Analysis Reports € 0,- / € 25,-

– NESMA workshop € 200,- / € 350,-

Bestellen office@nesma.nl web www.nesma.nl

12 april 2007 21

QSM

Standaard

Parameters Productiviteit

� FP� Uren Uren/fp

QSM

Parameters Productiviteit

� Elocs� ManMaanden PI� Doorlooptijd

12 april 2007 22

QSM Uren per FP neemt toe bij tijdsdruk

0,00

10,00

20,00

30,00

40,00

50,00

60,00

0 2 4 6 8 10 12 14 16 18 20

Doorlooptijd (maanden)

Uren

/Fun

ktiepu

nt

250

500

750

1000

1250

1500

1750

2000

2500

3000

12 april 2007 23

QSM

3 basis parameters samenhang

� Elocs Elocs� ManMaanden PI� Doorlooptijd (maanden) MBI

� PI Productivty Index (productviteitsmaat)� MBI: Manpower Buildup Index (tijdsdruk)

Daarnaast is invloed op kwaliteit belangrijk� Number of defects

12 april 2007 24

QSM effort, size and elapsed time: Rayleigh Curve

Avg Staff (people)<Single Goal - MBI 3,6041>

1 2 3 4 5 6 7 8 9 10jan'07

feb mrt apr mei jun jul aug sep okt nov dec

0

2

4

6

8

Avg S

taff (people)

109876543

TO+RENzorg

Project: MMSP

12 april 2007 25

QSM products based on the QSM method

� SLIM Datamanager (de database)� SLIM Metrics (voor analyses)� SLIM Estimate (voor het maken van alternatieve

plannen)� SLIM Control (voor projectbewaking)

12 april 2007 26

SLIM Datamanager

12 april 2007 27

SLIM Estimate S ta f f in g & P r o b a b il ity An a lys is

A v g S ta f f ( p e o p le )<O v e r a ll>

1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2o k t' 0 4

n o v d e c ja n'0 5

fe b mr t a p r me i ju n ju l a u g s e p o k t n o v d e c ja n' 0 6

fe b mr t a p r me i ju n ju l a u g s e p

0 .0

2 .5

5 .0

7 .5

1 0 .0

1 2 .5

1 5 .0

1 7 .5

Avg S

taff (people)

10964321

R &DC &TP_ Mn t

M i l es tones 1 - S RR 2 - H LDR 3 - L LDR 4 - C UT 6 - S T C 9 - 9 9R 10 - 9 9 .9R

M i l es tones 1 - S RR 2 - H LDR 3 - L LDR 4 - C UT 6 - S T C 9 - 9 9R 10 - 9 9 .9R

SO L UT IO N P A NE L <O ve r a l l>

D ura t i o nE ffo rtC os t

P eak S ta ffM T T D

S tart Da te

C&T10.913

163814.51 .1

6 -3 -2005

L ife Cyc le21 .019

231914 .547 .0

1 -11-2004

M onth sMHR (K )E U R (K )peopl eDay s

P I=15 .0 M B I=3 .1 E ff F P =575

R ISK GA U GE < O v e r a ll>

< N o c o ns t r a in t s >

D u r a tio nEffo r t

Pe a k S ta ffQ u a li ty

% 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 0 1 0 0

C O N TR O L P AN E L <O v e r a l l >

P I 1 2 .0 1 8 .0

1 5 .0

P e a k S ta f f 1 1 . 6 1 7 . 4

1 4 . 5

E f f F P 4 6 0 6 9 0

5 7 5

P ro j ec t : B CDB

12 april 2007 28

SLIM Estimate Realisatie v s SWH historie en QSM gemiddelde

PI v s Ef f ectiv e SLOC

0,1 1 10 100 1.000

Ef f ectiv e SLOC (thousands)

-5

0

5

10

15

20

25

30

PI

MBI v s Ef f ectiv e SLOC

0,1 1 10 100 1.000

Ef f ectiv e SLOC (thousands)

-2

2

6

10

14

MB

I

TO+RE Duration (Months) v s Ef f ectiv e SLOC

0,1 1 10 100 1.000

Ef f ectiv e SLOC (thousands)

0,1

1

10

100

TO

+RE

Duration (M

onths)

TO+RE Ef f ort (PM) v s Ef f ectiv e SLOC

0,1 1 10 100 1.000

Ef f ectiv e SLOC (thousands)

0,1

1

10

100

1.000

10.000

TO

+RE

Effort (P

M)

Current Solution Historical Projects QSM 2005 BUSINESS GOVT GRP Av g. Line Sty le1 Sigma Line Sty le Project: MMSP

12 april 2007 29

SLIM controlStop Light Overview

FTE Staff

3 6 9 12 15 18 21 24 27 3019-10'02

09-11 30-11 21-12 11-01'03

01-02 22-02 15-03 05-04 26-04 17-05

0

2

4

6

8

10

12

ppl

765432Cum Cost Life Cycle

3 6 9 12 15 18 21 24 27 3019-10'02

09-11 30-11 21-12 11-01'03

01-02 22-02 15-03 05-04 26-04 17-05

0

100

200

300

400

500

NLG

(thousands)

765432

Cumulative Product Construction

3 6 9 12 15 18 21 24 27 3019-10'02

09-11 30-11 21-12 11-01'03

01-02 22-02 15-03 05-04 26-04 17-05

0

5

10

15

20

25

SLO

C (thousands)

765432Defects Found

3 6 9 12 15 18 21 24 27 3019-10'02

09-11 30-11 21-12 11-01'03

01-02 22-02 15-03 05-04 26-04 17-05

0

10

20

30

40

50

60

Defects

765432

Current Plan Actuals Current Forecast Green Control Bound Yel low Control Bound Project: Number Redesign

12 april 2007 30

Ontsluiting ISBSG via QSM

Parameters voor QSM wijken af van paramaters ISBSG

� QSM richt zich sterk op Main Build fase� ISBSG richt zich op alle projectfasen

– In geleverde ISBSG db staan genormaliseerde uren naar “volledig project”

� ISBSG bevat voornamelijk FP� QSM gaat in principe uit van elocs (effective) lines of code� QSM heeft doorlooptijd Main Build nodig� ISBSG werkt in uren QSM werkt met maanden

Daarom gezamenlijk keuzes gemaakt voor vertaalslag

12 april 2007 31

Ontsluiting ISBSG via QSM

Filter criteria:� Betrouwbare projecten� Size Measure: IFPUG of Nesma� Projecten met doorlooptijd > 3 maand� Omvang < 7.000 fp� Resource level = 1

� En dan de conversie slagen o.a. voor fp naar elocs

� Het resultaat is via een api opgenomen in SLIM DM

12 april 2007 32

Tot slot

� U kunt de waarde van de benchmark vergroten

� U kunt invloed uitoefenen op de benchmark standaards

Door mee te doen!

Vragen?