Utrecht– 06/10/2016 Peter Betting: Directeur ESTH European Software Test Hub - Frankrijk

2

01 Introductie

02 Het ESTH Test centrum

‐ Organisatie

‐ Werkwijze

‐ Onze Klanten

‐ Onze diensten

03 Expertise

‐ Methode

‐ Expertise

AGENDA

04 Performance testen

-Het model, de doelen en de test campagne

05 Testautomatisering

‐ Testautomatisering en TMap Next

‐ 5 stappen naar volwassen testautomatisering

‐ Lessons learned

06 Conclusie en vragen

3

2 ESTH Overview European Software Test Hub

Key info

Oprichting testcentrum in 2008

125 fulltime testprofessionnels

Meer dan 70% ISTQB gecertificeerden

21 000 productiedagen per jaar

Offshoring naar India en Marokko

1 500 m² werkoppervlak

Meer dan 600 dagen opleidingen per jaar

Realisatie opdrachten binnen tijd en geld 99%

Gemiddeld cijfer van onze klanten in 2015 : 7,96/10

123

€

Voordelen voor onze klanten

Kostenvermindering

Flexibiliteit

Geoptimaliseerd Delivery Model

Industrialisatie

Kwaliteit

Geborgde transitie

Continue verbetering

123

€

Ambities 2016

85% gecertificeerde medewerkers

Groei van minimaal 20%

Uitbreiding diensten catalogus

123

€ Expertise

0-4 jaar

5-10 jaar

11-20 jaar

>20 jaar

Expertise

European Sogeti Test Hub(ESTH)

Innovation center

Sogeti lab

Test innovation lab

Demo’s

R&D

Service Catalogs

TDC

Factories – all test activities

Managed testing services (MTS)

Product Risk Analysis

Transitioning

Automation

Performance

Mobile & Multi-device

Tools

Environments

Market Units

Sales teams

Staff augmentation

Large Est, Large West & IDF

European sales (tbd) ESTH

TDC

Testing in the MU’s

Gateway to India

and Marocco

Innovation Center

Academy

Academy

Training

Coaching

TPI

Gateway

India

Marocco

5

5

TELECOM

Test Factory

Leader

Test

management

Test team

BANKING &

ASSURANCE

Test Factory

Leader

Test

management

Test team

PUBLIC

Test Factory

Leader

Test

management

Test team

TRANSPORTS

Test Factory

Leader

Test

management

Test team

E-COMMERCE

MOBILE

Test Factory

Leader

Test

management

Test team

Support

services

Perf

Tools

Aut

Trans

Factory 1 Factory 2 Factory 3 Factory 4 Factory 5

Performance

Tools

Automation

Transition

Management

Team

Man.

PM

PS

DEL

Peter Betting- Management

Marc Deligny – Practice management

Benoit Heib- Pre-Sales & BD

Julien Corne – Delivery management

ESTH De 5 Test Factories

6

Public E-commerce Banken en

Verzekeringen

Telecom

Functional testing

End to End testing

Functional testing

End to End testing

Web testing

End to End testing

FO / BO

Full BO

Full BO

(Offshore)

Shadow testing

Full BO

Functional testing

Qual. and integration

Full BO

6

FO / BO

Performance testing

Support HP ALM

Integration testing

Test automation

Mobile testing

Functional testing

Infra testing

Integration testing

Supporting End User

Test automation

Transport

Functional testing

TPI

Full BO

FO / BO

Integration testing

ESTH Onze klanten 2

TPI

7

Klant A

Klant B

Klant C

kernteam

kernteam

kernteam

Project A

Project B

Project C

Planning forecast Porductieplanning

Wekelijkse

resource meeting

Gemiddelde workl load > 87%

Onderbezetting: samenwerking

met Testing Capgemini/Sogeti

en andere wervingspartners

Overbezetting: verschuiving

teams, trainingen, continu

verbetertraject …

productieplanning 12 weken

2 ESTH Resourceplanning en schaling teams

>120 test professionals in ESTH

600 test professionals in Frankrijk

> 3000 test professionals in meer dan 14 landen ….

8

BA

CK

OFF

ICE

FR

ON

T O

FFIC

E

Strategie Specifi-

catie

Uit- voering

Borging

Strategie

Spécifi- catie

Uit- voering

Borging

Strategie

Specifi- catie

Uit- voering

Borging

1

De testactiviteiten verdeeld over de klant en het ESTH testcentrum worden bepaald door de wens en mate van

industrialisatie, de complexiteit en de volwassenheid van testen bij onze klanten

3 2

1 ESTH DE VERSCHILLENDE SAMENWERKINGSVORMEN

9

Functional testing

Test Web & Mobile

Automatisering

Admin. & support tools

Performance testing

Testomgevingen

Qualification & intégration

Statisch testen

Security testing

4 ESTH Overzicht diensten

9

MB

T

Co

ver, A

gR

D…

Automation Tools

Xamarin Selenium UFT

Performance Testing Tools

Neoload Loadrunner Stormrunner

Hosting Tools

OneShare

Device Lab

Ghostlab

Web Browsers Tools

CrossBrowserTesting

Test

Man

ag

em

en

t To

ols

IBM

RQ

M, H

P A

LM

, SQ

UA

SH

TM

, Te

stlin

k,

ALM

TV

(re

po

rtin

g)

Code review

ESEC – European Security Expertise Center

Kiuwan

Code review

Sonar Qube

Work unit model

Quick start

Flexibiliteit

Pay-Per Use

Standaard rapportage

SLA

Klant tevredenheid

11

Quality assurance&

(automated)

DevelopmentTeamplayer

Business

3 Onze specialisten T-shaped tester

12

12

Formele test

technieken

Lichte test technieken

Impact

Lik

elih

oo

d

0 50 100

50

100

IV

II I

III

Lichte test technieken

Informele test

technieken of

helemaal geen test

technieken! Planning

aan het eind

3 Prioriteren testen met de klant Product Risico Analyse

14

1 ESTH - Performance

Banque de France

Banque de France is the Central

Bank of France.

It is linked to the European

Central Bank (ECB) and its main

charge is to implement the interest

rate policy of the European System

of Central Banks (ESCB).

1 year =

25 campaigns between 8 to 30 work days

From 30 to 30000 virtual users

Around 500 runs

200 scripts

125 analysis and recommandations

25 results presentations

2 Consultants

WEB, Citrix, RTE, SAP

over http protocoles

HP Performance Center Solution (Vugen, Analysis, SiteScope)

HP Diagnostics

expertise PerfMon analysis AWR reports analysis

123

€ Details

We manage performance tests campaigns as following

Our activity

15

1 ESTH - Performance Het 6 stappen Performance test model

PRA

&

Test stragegy

Preparation

connections

&

environments

Performance Scenarios provided

by the customer

Test

Specification

High complexity

Medium complexity

Low complexity

Execution Reporting

Troubleshooting

One time action Pay per use: number of Work Units

16

1 ESTH - Performance De verschillende test doelen

Performance

test

objectives

Capacity and

performance

modelling

System

validation

testing

Benchmark

Code profiling

and

optimization

Infrastructure

tuning

Performance tests objectives are set with the customer during the test strategy definition phase. What we need to learn from

the system, its software and infrastructure.

Verschillende typen performance testen : load test, soak test, stress test, component test, etc

Protocols : Web (http/https, Java, Web services, etc) SAP, Citrix, RDP, RTE, etc

Infrastructure monitoring : operating systems (Windows, Linux, Unix, Aix), database servers (Oracle, SQLServer), web and application servers (Jboss, Weblogic,

Websphere, IIS, etc), etc

Details

17

1 ESTH - Performance Een performance test campagne

Definitie

•Teststrategie

•Risicoanalyse

•Load

•Planning

Voorbereiding

•Technical feasibility

•Platforms for Monitoring

deployment

•Data set

Realisatie

•Scripts

•Load scenarii

•Monitors

Uitvoering

•Analyzes

•Aanbevelingen

•Tuning en optimalisatie

Afronding

•Eindrapportage

•Presentatie eindresultaat

Performance test campagne wordt als een project gemanaged:

18

Tools

Partners

1 ESTH - Performance

Tooling en partners

20

Controle

Infra

Voorb. Spec. Uitv. Afrond. Test infra inrichten voor de

ontwikkeling, het onderhoud

en de uitvoer van de

geautomatiseerde testset

Testauto core team inrichten

Testomgeving configureren

Vaststellen welke scenario’s geautomatiseerde

dienen te worden

Traceability matrix opstellen en valideren

Geselecteerde scenario’s valideren

Ontwikkelen of bijstellen automatiserings

framework

Geautomatiseerde testscripts ontwikkelen

Debuggen en testen van gemaakte scripts

Validatie dekking testsets

Traceability matrix invullen en bijhouden

• Opstellen automatiseringstestplan

• Risicoanalyse

• Keuze tooling en aantal licenties

• Verzamelen bestaande manuele scripts

• Beheer automatiserings Framework

Metrieken verzamelen voor het opstellen en

uitvoeren van testscripts

Dekking controle

Volwassenheidsmeting

Uitvoeren geautomatiseerde scripts

Testuitvoer resultaten analyseren

Tunen bestaande testauto scripts

Vastleggen geconstateerde bevindingen

Opstellen rapport testuitvoering

Opstellen eindrapportage

Opleveren testauto scripts

en bijbehorend framework

Metrieken

Integratie test automatisering binnen Tmap Next®

21

5 volwassenheidsstappen van testautomatisering

Losse Scripts (QTP / Winrunner / Rational Robot / VB )

Herbruikbaarheid en aanpasbaarheid miniem

Beschikbare testdata is miniem en niet automatisch gegenereerd

Scripts generen test data

Scripts kunnen vaak worden gebruikt waarbij gebruik gemaakt wordt van diverse testdata

Herbruikbaarheid en aanpasbaarheid beperkt

Een deel van de scripts kan via 1 tool worden afgetrapt

De testscripts worden opgeknipt in

losse geautomatiseerde testgevallen;

het script roept de onderliggende

geautomatiseerde testgevallen aan

1 scenario om de onderliggende

bundel testscripts geautomatiseerd uit

te voeren

Scripts kunnen vanuit 1 tool worden afgetrapt

Een automatiseringsframework op maat gemaakt rekening houdend met de eisen van de klant, de verschillende omgevingen en de eisen van de acceptanten

Initiele opstartkosten voor het Framework

Mogelijkheid tot het genereren van specifieke rapportages

Business Test Process Framework: een framework met de business aan de knoppen

Management commitment

Een permanent automatiseringsteam

Complexe scenario’s kunnen worden afgetrapt

De uitvoer van de geautomatiseerde scripts

kunnen door de klant ZELF worden uitgevoerd

zonder enige technische of programmeer

kennis

Naast losse scripts zijn ook de Ketentest

scenario’s geautomatiseerd en beschikbaar

gesteld

Onderhoud is eenvoudig en kost weinig

inspanning

Vroege foutdetectie

Garantie op de dekking van de testen

Traceability tussen bevinding, testgeval en

testbasis

Losse Scripts

Scripts welke testdata

generen

Modulaire en herbruikbare

scripts

Maatwerk test automatiserings

Framework

Framework aangestuurd door

de Business

Mate

van v

olw

assen

heid

van t

esta

uto

matiseirng

22

Vroege foutdetectie: • Completeren testbasis

• Alles .... Nee! En denk aan de risicoanalyse

• Inzetten model based testen (Traceability)

• Gebruik testspecificatie technieken

• Het juiste aantal testgevallen

23

Zo snel mogelijk maar wel eerst aandacht voor: • Handmatige testset

• Traceability

• Kwaliteit testbasis

• Expertise testteam

• Testomgeving

• Tooling

Durf er ook voor te kiezen om NIET te automatiseren • Wat is de ROI?

• Hoe vaak worden deze testen uitgevoerd?

• Hoe belangrijk is dit proces voor de bedrijfsvoering?

• Hoe richt ik het beheer in?