Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals...

117
Workshop Context Driven Testverbetering Amersfoort, 31 mei 2018

Transcript of Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals...

Page 1: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Workshop

Context Driven

Testverbetering

Amersfoort, 31 mei 2018

Page 2: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Focus

Kennisdeling

Persoonlijk

Plezier

Vakmanschap

Meer

Oprecht

Lokaal

Page 3: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,
Page 4: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

4

Roadmap voor

Context Driven Testverbetering

https://improvement.polteq.com

Page 5: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Context Driven Testverbetering

heeft een aanleiding zoals een behoefte (+) of een knelpunt (-),

krijgt doelstellingen mee om deze op te lossen,

binnen een gegeven aandachtsgebied,

met een aanpak,

die zich laat sturen door de context,

als basis voor een onderzoek,

dat leidt tot een rapport,

met verbetervoorstellen,

die worden geïmplementeerd en

waarvan het effect wordt geëvalueerd

Page 6: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 7: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

We beginnen bij de hoofdvraag

“Hoe kan Testservices bijdragen aande doelstellingen van de afdeling?”

Hoe kunnen we het testen op een hoger plan brengen in de agile teams?

Testen duurt te lang, hoe kan dat sneller?

Waar en hoe kunnen we testen verbeteren in ons ontwikkelproces?

We willen testen verbeteren, maar waar moeten we beginnen?

Kunnen jullie bevestigen dat deze testgroep inderdaad erg goed is?

Page 8: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Wat is uw hoofdvraag?

Page 9: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 10: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Wanneer zijn we succesvol?

“Op basis van het antwoord wil men visie ontwikkelen op testen en op de services van Testservices”

Minder fouten in productie

Lagere testkosten

Verbetervoorstellen in logische volgorde

Inzicht in vergelijking met andere organisaties

Page 11: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Wanneer zijn we bij u succesvol?

Page 12: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 13: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Wat is het aandachtsgebied?

13

“Testen bij de afdelingen Logistiek, Kantoorautomatisering en Life cycle management”

Zes agile teams

Testautomatisering

Testen van mobile apps

Automatisch testen van mobile apps

CI/CD

Page 14: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

ScopeOne or more test levels

• unit, system, integration, …One or more test types

• functional, performance, security, …Project, department, product group, company, …One or more agile teams

Center of Excellence

Specific testing aspects

• performance test

• test automation

• mobile testing

• ….

Page 15: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 16: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Wat is de context?

16

Logistiek: zeer hoog risicoprofiel

Kantoorautomatisering: agile, testautomatisering

Life cycle management: devops

Page 17: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Prototyping

Lean

Rapid Software Test

Management

(Acceptance) Test

Driven Development

V-model

TMap (Next)

Not on this list…

Wat is uw context?

Page 18: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Mobile

SOA

Cloud

Wat is uw context?

Page 19: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 20: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,
Page 21: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 22: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

INTERMEZZO: 7000 testers, of 9000?

Out-of-comfortzone TPI, een 10

jarig jubileum bij Huawei,

China.

Laatste telling 26000...

Page 23: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

23

TPI original is best streng

Page 24: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

24

Page 25: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Beijing 2011

25

Upgrade naar TPI Next

Complexiteit

MBT

Outsourcing

Requirements

Agile

Terugkerende thema’s

Page 26: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Initial Controlled Efficient Optimizing

1 Stakeholder commitment A B B C F H H K M M

2 Degree of involvement A B C E H H J L L

3 Test strategy A A B E F F H K L

4 Test organization A D D E I I J J K L L

5 Communication B C C D F F J M M

6 Reporting A C C F G G K K

7 Test process management A A B B G H J K M

8 Estimating and planning B B C C G H I I K L L

9 Metrics C C D G H H I K K

10 Defect management A A B D F F H J K L L

11 Testware Management B B D E I I J L L L

12 Methodology practice C D E F H J J M M

13 Tester professionalism D D E E G G I I K K M

14 Test case design A A E F I I J K K M

15 Test tools E E E F G G I L M M

16 Test environment C D D E G H J J L M M26

TPI Next transparanter, motiveert meer

Page 27: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Xi’an 2012

27

Te goed!

Kan het wat minder?

Page 28: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Key areas Initial Controlled Efficient Optimizing

1 Stakeholder commitment A B B C F H H K M M

2 Degree of involvement A B C E H H J L L

3 Test strategy A A B E F F H K L

4 Test organization A D D E I I J J K L L

5 Communication B C C D F F J M M

6 Reporting A C C F G G K K

7 Test process management A A B B G H J K M

8 Estimating and planning B B C C G H I I K L L

9 Metrics C C D G H H I K K

10 Defect management A A B D F F H J K L L

11 Testware management B B D E I I J L L L

12 Methodology practice C D E F H J J M M

13 Tester professionalism D D E E G G I I K K M

14 Test case design A A E F I I J K K M

15 Test tools E E E F G G I L M M

16 Test environment C D D E G H J J L M M

Context: testen was even ‘klaar’ met verbeteren

Page 29: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

29

42, or:

what happens in Xi’an,

stays in Xi’an...

Page 30: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Chengdu 2014, out of comfortzone

30

Eerste keer:

TPI alleen

Agile TPI (TI4Agile)

Michael Bolton

Page 31: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

TI4Agile kijkt naar Testen en Agile (samen)werken

Page 32: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

32

Page 33: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Hangzhou 2017

33

Waar is TPI gebleven?

I4agile

Page 34: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Wat is de aanpak?

34

Testen of breder?

Training?

Staged of Continuous?

Gelinkt aan SPI of CMMi?

Formeel of informeel?

Schaalbaarheid?

Studie?

Zelf of extern?

Verbetersuggesties?

Budget?

Top down? Bottom up?

Interviews?

Groepsessies?

Mee testen?

Meetings bijwonen?

“De aanpak van het assessment wordt gedifferentieerd per domein vastgesteld.”

Page 35: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Wat voor aanpak past bij

uw organisatie?

Page 36: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Kies / combiner wat past en bijdraagt

Algemene modellen• TPI Next

• TMMI

• STEP

• CTP

• GQM

• ……

Specifieke focus• TI4Agile

• TI4Automation

• CTPI

• SFAI-web

• Belbin

• ……

Heuristieken• Exploring

• Test along

• Heuristieken

- Discussies

- Bevragen

• Impliciete kennis

• Experience based

• Mindmapping

• Brainstormsessies

• Out-of-the-Box

• Good Practices

• …

Meer details na de pauze!

Page 37: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 38: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Het onderzoek: een beeld ontstaat

38

Praatplaatjes

Leidende thema’sBasis voor testbeleid bouwt op

Testafdeling in zijn kracht zetten

Bijsturen en inzoomen

Page 39: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 40: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Wat is het resultaat?

40

Management presentatie

Testservices presentatie

Ondersteunend rapport

Concrete voorstellen voor actie afgestemd op doelgroep

Page 41: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 42: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

42

Intermezzo:Ervaringen met implementatie van

Context Driven Testverbetering

Page 43: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Testverbetering take-1: Top-down

Verbeteringfase Actie Context Effect

Voordoen Test strategie 1.0 • V model

• Management

draagt uit

• Geen

hulpvraag van

testers

• Q er in

reviewen

• Papieren tijgerMeedoen Trainen

Hulp aanbieden

Zelf doen Reviewen

Testen stond nu wel op de kaart!

Page 44: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Testverbetering take-2: Bottom up

Verbeteringfase Actie Context Effect

Voordoen Test strategie 2.0 • Agile scrum

• Organisatie

zoekend:

Zelfsturend vs

zelf

management

• Indringer!

• Team beslist

zelf hoe met

testen om te

gaan!

Meedoen Trainen

Helpen bij test

refinement

Zelf doen Reviewen

Agile testen geïntroduceerd

CDTI aanjager discussie over zelfsturend / zelf management

Early adopters kwamen met hulpvraag over implementatie van teststrategie

Page 45: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Testverbetering take-3: Samen

Verbeteringfase Actie Context Effect

Voordoen Teststrategie 2.0 • Management is

agile aware

• Scrum teams

nog weinig

volwassen

• Management

buy-in

• Team buy-inMeedoen Aansluiten bij SM

gilde

Samen met team

verbeterbacklog

opstellen

Zelf doen Gebruik

retrospective

Agile teststrategie duidelijk

Test (verbetering) ingebed in de Agile scrum methodiek

Men kon zelf verder

Page 46: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

CDTImplementatie - conclusies

De CDTI implementatie verandert de context

• Verschuivende weerstandshobbel

- Fase 1: team

- Fase 2: management

- Fase 3: weerstand weg

Weet wat er anders nog speelt

• Pas de implementatie daarop aan

Door de implementatie wordt je onderdeel van de context

• Dwing jezelf om scherp te blijven

Page 47: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 48: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,
Page 49: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Implementatie

49

“Er is meer uit het assessment gekomen dan we verwacht hadden. Bepaalde uitkomsten herkenden we en op dat gebied waren we zelf ook al kleine stapjes aan het zetten. Andere

bevindingen waren nieuw voor ons en het was nuttig dat we daarop gewezen werden”

Nieuw testmodel - sluit beter aan bij Agile en Waterval

• Laagdrempeliger, beter toegankelijk voor een breed publiek

Inzicht geven in wat we wel/niet doen

• Duidelijke scheiding van taken en verantwoordelijkheden

• Draagt bij aan beter voortbrengingsproces

Belangrijkst van alles: de zaadjes die zijn gepland

Page 50: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Implementatie

50

“We zijn voortdurend bezig om onszelf te verbeteren en hebben ook echt de drive om zaken aan te pakken.”

“Het rapport geeft ons steeds weer een extra duwtje in de goede richting.”

Page 51: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

51

CDTV helpt ... met modellen en

aanpakken

Page 52: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Waarom een model?

Om..

aan te sluiten bij het testproces zoals TPI Next + TMap Next

aan te sluiten bij andere verbetermodellen zoals TMMi + CMMi)

te kunnen vergelijken afdelingen, de industrie, een niveau

tegen een industriestandaard te meten TestSpice (Duitsland)

makkelijker buy-in te krijgen model geeft gezag

te focussen op een specifiek gebied TI4Automation, TI4Mobile

niets te missen eigenlijk geldt dit voor alle modellen

DekkingObjectiviteit

Page 53: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Waar bestaan modellen vaak uit?

Levels

Areas

Checkpoints

ontwikkeling

Page 54: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Een greep uit bestaande verbetermodellen

Model Focus Strong inTPI Next Test process in traditional

organizationsFocus test improvement

TMMi Test process in traditional, large organizations

Formal test maturity measurement

TestSPICE Test process in industry oriented organizations

Link to standards and SPICE

STEP Test & Evaluation Drive test improvement

CTP Testing Drive test improvement

GQM Software metrics Quality improvement

T5 (imbus)TI4Agile (polteq)

Testing in agile context Test improvement in agile context

TI4Automation Automated testing (checking) Implementation of test automation

TI4Mobile Mobile testing Improve mobile testing

Belbin Team roles Improve team work

Cloutest Testing cloud services Organizing testing in cloud context

TOGA Test Outsourcing Governance Approach

Improve testing in outsourcing context

Page 55: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

CDTV modellen en aanpakken

55

TPI Next

TI4Agile

TI4Automation

I4Agile

TI4Mobile

Testen in Agile context

Testen en ontwikkelen in Agile context

Testen als discipline

Testen van mobile apps

Test-automatisering

TOGARoadmap voor

(test)outsourcing

CloutestTesten van

cloudservices

IoT risico’sProductrisicomodelInternet of Things

Compact TICDTV in een

notendop

Modellen voor (test)verbetering Andere CDTV-hulpmiddelen

Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.

Page 56: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

CDTV modellen en aanpakken

56

TPI Next

TI4Agile

TI4Automation

I4Agile

TI4Mobile

Testen in Agile context

Testen en ontwikkelen in Agile context

Testen als discipline

Testen van mobile apps

Test-automatisering

TOGARoadmap voor

(test)outsourcing

CloutestTesten van

cloudservices

IoT risico’sProductrisicomodelInternet of Things

Compact TICDTV in een

notendop

Modellen voor (test)verbetering Andere CDTV-hulpmiddelen

Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.

Page 57: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

TPI Next

Continuous representation

Focus on test process

Covers entire test process

Improvement sequence

Improvement suggestions

TMap Next terminology

Book (e-book)

Within the context of software development process

Page 58: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Nieuwe modellen

Waarom hebben we die gemaakt? Context!

Welke zijn er?

• TI4Agile

• TI4Automation

• TI4Mobile

• I4Agile

- Uitbreiding met development

- Uitbreiding met projectmanagement

- TODO: business (analysis) integreren in bestaande delen

Page 59: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

CDTV modellen en aanpakken

59

TPI Next

TI4Agile

TI4Automation

I4Agile

TI4Mobile

Testen in Agile context

Testen en ontwikkelen in Agile context

Testen als discipline

Testen van mobile apps

Test-automatisering

TOGARoadmap voor

(test)outsourcing

CloutestTesten van

cloudservices

IoT risico’sProductrisicomodelInternet of Things

Compact TICDTV in een

notendop

Modellen voor (test)verbetering Andere CDTV-hulpmiddelen

Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.

Page 60: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

TI4Agile

Testing in Agile context

Consistent with Scrum

Many suggested practices

Covers agile team aspects

More strict on testing skills

https://improvement.polteq.com/en/ti4agile/TI4Agile has been developed by Polteq

Page 61: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

CDTV modellen en aanpakken

61

TPI Next

TI4Agile

TI4Automation

I4Agile

TI4Mobile

Testen in Agile context

Testen en ontwikkelen in Agile context

Testen als discipline

Testen van mobile apps

Test-automatisering

TOGARoadmap voor

(test)outsourcing

CloutestTesten van

cloudservices

IoT risico’sProductrisicomodelInternet of Things

Compact TICDTV in een

notendop

Modellen voor (test)verbetering Andere CDTV-hulpmiddelen

Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.

Page 62: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

TI4Automation

Improvement of test automation

Goal driven

Not tool driven

TI4Automation roadmap

Reference model

Focus: added value of test automation

https://improvement.polteq.com/en/ti4automation/TI4Autmation has been developed by Polteq

Page 63: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

CDTV modellen en aanpakken

63

TPI Next

TI4Agile

TI4Automation

I4Agile

TI4Mobile

Testen in Agile context

Testen en ontwikkelen in Agile context

Testen als discipline

Testen van mobile apps

Test-automatisering

TOGARoadmap voor

(test)outsourcing

CloutestTesten van

cloudservices

IoT risico’sProductrisicomodelInternet of Things

Compact TICDTV in een

notendop

Modellen voor (test)verbetering Andere CDTV-hulpmiddelen

Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.

Page 64: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

TI4Mobile

Improvement of testing mobile apps

Mobile awareness

Test process in mobile context

Special topics:

• Mobile device lab

• Device analytics

• API testing

https://improvement.polteq.com/en/ti4mobile/

TI4Mobile has been developed by Polteq

Expert

Advanced

Basics

Page 65: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

CDTV modellen en aanpakken

65

TPI Next

TI4Agile

TI4Automation

I4Agile

TI4Mobile

Testen in Agile context

Testen en ontwikkelen in Agile context

Testen als discipline

Testen van mobile apps

Test-automatisering

TOGARoadmap voor

(test)outsourcing

CloutestTesten van

cloudservices

IoT risico’sProductrisicomodelInternet of Things

Compact TICDTV in een

notendop

Modellen voor (test)verbetering Andere CDTV-hulpmiddelen

Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.

Page 66: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

I4Agile

Agile

Testing

Development

Projectmanagement

https://improvement.polteq.com/en/i4agile/

Page 67: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

67

CDTV helpt ...

… bij de introductie van Agile

Page 68: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Transitioning to agile

Process WaterfallDevelopment

Transition Agile Development

Measure ofSuccess

Management Culture

Requirements & Design

Coding & Implementation

Test & Quality Assurance

Planning & Scheduling

Conformanceto plan

Response to change,working code

Command & control

Leadership,self managing teams

Big & upfrontdocumentation

Continuous,just in time elaboration

Code all features in parallel. Test later

Code & unit test,deliver serially

Big, planned / test late

Continuous & concurrenttesting starts early

detailed / fixed scope, estimate time & resources

Two-level plan / fix date, estimate scope

(Scaling Software Agility: Best Practices for large Organisations – DeanLeffingwell 2007)

Page 69: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Evolution of Agile testing

PerformingNormingForming .

Pioneering

Structured

Agile

Time

Str

uctu

red

N

ot

str

uctu

red

Page 70: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Agile testing maturity levels

Forming Norming Performing

Ag

ile t

esti

ng

levels

Set the basis and the first

steps towards working in an Agile manner

Adopt a process that facilitates the Agile view

on working

Continuously improve the

way you work by living the

Agile way

Page 71: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Assessment model

Key area Forming Norming Performing

1 Stakeholder commitment 1 2 3 4 1 2 3 4 1 2 3

2 Planning & Estimation 1 2 3 4 1 2 3 4 1 2 3 4

3 People 1 2 3 4 1 2 3 4 1 2 3

4 Interaction 1 2 3 4 1 2 3 4 1 2 3 4

5 Teamwork 1 2 3 1 2 3 4 1 2 3 4

6 Environments 1 2 3 1 2 3 1 2 3 4

7 Test process 1 2 3 1 2 3 4 1 2 3

8 Test management 1 2 3 4 1 2 3 1 2 3

9 Test profession 1 2 3 4 1 2 3 4 1 2 3

10 Test automation 1 2 3 1 2 3 4 1 2 3 4

11 Regression & E2E testing 1 2 3 4 1 2 3 1 2 3 4

12 Defect management 1 2 3 1 2 3 4 1 2 3

Page 72: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Stakeholder commitment

Recognise the value of a team and of each role in the team

Create an environment in which the team can work effectively

Deliver acceptance criteria

Participate in acceptance

Prioritise backlog, risks and defects

Deliver context for user stories

Allow freedom of choice

Facilitate Agile/SCRUM

Page 73: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Stakeholder commitment

Forming Norming Performing

TI4Agile

Stakeholders start projects

Stakeholders help projects

Stakeholders participate in

projects

Page 74: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

The path to commitment

Contact

Awareness

Understanding

Positive perception

Adoption

Institutionali-zation

Internalization

Le

vel

of

co

mm

itm

en

t

Page 75: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

People

Page 76: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

People

Forming Norming Performing

TI4Agile

People are motivated

People embrace

changes in the product

People initiate process changes

Page 77: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

People – Feedback

State something positive related to the subject

State your criticism objectively

Don’t use the word “but”State the effect

Suggest an improvement

Thank you for delivering a lot of information in the meeting. I noticed that you were talking a lot, this provided me little room to give my opinion. You might want to ask others for their input in the future.

Page 78: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

People – T-shaping

Know the context

Know your own strengths

Assist others

Leave your comfort zone

78

Page 79: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Stakeholder commitment – Forming

1. The principal stakeholder is defined and known by the team(s)

2. Stakeholders deliver the committed resources

3. Stakeholders actively acquire information on the progress of the project

4. Stakeholders are willing to adapt their way of working to the (test) process

Page 80: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Stakeholder commitment – Norming

1 The stakeholders provide a mandated representative (PO) to the team

2 The stakeholders define business value and provide a prioritized product backlog

3 The stakeholders define acceptance criteria for the items on the product backlog

4 Stakeholders attend the review meeting

Page 81: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Stakeholder commitment – Performing

1 The product owner is actively participating in the team

activities

2 Stakeholders trust and value the team(s)

3 Stakeholders share responsibility for the quality of the

product

Page 82: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

People – Forming

1. People are well trained and/or experienced in their functions

2. People are willing to put in extra effort when needed

(commitment)

3. People can explain their value in the project context

4. People take full responsibility for their work

Page 83: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

People – Norming

1 People understand project (management) terminology and know the purpose of the different meetings

2 Scrum master keeps track of the process

3 Scrum master removes roadblocks outside the team

4 People have a positive attitude towards change

Page 84: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

People – Performing

1 People proactively provide feedback

2 People know how to handle feedback and use the

feedback to improve

3 People are able to help with tasks outside their main

area of expertise (T-shaping)

Page 85: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Assessment model

Key area Forming Norming Performing

1 Stakeholder commitment 1 2 3 4 1 2 3 4 1 2 3

2 Planning & Estimation 1 2 3 4 1 2 3 4 1 2 3 4

3 People 1 2 3 4 1 2 3 4 1 2 3

4 Interaction 1 2 3 4 1 2 3 4 1 2 3 4

5 Teamwork 1 2 3 1 2 3 4 1 2 3 4

6 Environments 1 2 3 1 2 3 1 2 3 4

7 Test process 1 2 3 1 2 3 4 1 2 3

8 Test management 1 2 3 4 1 2 3 1 2 3

9 Test profession 1 2 3 4 1 2 3 4 1 2 3

10 Test automation 1 2 3 1 2 3 4 1 2 3 4

11 Regression & E2E testing 1 2 3 4 1 2 3 1 2 3 4

12 Defect management 1 2 3 1 2 3 4 1 2 3

Page 86: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

86

CDTV helpt ...

… bij Mobile

Page 87: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

TI4Mobile

Improvement of testing mobile apps

Mobile awareness

Test process in mobile context

Special topics:

• Mobile device lab

• Device analytics

• API testing

TI4Mobile has been developed by Polteq

Expert

Advanced

Basics

Page 88: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Mobile expert

TI4Mobile maturity levels

Mobile advanced

Mobile basics

Page 89: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

1st Level – Mobile basics

The level of mobile awareness across the project, people within a team and organization. This is enabling the conditions that are required for mobile testing.

Mobile basics aspects

• Testability of the mobile app

• Available testing skills

• Mobile test environment

• Usage of Analytics

• API testing

Basics

Page 90: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

2nd Level – Mobile advanced

All the mobile perspectives are understood and used to increase the effectiveness of the test process.

Mobile Advanced aspects

• Team shares mobile test knowledge

• Mobile perspectives in the Product Risk Analysis

• Dedicated test role in a co-located development team

• Device lab for all types of tests

• Development heartbeat corresponds to market demands

• End-users are involved in the development cycle

Advanced

Page 91: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

3rd level – Mobile expert

Testing is so organized that it is constant capable of giving a

quality feedback from unit to end-user and from backend to

app for all perspectives within hours

Mobile Expert aspects

• Multiple test layers (environments, architecture, users)

• Regular updates of the ‘device usage market analysis’• User sessions as integrated part of the development cycles

• “Passion or innovation time” to incorporate trends

Expert

Page 92: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

The key areas of TI4Mobile

Page 93: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

The key areas of TI4MobileExpert

Advanced

Basics

Organizational

mobile awareness

Test device policy

Mobile testing skills

Mobile analyticsUsers

&

Personas

Mobile API

Test environment

Defect analysis

Page 94: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Organizational mobile awarenessExpe

rt

Advanced

Basics

Page 95: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

95

CDTV helpt ...

… bij Test Automation

Page 96: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

TI4Automation

Improvement of test automation

Goal driven

Not tool driven

TI4Automation roadmap

Reference model

Focus: added value of test automation

Page 97: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Test automation maturity levels

Forming Norming Performing

Test

Au

tom

ati

on

levels

Set the basis and the first

steps towards automated

tests

Facilitateintegration of

test automation in

the test process

Continuously improve test

automation by applyinglessons learned

Page 98: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Assessment model

Key area Forming Norming Performing

1 Automation strategy 1 2 3 4 1 2 3 4 1 2 3 4

2 Automation architecture 1 2 3 1 2 3 4 1 2 3 4

3 Automation standards 1 2 3 1 2 3 4 1 2 3

4 Automation scripts 1 2 3 1 2 3 4 1 2 3

5 Team 1 2 3 1 2 3 4 1 2 3

6 Test environments 1 2 3 4 1 2 3 4 1 2 3 4

7 Test data 1 2 3 1 2 3 4 1 2 3 4

8 Tooling 1 2 3 4 1 2 3 4 1 2 3

9 Tool integration 1 2 3 1 2 3 4 1 2 3

10 Planning & estimation 1 2 3 1 2 3 4 1 2 3

Page 99: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Key areas Forming Norming Performing

1Automation strategy Scope defined Priorities defined Regression

strategy

defined

Strategy

agreed with

stakeholders

All components

incorporated

All test levels

addressed

Selection and

scheduling

defined

Test automation

risks addressed

Strategey based

on ROI

Strategy

frequently

reviewed

End to end

strategy

defined

Performance

strategy linked to

automation

strategy

2Automation architecture High level architecture

available

Test abstraction for

each part of the

architecture

Tests use their

respective

abstractions

Abstraction(s)

guarantee read

and write

access to the

test object

All tests use

their respective

abstractions

Intelligible test

output available

Test coverage

visible in test

results

Reusable

examples

available

Autonomous

execution

possible

Continous

Integration

supported

Metrics

supported

3Automation standards Information on

application of

standards available

Distributed version

control used

Test automation

code tested and

debugged

Configuration

instead of magic

numbers

Coding

convention

consistently

applied

Code reviews

practiced

Rubber ducking

practiced

Defacto design

patterns applied

Refactoring

frequently practiced

Continuous integration

practiced

4Automation scripts Scripts communicate

their intent

Scripts can run

atomically

Scripts deliver

consistent test

output

Scripts can take

different data

sets

Scripts and

linked data

stored

separately

Scripts can be

executed in

separate groups

Effort according

to test pyramid

Scripts contain no test

logic

Common

development

practices applied

Test fixtures control

setup and data actions

5Team Team experienced in

structured testing

Team experienced in

development

Team understands

and applies the

automation

strategy

Team can

explain rationale

of automation

strategy

Team has

domain

knowledge

Shared

understanding

of added value

of automated

testing

Mutual support

in automation

efforts

Team continuously

improves automation

Team continuously

improves skills and

knowledge

Team provides

improvement

suggestions for

testability

6Test environments Environments

available when

needed

Tooling has

access to

environments

Environments

enable

consistent

execution

Scheduled

environment

changes

Environments

continously

available

Environments

support all

automated test

levels

Environments

support testing

all components

Environments

continuously

kept up-to-date

Acceptance

environment

production like

Validity of

environments

frequently

checked

Environments

support end to

end

automation

Environments

can be

duplicated and

scaled

7Test data Test data available Automated data

selection possible

Test data enables

consistent

execution

Test data linked

to scripts

Test data

honors privacy

regulations

Test data

consistent

across

components

Test data

acceptance

environment

production like

Test data can be

reset to original

state

Test data

automatically

replicated in

BPT

Test data

continuously

kept up-to-

date

Validity of test

data frequently

checked

8Tooling Information on

tooling available

Unattented

execution

supported

Tooling

manages

scripts

Test results

can be

verified

Tooling used for

detailed logging

Tooling used

for CRUD

actions

Tooling gathers

metrics

Tooling used for

tracibility to

requirements

Tooling used for

recovery

Tooling supports

configurable plugins

Tooling used for end to

end testing

9Tool integration Test reporting

integrated with

surrounding tools

Import from external

sources facilitated

Export to external

targets facilitated

Automation

uses defect

management

system

Automation logs

defects

automatically

Test results

linked to

component and

environment

Configuration

management

supported

Defect life cycle

automated

Tool integration

fully automated

Automated scheduling

of tests based

resolved defects

10Planning & Estimation Automation activities

planned and

estimated

Estamation

substantiated

Planning and

estimation agreed

with stakeholders

Automation

planned in small

tasks

Script review

planned

Sequence

based on

business value

and risk

Devations from

stategy

discussed and

agreed

Automation activities

monitored

Metrics and lessons

learned are

collected

Metrics and lessons

learned are used for

improvement

Page 100: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Team – Levels

Forming Norming Performing

TI4Automation

The team applies the automation

strategy

The teamgives mutual support in automation

The team continuously

improves skillsand test

automation

Page 101: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Keep the goal visible

Page 102: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Team development

(Bruce W. Tuckman – Stages of group development)

Page 103: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Team – Forming

1. The team has sufficient knowledge and experience in

structured testing

2. The team has sufficient knowledge and experience in

development

3. The team understands and applies the chosen test

automation strategy

Page 104: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Team – Norming

1. The team can explain the rationale behind the chosen

test automation strategy

2. The team has sufficient domain knowledge

3. Other skill groups understand the added value of the

test automation efforts of the team

4. All relevant skill groups actively support each other

Page 105: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Team – Performing

1. The team strives to continuously improve their skills and

products

2. The team proactively gathers relevant information about

good practices in test automation

3. The team provides constructive feedback on the

testability of the test object, including improvement

suggestions

Page 106: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

106

CDTV helpt ... met heuristiek

Page 107: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

CDTV helpt ... met heuristiek

How do you feel?Ever felt this before?How about your work?Doing sports?How is your family?

In the morning?When was that?Need to walk?At what level?Similar complaints?

Before breakfast?…………

Page 108: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,
Page 109: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,
Page 110: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

110

CDTV helpt ...

… wrap up

Page 111: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Insanity:

Doing the same

thing over and over

again and expecting

different results.

Albert Einstein

Page 112: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Aanleiding

Onderzoek

Verbetervoorstellen

Implementatie

voor een

CDTV initiatief

Doelstellingen

Aandachtsgebied

Context

voorzien van

gerichtop een

gestuurddoor de

dat

oplevert voor de

die worden geëvalueerd

tegen de

Effect

leidt tot een Aanpak

die leidt tot een

voor een

Start

Roadmap Context Driven Testverbetering

Page 113: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Assessment Heuristics

The assessment approachVolg het model

‘Speak to management first’‘Follow the problems (exploration)’

‘Ask open questions’

Haal kennis op via

‘Observe the work’‘(Don’t) Jump to conclusions’

‘The Period Of The Great Confusion’

…Interviews

Idearaising sessions

Heuristics

Study

…Walkaround

Testalong

Attend meetings

Feedbackand react

Page 114: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

ReportAssessment results

- Model based results

- ‘Unbound’ results

- Positive points too!

Recommendations

- Model based improvements

- ‘Unbound’ improvements

- Related to goals/objectives

Management presentatie

Presentatie voor de (test)groep

Ondersteunend rapport

Concrete voorstellen voor actie

afgestemd op doelgroep

Reporting – heuristics

‘A picture is worth a 1000 words’‘Iterate with major stakeholders’

‘Identify quick wins’

Page 115: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

ReportAssessment results

- Model based results

- ‘Unbound’ results

- Positive points too!

Recommendations

- Model based improvements

- ‘Unbound’ improvements

- Related to goals/objectives

Management presentatie

Presentatie voor de (test)groep

Ondersteunend rapport

Concrete voorstellen voor actie afgestemd op doelgroep

Reporting – heuristics

‘A picture is worth a 1000 words’‘Iterate with major stakeholders’

‘Identify quick wins’

Page 116: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,

Continuous

Improvement is

better than delayed

perfection.

Mark Twain

Page 117: Workshop - Polteq, passie voor testen · Context Driven Testverbetering heeft een aanleiding zoals een behoefte (+) of een knelpunt (-), krijgt doelstellingen mee om deze op te lossen,