15-05-17

© Polteq 1

Het verleden, het heden en de toekomstvan testverbetering

Martin Pol en Kees Blokland

2© 2017

Toen Nu

ßS

tructu

ur

Pionieren

Structureren

Optimaliseren

Ongestructureerd

OngedisciplineerdFlexibel

Gestuctureerd

GedisciplineerdInflexibel

Evolutie van het testen

15-05-17

© Polteq 2

3© 2017

Structurering

4© 2017

De oorsprong

15-05-17

© Polteq 3

5© 2017

Toepassing en ervaringen?

• Inpassing in IT-proces

• Polarisatie, wij en zij denken

• Budgettering, kosten en baten

• Rapportage

• Omgaan met tijdsdruk

• Etc.

Implementatie en verbetering?

6© 2017

Software Process Improvement (SPI)

Software

Process

Improvement

Test

Process

15-05-17

© Polteq 4

7© 2017

SPI en Test Process Improvement

8© 2017

Improvement

15-05-17

© Polteq 5

9© 2017

Improvement

10© 2017

Test Improvement modellen

• TOM

• V2M2

• SQR

• CTP

• TI4Agile

• TPI (Next)

• STEP

• TSM

• TIM

• TI4Auto

• TMMi

• CTPI

• TestSPICE

• TPS

15-05-17

© Polteq 6

11© 2017

Models for Test Improvement

• TOM

• V2M2

• SQR

• CTP

• TI4Agile

• TPI (Next)

• STEP

• TSM

• TIM

• TI4Auto

• TMMi

• CTPI

• TestSPICE

• TPS

12© 2017

TPI (Next)

• Tim Koomen e.a.

• Concept, ontwikkeling

• Engels, Duits, etc.

• TPI Next

• Wereldwijde toepassing

• Huawei China 2007

15-05-17

© Polteq 7

13© 2017

14© 2017

Ervaringsfeiten

• OPEN VRAGEN LEVEREN MEER OP DAN CHECKPOINTS

• ASSESSMENTS VOER JE UIT OP EXPLORATORY WIJZE

• VAAK ONTSTAAT SNEL EEN EERSTE BEELD

15-05-17

© Polteq 8

15© 2017

TESTEN IN DE JAREN’90 & ‘00

TPI

GROTE ORGTMAP NEXT

TESTAUTO

DEVOPSAGILE ORG

MOBILECERTIFICATIE

CLOUD

IOT

OFFSHORE

SCALED AGILE

TPI NEXT

16© 2017

Grote organisatie

TMap-Next georiënteerd

Centraal geleid

15-05-17

© Polteq 9

17© 2017

Levels

Key areasCheckpoints

Opbouw van veel testverbetermodellen

Key areas Levels

Checkpoints

18© 2017

alle 7 afdelingen

oké

nog 6 afdelingen kans voor verbeteren

verbeterd ten

opzichte van vorige

meting

15-05-17

© Polteq 10

19© 2017

TESTEN IN DE JAREN’90 & ‘00

TPI

GROTE ORGTMAP NEXT

TESTAUTO

DEVOPSAGILE ORG

MOBILECERTIFICATIE

CLOUD

IOT

OFFSHORE

SCALED AGILE

Certificatie

TPI NEXT TMM

TestSPICE

20© 2017

15-05-17

© Polteq 11

21© 2017

Ervaringsfeiten

• Open vragen leveren meer op dan checkpoints

• Assessments voer je uit op exploratory wijze

• Vaak ontstaat snel een eerste beeld

• KIES EEN GESCHIKTE AANPAK OP BASIS VAN DE CONTEXT

• MODELLEN MAKEN VERGELIJKEN MAKKELIJKER

• HET BEELD WANKELT: FASE VAN DE GROTE VERWARRING

• CHECK CHECK CHECK DUBBELCHECK!

22© 2017

TESTEN IN DE JAREN’90 & ‘00

TPI

GROTE ORGTMAP NEXT

TESTAUTO

DEVOPSAGILE ORG

MOBILECERTIFICATIE

CLOUD

IOT

OFFSHORE

SCALED AGILE

Testen in agile context

TPI NEXT TMM

TestSPICE

TI4AGILE

15-05-17

© Polteq 12

23© 2017

Levels

AreasCheckpoints

Hoe maak je een testverbetermodel in agile context?

24© 2017

Levels

Checkpoints

Principles behind structured testingrisk based testing – test design techniques – unit testing - non-functional testing –estimation – end to end testing – regression testing –automated testing – continuous integration – exploratory testing – stubs & drivers – test improvement – test tooling – test

cases – acceptance criteria – defects procedure

Principles behind the Agile manifestoOur highest priority is to satisfy the customer through the early and continuous delivery of valuable software

Welcome changing requirements, even late in the development.

Agile processes harness change for the customer's competitive advantage.

Deliver working software frequently, from a couple of weeks to a couple of months, with preference to the short

time scale.

Business people and developers must work together to the short time scale.

Build projects around motivated individuals. Give them the environment and support they need, and trust them

to get the job done.

The most efficient and effective method of conveying information to and within a development team is face-to-

face conversation.

Working software is the primary measure of progress.

Agile processes promote sustainable development. The sponsors, developers and users should be able to

maintain a constant pace indefinitely.

Continuous attention to technical excellence and good design enhances agility.

Simplicity - the art of maximizing the work not done - is essential.

The best architecture, requirements and designs emerge from self-organising teams.

At regular intervals, the team reflects on how to become more effective, then tunes and adjusts behaviour

accordingly.

Hoe maak je een testverbetermodel in agile context?

15-05-17

© Polteq 13

25© 2017

TI4Agile in de praktijkcasus 1

AGILE IN DE ORGANISATIE

ONTWIKKELPROCES

TESTENONTSLAG...

26© 2017

TI4Agile in de praktijk – casus 2

NIETS...

15-05-17

© Polteq 14

27© 2017

Ervaringsfeiten

• Open vragen leveren meer op dan checkpoints

• Assessments voer je uit op exploratory wijze

• Kies een geschikte aanpak op basis van de context

• Modellen maken vergelijken makkelijker

• VERBETEREN GAAT PAS LOPEN ALS ER EEN PROBLEEM IS

• VERBETERING GAAT AL SNEL BREDER DAN TESTEN

28© 2017

Agile implementatie van verbetering

Business as usual

KANBAN board with improvement tasks

15-05-17

© Polteq 15

29© 2017

Goal

Agile implementatie van verbetering

30© 2017

Ervaringsfeiten

• Open vragen leveren meer op dan checkpoints

• Assessments voer je uit op exploratory wijze

• Kies een geschikte aanpak op basis van de context

• Modellen maken vergelijken makkelijker

• Verbetering gaat al snel breder dan testen

• Verbeteren gaat pas lopen als er een probleem is

• VERHOOG KANS OP SUCCES MET AGILE IMPLEMENTATIE

• KIES STEPPING STONES NAAR HET DOEL

15-05-17

© Polteq 16

31© 2017

TESTEN IN DE JAREN’90 & ‘00

TPI

GROTE ORGTMAP NEXT

TESTAUTO

DEVOPSAGILE ORG

MOBILECERTIFICATIE

CLOUD

IOT

OFFSHORE

SCALED AGILE

Special 1: testautomatisering

TPI NEXT TMM

TestSPICE

TI4AGILE

TI4AUTO

-MATION

32© 2017

TESTEN IN DE JAREN’90 & ‘00

TPI

GROTE ORGTMAP NEXT

TESTAUTO

DEVOPSAGILE ORG

MOBILECERTIFICATIE

CLOUD

IOT

OFFSHORE

SCALED AGILE

Special 2: mobile

TPI NEXT TMM

TestSPICE

TI4AGILE

TI4AUTO

-MATION

TI4

MOBILE

15-05-17

© Polteq 17

33© 2017

TESTEN IN DE JAREN’90 & ‘00

TPI

GROTE ORGTMAP NEXT

TESTAUTO

DEVOPSAGILE ORG

MOBILECERTIFICATIE

CLOUD

IOT

OFFSHORE

SCALED AGILE

Hoe gaat dit verder?

TPI NEXT TMM

TestSPICE

TI4AGILE

TI4AUTO-MATION

TI4 MOBILE ?

?

34© 2017

Toen Nu

Pionieren

Structureren

Hoe verder?

Optimaliseren

Morgen

15-05-17

© Polteq 18

35© 2017

Hoe verder?

Augmented reality

Robotisering

Cloud

IoT

AI

Etc.

Context Driven Test Improvement

Hybride

Continu

Geïntegreerd met BAU

Context

Agile

36© 2017

Bedankt www.polteq.com

info@polteq.com