Testautomatisering?Ik zeg, doen!André Verschelling

Senior Testconsultant High Tech

29 november 2011

2

Vervangen we de testers door Robots?

Klantenseminar Oktober 2008

3

Testautomatisering

• Doen we het al?

• Gebrek aan tijd, geld, resources

• Slechte ervaringen in het verleden

• Kan niet bij mijnsysteem / product

•Mijn omgeving is tedynamisch

4

Testautomatisering

•Met testautomatisering wordt het:− … Beter− … Sneller

− … Vaker

− … Efficiënter

− … Goedkoper

− …

• Te mooi om waarte zijn?

5

Waar doen we het voor?

6

Strategie

Deelsysteem / Kenmerk Risico UT ST FAT UAT/SAT

Functionaliteit

- Deelsys 1 A

- Deelsys 2 B

- Totaal A

Gebruiksvriendelijkheid C

Performance B

Enz.

7

Testontwerptechnieken en dekking

Testontwerptechnieken

Kwaliteits attribuut / Licht / Gemiddeld / Zwaar

Functionaliteit-Algemeen

DCoT-equivalence classesSYN-checklist (limited)

UCT-checklistEG

DCoT pairwise testingDCyT (life cycle of the

data) CRUDDCyT (integrity rules)

decision coveragePCT-test depth level 2SYN (prioritised list)

SEM-condition/decision coverageUCT-paths

ET

DCoT-N-wise testingDCyT (life cycle of the data) CRUD (extra Rs)DCyT (integrity rules)

modified condition/decision

coverageRLT-operational/load

profilesSEM-modified

condition/decision coverage

UCT-decision points

Functionaliteit-Detail

DTT- condition/decision coverage

DCoT-equivalence classesECT- condition/decision

coverageEG

DCoT-pairwise testingECT-modified

condition/decision coverage

ET

DTT- multiple condition coverage

(+ boundary values)DCoT-N-wise testing

ECT-multiple condition coverage

EA

Enz…

8

Testautomatisering

• Scoren met een SMASH!− S: Supportive

− M: Measurable

− A: Achievable

− Sh: Short-term benefit(with a Long-term goal)

9

Deelsysteem / Kenmerk Risico UT ST FAT UAT/SAT

Functionaliteit

- Deelsys 1 A

- Deelsys 2 B

- Totaal A

Gebruiksvriendelijkheid C

Performance B

Enz.

Scoren met een SMASH

• Ondersteunend(S: supportive)

•Maakt de teststrategie waar− Keuzes voor dekking

− Keuzes voor testsoort(en)

− Keuzes voor testontwerptechnieken

Testontwerptechnieken

Kwaliteits attribuut / Licht / Gemiddeld / Zwaar

Functionaliteit-Algemeen

DCoT-equivalence classesSYN-checklist (limited)

UCT-checklistEG

DCoT pairwise testingDCyT (life cycle of the

data) CRUDDCyT (integrity rules)

decision coveragePCT-test depth level 2SYN (prioritised list)

SEM-condition/decision coverageUCT-paths

ET

DCoT-N-wise testingDCyT (life cycle of the data) CRUD (extra Rs)DCyT (integrity rules)

modified condition/decision

coverageRLT-operational/load

profilesSEM-modified

condition/decision coverage

UCT-decision points

10

Ondersteunend aan Teststrategie

• Real-life test met Operational Profile

•Welke handeling heeft de grootste kans van optreden onder bepaalde omstandigheden?

• Test case: Sequentie van handelingen

• Test case kiest de volgende handeling op basis van het operational profile

evStop evRewind <a>::X

evPlay <b>::X

evFastForward <c>::X

evRecord <d>::X

Standby 0 0.2 0.5 0.2 0.1

Rewind 0.3 0 0.6 0.1 0

Play 0.5 0.3 0 0.2 0

Fast forward 0.5 0.1 0.4 0 0

Record 1 0 0 0 0

Playcounter >= 15000

0.8 0.15 0 0.05 0

11

Scoren met een SMASH

•Meetbaar(M: Measurable)

•Meetbaar toegevoegde waarde− Dekkingsgraad bij gekozen dekkingsvorm− Requirements coverage− Percentage regressiefouten− EMTE (Estimated Manual Test Effort) uren

12

Scoren met een SMASH

• Haalbaar(A: Achievable)

• Randvoorwaarden zijn ingevuld− Testers− Ontwikkelaars− Systeem− Ontwikkelomgeving

Test Automation Framework

Test Case

Test Resultaat

Interface

Systeem

13

Scoren met een SMASH

• Tijdig voordeel(Sh: Short Term benefit)

• Eerste resultaten tijdens project− Wat niet handmatig kan eerst− Wat het meeste voordeel oplevert daarna− Wat het niet waard is niet

• Afgestemd op de toekomst

14

Welke keuzes?

• Invullen van de strategie

•Meten is weten

• Kennis en competenties

• Klein beginnen, maar groot denken

15

Conclusie

•Winnen wordt bepaald door de juiste verhouding van scoren en kansen missen. Je kan beter twee keer scoren uit drie kansen dan één keer scoren uit acht kansen. Maar je hebt wel kansen nodig om te scoren.Johan Cruijff

Daarom zeg ik: Doen!

16

Vragen?

17

staat voor resultaat