© S

YS

QA

Alm

ere

SYSQA Kennissessies 2013

‘Situationeel testen’

Welkom!

1

© S

YS

QA

Alm

ere

© S

YS

QA

Alm

ere

© S

YS

QA

Alm

ere

4

Programma

• Lezing Situationeel testen 14:05 – 14:30Bart Fessl, productmanager SYSQA

•Discussie/vragen 14:30 – 15:00

• Pauze 15:00 – 15:15

4

© S

YS

QA

Alm

ere

5

Programma

• Praktijkcases 15:20 – 16:00• Roger Wouterse 15:20 – 15:40• Martijn van der Poel 15:40 – 16:00

• Discussie/vragen 16:00 – 16:30

• Afsluiting 16:30 – 16:35

• Borrel 16:35 – 18:00

5

© S

YS

QA

Alm

ere

Praktisch

6

#kssysqa13 presentaties op website

evaluatie per e-mail

SYSQA Kennissessies 2013

Situationeel testen

© S

YS

QA

Alm

ere

8

Situationeel testen

WAAROM?HOE?

Waarom testen we: value based testing

THE ABSENCE OF BUGS IS NOT AN INDICATOR OF QUALITY

Goyko Adzic, 2013

© S

YS

QA

Alm

ere

10

Value based testing: Maslow in systeemontwikkeling

Bron: Wikipedia

© S

YS

QA

Alm

ere

11

Value based testing

Succesvol

Bruikbaar

Gebruikersvriendelijkheid

Performance en security

Functionaliteit

© S

YS

QA

Alm

ere

12

Situationeel testen

WAAROM?HOE?

© S

YS

QA

Alm

ere

Hoe testen we?

13

Scripted testen Non-scripted testen

© S

YS

QA

Alm

ere

Van scripted tot non-scripted testen

14

Gebaseerd op ‘Telling your exploratory story’ by Jon Bach, Agile 2010 conference

Factory based testing

Globalscripting

Session based testing Bug hunts

Test tours

Freestyle exploratory

testing

Scripted testenNon-scripted testen

© S

YS

QA

Alm

ere

Teststrategie

Welke testvorm(en) u toepast hangt af van:• Risico’s• Beschikbaarheid documentatie• Profiel van de testers• Doel van het testtraject• Beschikbare tijd• Kenmerken systeem• Behoefte aan audittrail• …• …

15

Situatio

neel

© S

YS

QA

Alm

ere

Samenvattend: het HOE van testen

16

ActiegerichtFlexibel

PragmatischVertrouwen op tester

Nadruk op testuitvoering

VoorbereidingsgerichtPlanmatigFocus vanuit methodeVertrouwen op procesNadruk op maken documentatie

Factory based testing

Globalscripting

Session based testing Bug hunts

Test tours

Freestyle exploratory

testing

Scripted testenNon-scripted testen

© S

YS

QA

Alm

ere

17

Aanpak situationeel testen

It’s all i

n

the mix

Succesvol

Bruikbaar

Gebruikersvriendelijkheid

Performance en security

Functionaliteit

© S

YS

QA

Alm

ere

Aanpak situationeel testen, voorbeeld 1

18

Niveau Value based testing

Factory based testing

Global scripting

Session based testing

Bug-hunts Testtours Freestyle exploratory testing

Niveau 5

Niveau 4

Niveau 3

Niveau 2

Niveau 1

Project 1

© S

YS

QA

Alm

ere

Aanpak situationeel testen, voorbeeld 2

19

Niveau Value based testing

Factory based testing

Global scripting

Session based testing

Bug-hunts Testtours Freestyle exploratory testing

Niveau 5

Niveau 4

Niveau 3

Niveau 2

Niveau 1Project 2

© S

YS

QA

Alm

ere

Aanpak situationeel testen, voorbeeld 3

20

Niveau Value based testing

Factory based testing

Global scripting

Session based testing

Bug-hunts Testtours Freestyle exploratory testing

Niveau 5

Niveau 4

Niveau 3

Niveau 2

Niveau 1Project 3

STT

Project 3ATT

Project 3ATT

© S

YS

QA

Alm

ere

It’s all in the mix!

21

Discussie en vragen

Pauze

Na de pauze (15:15)

Praktijkcases

Casus SnelStart

Situationeel testen in de praktijk

© S

YS

QA

Alm

ere

Intro

25

Succesvol

Bruikbaar

Gebruikersvriendelijkheid

Performance en security

Functionaliteit

ONE SIZE FITS ALL?

• Texels familiebedrijf• 60+ medewerkers• 47.500 klanten• 2.500 accountants- en administratiekantoren

Over SnelStart

• ZZP’ers• Kleine en middelgrote ondernemers (MKB)• Accountants- en administratiekantoren

Doelgroep

• Gebruiksvriendelijkheid– Look en feel

• Cloud– Online administratie– Webbased

• Functionaliteit

Ontwikkelingen

© S

YS

QA

Alm

ere

Aanleiding

31

Ad-Hoc

GestructureerdGroei

© S

YS

QA

Alm

ere

Situatie intern

32

© S

YS

QA

Alm

ere

Situatie extern

33

© S

YS

QA

Alm

ere

Value-based testing SnelStart

34

Voldoening

Prestatie-efficiëntie

Effectiviteit

Bruikbaarheid

Functionele geschiktheid

ISO 25010

© S

YS

QA

Alm

ere

Deelproject SnelStart

• SnelStart in de Cloud

35

Functionele geschiktheid

Effectiviteit

Vrijheid van risico

Betrouwbaarheid

Beveiligbaarheid

© S

YS

QA

Alm

ere

Van waarom naar hoe

36

© S

YS

QA

Alm

ere

Product SnelStart

37

Niveau value based testing

Factory based testing

Global scripting

Session based testing

Bug hunts Test tours Freestyle exploratory testing

5. Voldoening

4. Prestatie efficientie

FAT V12 FAT V12

3. Effectiviteit FAT V12FAT V11 FAT V11

FAT V12

2. Bruikbaarheid Regressie ST

1. Functionaliteit Regressie Intake V11

© S

YS

QA

Alm

ere

Deelproject SnelStart in de cloud

38

Niveau value based testing

Factory based testing

Global scripting

Session based testing

Bug hunts Test tours Freestyle exploratory testing

5. Functionele geschiktheid

Regressie ST ST

4. Effectiviteit SIT

3. Vrijheid van risico

FAT FAT

2. Betrouwbaar-heid

FAT SIT

1. Beveiligbaar-heid

SIT SIT

© S

YS

QA

Alm

ere

It’s all in the mix!

39

Casus overheidsorganisatie

Situationeel testen in de praktijk

?

© S

YS

QA

Alm

ere

Wat maakt deze case anders?

41

Overheidsorganisatie

© S

YS

QA

Alm

ere

Kenmerken IV overheidsorganisatie

42

Kernapplicaties (1 team) Nieuw systeem (3 teams)

ReorganisatieAftasten en stelling nemen

Zien is geloven!

© S

YS

QA

Alm

ere

Testbeleid ICT afdeling

Aansluiten op kernwaarden organisatie:• Betrouwbaar• Professioneel• Goede uitvoering wettelijke taken

‘Scripted testen niet passend Waterval en SCRUM’

43

Tegen laagste kosten, binnen kortst mogelijke tijd inzicht geven in de kwaliteit van het systeem.

© S

YS

QA

Alm

ere

44

Daarom testbeleid: !

© S

YS

QA

Alm

ere

Eerst stap

• Commitment MT ICT voor testbeleid. Zo gaan we het doen.

• Van ‘Traditioneel’ naar ‘Situationeel’.

45

© S

YS

QA

Alm

ere

Tweede stap

• Interne testers opleiden in Situationeel testen middels cursus.

46

De ‘wereldpremiere’.

© S

YS

QA

Alm

ere

Derde stap

• Externe testers opleiden middels workshop.

47

© S

YS

QA

Alm

ere

Vierde stap

Pilot binnen SCRUM team:• 3 Sprints ‘Situationeel’ aangepakt;• Het SCRUM team snapt het principe;• Samenwerking verbeterd.

• Testvorm wordt gekozen die het best bij dit SCRUM team past:

Is situationeel testen!!!

48

© S

YS

QA

Alm

ere

Is dan alles positief?

• SCRUM teams accepteren slechte kwaliteit requirements;

• Testers hebben voldoende tijd om te scripten, want mini-waterval;

• Mogelijk daling kwaliteit, is situationeel: doorzetten!

• Dekkingsgraad en Audit Trail.

49

© S

YS

QA

Alm

ere

Oplossing: Rapid Reporter

50

© S

YS

QA

Alm

ere

Conclusies:

• Optimaliseren van het testen:‘Tegen laagste kosten, binnen kortst mogelijke tijd

inzicht geven in de kwaliteit van het systeem.’

• Uitvoering testbeleid leidt tot procesverbetering.

51

© S

YS

QA

Alm

ere

Vervolg binnen overheidsorganisatie

• Verdere uitrol binnen andere SCRUM teams en Watervalorganisatie.

• Communiceren met de Demand Organisatie.

52

© S

YS

QA

Alm

ere

It’s all in the mix!

53

Discussie en vragen

Borrel

Hartelijk bedankt voor uw komst.

Tot ziens!