1

Testen = MonitorenHoe de werkzaamheden van de ‘boodschapper van de koning’ gaan veranderen.

Spreker: Ide Koops

Datum: 30 April 2015

2

● Testrapportages in het verleden● Impact nieuwe ontwikkelingen● Testrapportages nu● Monitoring als toekomst?● Toegevoegde waarde testers

● Vragen

Agenda

3

IK

4

Ide Koops30 jaar, trotse vader

• Sinds 2008 werkzaam bij KZA• Test Expert• Complexe omgevingen en ketens• Scrum, Agile, DevOps• Test Automatisering & Continuous Delivery• Finance, Overheid, Nuts en Zorg

Rapportages bij het V-model

5

Testrapport

Testrapport

Testrapport

Testrapport

Testrapport

Testrapport

Eindrapportage

Vrijgaveadvies?Voortgangsrapportage

Risicorapport

● Breed publiek

● Veel inhoud

● Momentopname

Inhoud Rapportage

6

Rapportages in de knel

7

● In een traditioneel project zit testen snel op het kritische pad.

● En binnen de testfase, waar vindt de rapportage dan vooral plaats?

Als je testrapportage (feedback naar opdrachtgever) al vaak in de knel zit in traditionele langdurige projecten,

Hoe gaat dat dan nu bij kort cyclische ontwikkelmethodieken?

8

9

Impact Agile/Scrum

● Testuitvoer vaak onderdeel van Definition of Done

● Testvoorbereiding meestal ook

● Testafronding echter…

Impact Continuous Delivery

10

● Kwaliteit ontwikkelstraat nog belangrijker

● Downtime testomgeving heeft dus direct impact

● Feedback op beschikbaarheid en kwaliteit ontwikkelstraat wenselijk

Impact DevOps

11

● Team verantwoordelijk voor ontwikkelen en beheren.

● Ops down is hold the line on Dev

● Grip op Ops met behulp van monitoring essentieel

Bestaande manier van rapporteren over testen ongeschikt want:

● Ontwikkelcyclussen korter: Eerder en direct feedback

● Fasering verdwijnt

● Acceptanten binnen het team

12

Maar hoe communiceren we dan nu over de voortgang en kwaliteit van een team wat werkt met Agile/Scrum of een DevOps aanpak?

13

● Afleiden van scrumboard:

oGrote bevindingen zijn impediments

o Testen nog bezig is taak nog niet done

● Dagelijkse rapportages

oZijn we al klaar?

oHoever zijn we?

oWaarom zijn we nog niet klaar?

Testrapportages nu

14

● Focus op continuïteit productie

● Veelal beperkt tot een technisch niveau

● Soms performance

● En binnen de business soms monitoring op klachten of bijvoorbeeld social media

Monitoring nu?

15

Testen● Geeft feedback over

kwaliteit bouw tov requirements

● Op diverse niveau’s: oUnito Functioneelo PerformanceoKeten

● Momentopname op een testomgeving

Testen ≠ Monitoring?

Monitoring● Geeft feedback over

werking systeem● Meestal alleen

Productiesystemen● Veelal alleen technisch en

gericht op foutsituaties en performance

● Realtime

16

Overeenkomst!

Hoe gaan we in de toekomst, met kortcyclische ontwikkelmethodieken continu feedback krijgen over:● De kwaliteit van de software?● En de benodigde omgevingen?● En ons ontwikkelproces?

17

Bijvoorbeeld:● Unittesten

Monitoren Kwaliteit Software

18

● Functionele paden

● Scannen op Errors

● Performance

● Technische stabiliteit

● Externe afhankelijkhedeno If service down,

then deploy stub

● Consistentie Testdata

Monitoren Kwaliteit Omgevingen

19

● Monitoren succesvolle deploys

● Monitoren testen en bevindingen op verschillende niveaus

● Monitoren Velocity

● Impediments

Let op: Draagvlak team!

Monitoren Kwaliteit Ontwikkelproces

20

Bron: Steve Denning

● Waardevol hulpmiddel in je ontwikkelproces

● Expertise opbouwen in hele team

● Vraagt soms om aanpassingen in design/bouw

● Borgt afronding en creëert draagvlak vanuit stakeholders

● Keuze PO / Team

Monitoren in de DoD

21

● Welke informatie voor wie?

Informatie op de monitoring

22

● De belangrijkste dingen eerst doen (Risk Based)

● Voorspellen verwachte resultaat

● Resultaten en informatie vaak met bestaande testtooling te triggeren

● Testen van de monitoring, ook daar zitten risico’s en aannames!

De testachtergrond bij inrichten van monitoring

23

● Meer automatisering!oA fool with a tool…

● Testen als losse fase verdwijnt

oKlopt, wordt onderdeel van elke fase, onderdeel van je Definition of Done.

Continu en realtime.

Is monitoring een risico voor testers?

24

Het vraagt wel om een aanpassing!

Conclusie

25

● Testrapportages verliezen hun toegevoegde waarde onder invloed van diverse ontwikkelingen

● Realtime monitoring van productkwaliteit, omgeving en proces is de toekomst.

● Afgestemd op degene die om informatie verlegen zit

● Ide Koops● Twitter: @djidee● KZA Stand