Testnet Presentatie: Testen = Monitoren

25
1 Testen = Monitoren Hoe de werkzaamheden van de boodschapper van de koninggaan veranderen. Spreker: Ide Koops Datum: 30 April 2015

Transcript of Testnet Presentatie: Testen = Monitoren

Page 1: Testnet Presentatie: Testen = Monitoren

1

Testen = MonitorenHoe de werkzaamheden van de ‘boodschapper van de koning’ gaan veranderen.

Spreker: Ide Koops

Datum: 30 April 2015

Page 2: Testnet Presentatie: Testen = Monitoren

2

Page 3: Testnet Presentatie: Testen = Monitoren

● Testrapportages in het verleden● Impact nieuwe ontwikkelingen● Testrapportages nu● Monitoring als toekomst?● Toegevoegde waarde testers

● Vragen

Agenda

3

Page 4: Testnet Presentatie: Testen = Monitoren

IK

4

Ide Koops30 jaar, trotse vader

• Sinds 2008 werkzaam bij KZA• Test Expert• Complexe omgevingen en ketens• Scrum, Agile, DevOps• Test Automatisering & Continuous Delivery• Finance, Overheid, Nuts en Zorg

Page 5: Testnet Presentatie: Testen = Monitoren

Rapportages bij het V-model

5

Testrapport

Testrapport

Testrapport

Testrapport

Testrapport

Testrapport

Eindrapportage

Vrijgaveadvies?Voortgangsrapportage

Risicorapport

Page 6: Testnet Presentatie: Testen = Monitoren

● Breed publiek

● Veel inhoud

● Momentopname

Inhoud Rapportage

6

Page 7: Testnet Presentatie: Testen = Monitoren

Rapportages in de knel

7

● In een traditioneel project zit testen snel op het kritische pad.

● En binnen de testfase, waar vindt de rapportage dan vooral plaats?

Page 8: Testnet Presentatie: Testen = Monitoren

Als je testrapportage (feedback naar opdrachtgever) al vaak in de knel zit in traditionele langdurige projecten,

Hoe gaat dat dan nu bij kort cyclische ontwikkelmethodieken?

8

Page 9: Testnet Presentatie: Testen = Monitoren

9

Impact Agile/Scrum

● Testuitvoer vaak onderdeel van Definition of Done

● Testvoorbereiding meestal ook

● Testafronding echter…

Page 10: Testnet Presentatie: Testen = Monitoren

Impact Continuous Delivery

10

● Kwaliteit ontwikkelstraat nog belangrijker

● Downtime testomgeving heeft dus direct impact

● Feedback op beschikbaarheid en kwaliteit ontwikkelstraat wenselijk

Page 11: Testnet Presentatie: Testen = Monitoren

Impact DevOps

11

● Team verantwoordelijk voor ontwikkelen en beheren.

● Ops down is hold the line on Dev

● Grip op Ops met behulp van monitoring essentieel

Page 12: Testnet Presentatie: Testen = Monitoren

Bestaande manier van rapporteren over testen ongeschikt want:

● Ontwikkelcyclussen korter: Eerder en direct feedback

● Fasering verdwijnt

● Acceptanten binnen het team

12

Page 13: Testnet Presentatie: Testen = Monitoren

Maar hoe communiceren we dan nu over de voortgang en kwaliteit van een team wat werkt met Agile/Scrum of een DevOps aanpak?

13

Page 14: Testnet Presentatie: Testen = Monitoren

● Afleiden van scrumboard:

oGrote bevindingen zijn impediments

o Testen nog bezig is taak nog niet done

● Dagelijkse rapportages

oZijn we al klaar?

oHoever zijn we?

oWaarom zijn we nog niet klaar?

Testrapportages nu

14

Page 15: Testnet Presentatie: Testen = Monitoren

● Focus op continuïteit productie

● Veelal beperkt tot een technisch niveau

● Soms performance

● En binnen de business soms monitoring op klachten of bijvoorbeeld social media

Monitoring nu?

15

Page 16: Testnet Presentatie: Testen = Monitoren

Testen● Geeft feedback over

kwaliteit bouw tov requirements

● Op diverse niveau’s: oUnito Functioneelo PerformanceoKeten

● Momentopname op een testomgeving

Testen ≠ Monitoring?

Monitoring● Geeft feedback over

werking systeem● Meestal alleen

Productiesystemen● Veelal alleen technisch en

gericht op foutsituaties en performance

● Realtime

16

Overeenkomst!

Page 17: Testnet Presentatie: Testen = Monitoren

Hoe gaan we in de toekomst, met kortcyclische ontwikkelmethodieken continu feedback krijgen over:● De kwaliteit van de software?● En de benodigde omgevingen?● En ons ontwikkelproces?

17

Page 18: Testnet Presentatie: Testen = Monitoren

Bijvoorbeeld:● Unittesten

Monitoren Kwaliteit Software

18

● Functionele paden

● Scannen op Errors

● Performance

Page 19: Testnet Presentatie: Testen = Monitoren

● Technische stabiliteit

● Externe afhankelijkhedeno If service down,

then deploy stub

● Consistentie Testdata

Monitoren Kwaliteit Omgevingen

19

Page 20: Testnet Presentatie: Testen = Monitoren

● Monitoren succesvolle deploys

● Monitoren testen en bevindingen op verschillende niveaus

● Monitoren Velocity

● Impediments

Let op: Draagvlak team!

Monitoren Kwaliteit Ontwikkelproces

20

Bron: Steve Denning

Page 21: Testnet Presentatie: Testen = Monitoren

● Waardevol hulpmiddel in je ontwikkelproces

● Expertise opbouwen in hele team

● Vraagt soms om aanpassingen in design/bouw

● Borgt afronding en creëert draagvlak vanuit stakeholders

● Keuze PO / Team

Monitoren in de DoD

21

Page 22: Testnet Presentatie: Testen = Monitoren

● Welke informatie voor wie?

Informatie op de monitoring

22

Page 23: Testnet Presentatie: Testen = Monitoren

● De belangrijkste dingen eerst doen (Risk Based)

● Voorspellen verwachte resultaat

● Resultaten en informatie vaak met bestaande testtooling te triggeren

● Testen van de monitoring, ook daar zitten risico’s en aannames!

De testachtergrond bij inrichten van monitoring

23

Page 24: Testnet Presentatie: Testen = Monitoren

● Meer automatisering!oA fool with a tool…

● Testen als losse fase verdwijnt

oKlopt, wordt onderdeel van elke fase, onderdeel van je Definition of Done.

Continu en realtime.

Is monitoring een risico voor testers?

24

Het vraagt wel om een aanpassing!

Page 25: Testnet Presentatie: Testen = Monitoren

Conclusie

25

● Testrapportages verliezen hun toegevoegde waarde onder invloed van diverse ontwikkelingen

● Realtime monitoring van productkwaliteit, omgeving en proces is de toekomst.

● Afgestemd op degene die om informatie verlegen zit

● Ide Koops● Twitter: @djidee● KZA Stand