1
Testen = MonitorenHoe de werkzaamheden van de ‘boodschapper van de koning’ gaan veranderen.
Spreker: Ide Koops
Datum: 30 April 2015
2
● Testrapportages in het verleden● Impact nieuwe ontwikkelingen● Testrapportages nu● Monitoring als toekomst?● Toegevoegde waarde testers
● Vragen
Agenda
3
IK
4
Ide Koops30 jaar, trotse vader
• Sinds 2008 werkzaam bij KZA• Test Expert• Complexe omgevingen en ketens• Scrum, Agile, DevOps• Test Automatisering & Continuous Delivery• Finance, Overheid, Nuts en Zorg
Rapportages bij het V-model
5
Testrapport
Testrapport
Testrapport
Testrapport
Testrapport
Testrapport
Eindrapportage
Vrijgaveadvies?Voortgangsrapportage
Risicorapport
● Breed publiek
● Veel inhoud
● Momentopname
Inhoud Rapportage
6
Rapportages in de knel
7
● In een traditioneel project zit testen snel op het kritische pad.
● En binnen de testfase, waar vindt de rapportage dan vooral plaats?
Als je testrapportage (feedback naar opdrachtgever) al vaak in de knel zit in traditionele langdurige projecten,
Hoe gaat dat dan nu bij kort cyclische ontwikkelmethodieken?
8
9
Impact Agile/Scrum
● Testuitvoer vaak onderdeel van Definition of Done
● Testvoorbereiding meestal ook
● Testafronding echter…
Impact Continuous Delivery
10
● Kwaliteit ontwikkelstraat nog belangrijker
● Downtime testomgeving heeft dus direct impact
● Feedback op beschikbaarheid en kwaliteit ontwikkelstraat wenselijk
Impact DevOps
11
● Team verantwoordelijk voor ontwikkelen en beheren.
● Ops down is hold the line on Dev
● Grip op Ops met behulp van monitoring essentieel
Bestaande manier van rapporteren over testen ongeschikt want:
● Ontwikkelcyclussen korter: Eerder en direct feedback
● Fasering verdwijnt
● Acceptanten binnen het team
12
Maar hoe communiceren we dan nu over de voortgang en kwaliteit van een team wat werkt met Agile/Scrum of een DevOps aanpak?
13
● Afleiden van scrumboard:
oGrote bevindingen zijn impediments
o Testen nog bezig is taak nog niet done
● Dagelijkse rapportages
oZijn we al klaar?
oHoever zijn we?
oWaarom zijn we nog niet klaar?
Testrapportages nu
14
● Focus op continuïteit productie
● Veelal beperkt tot een technisch niveau
● Soms performance
● En binnen de business soms monitoring op klachten of bijvoorbeeld social media
Monitoring nu?
15
Testen● Geeft feedback over
kwaliteit bouw tov requirements
● Op diverse niveau’s: oUnito Functioneelo PerformanceoKeten
● Momentopname op een testomgeving
Testen ≠ Monitoring?
Monitoring● Geeft feedback over
werking systeem● Meestal alleen
Productiesystemen● Veelal alleen technisch en
gericht op foutsituaties en performance
● Realtime
16
Overeenkomst!
Hoe gaan we in de toekomst, met kortcyclische ontwikkelmethodieken continu feedback krijgen over:● De kwaliteit van de software?● En de benodigde omgevingen?● En ons ontwikkelproces?
17
Bijvoorbeeld:● Unittesten
Monitoren Kwaliteit Software
18
● Functionele paden
● Scannen op Errors
● Performance
● Technische stabiliteit
● Externe afhankelijkhedeno If service down,
then deploy stub
● Consistentie Testdata
Monitoren Kwaliteit Omgevingen
19
● Monitoren succesvolle deploys
● Monitoren testen en bevindingen op verschillende niveaus
● Monitoren Velocity
● Impediments
Let op: Draagvlak team!
Monitoren Kwaliteit Ontwikkelproces
20
Bron: Steve Denning
● Waardevol hulpmiddel in je ontwikkelproces
● Expertise opbouwen in hele team
● Vraagt soms om aanpassingen in design/bouw
● Borgt afronding en creëert draagvlak vanuit stakeholders
● Keuze PO / Team
Monitoren in de DoD
21
● Welke informatie voor wie?
Informatie op de monitoring
22
● De belangrijkste dingen eerst doen (Risk Based)
● Voorspellen verwachte resultaat
● Resultaten en informatie vaak met bestaande testtooling te triggeren
● Testen van de monitoring, ook daar zitten risico’s en aannames!
De testachtergrond bij inrichten van monitoring
23
● Meer automatisering!oA fool with a tool…
● Testen als losse fase verdwijnt
oKlopt, wordt onderdeel van elke fase, onderdeel van je Definition of Done.
Continu en realtime.
Is monitoring een risico voor testers?
24
Het vraagt wel om een aanpassing!
Conclusie
25
● Testrapportages verliezen hun toegevoegde waarde onder invloed van diverse ontwikkelingen
● Realtime monitoring van productkwaliteit, omgeving en proces is de toekomst.
● Afgestemd op degene die om informatie verlegen zit
● Ide Koops● Twitter: @djidee● KZA Stand
Top Related