Het VNSG Magazine, het vakblad voor alle SAP gebruikers in Nederland en Vlaanderen, verschijnt 5 keer per jaar. PTWEE geeft in iedere editie een praktische tip over testen in een SAP omgeving. Deze tip gaat over het registreren en beheren van bevindingen.
Te vaak komt kort voordat de testuitvoer start de vraag naar voren: “Hoe leggen we de bevindingen uit de testfase vast?”. Een logische keuze is het gebruik van een Excel sheet en/of een Word template. Een goede registratie van bevindingen (inclusief screen shots) wordt op deze manier erg bewerkelijk voor testers. Een testcoördinator krijgt uitdagingen in versiebeheer, bewaking van de opvolging wordt lastig en rapporteren wordt erg tijdrovend. Met een gestroomlijnd bevindingenbeheer proces in combinatie met een krachtige bevindingbeheer tool wordt deze situatie niet alleen voorkomen, het geeft grip op en meer inzage in de kwaliteit van het systeem dat wordt getest.
Een gestroomlijnd bevindingenbeheer proces
Een bevindingenregistratie is meer dan het vastleggen van geconstateerde problemen. Het is het begin van een weg door het oplossingsproces binnen en soms buiten de (project)organisatie. Als deze route vooraf niet goed is uitgestippeld leidt dit tot extra ‘reistijd’, stranden van bevindingen of zelfs verkeerde oplossingen.
Minstens zo belangrijk als het vastleggen van bevindingen, is het bewaken dat (met name de ernstige) bevindingen snel worden verholpen, ge-hertest en gesloten. Een eenvoudig maar gestroomlijnd bevindingenbeheer proces ziet er als volgt uit:
Een aangemaakte bevinding krijgt de status ‘Nieuw’, zodat een beoordelaar (testcoördinator) kan verifiëren of de bevinding terecht is, compleet is en de juiste prioriteit toegekend heeft gekregen. Vanzelfsprekend zal een bevinding met een blokkerende status of met prioriteit ‘Urgent’ om een snellere afhandeling vragen dan een lagere prioriteit.
Als een bevinding terecht en compleet is wordt deze ‘In behandeling’ genomen door (of op naam gezet van) een behandelaar. Na het reproduceren van de bevinding wordt een oplossing uitgewerkt en een eerste test uitgevoerd door de behandelaar. Zodra de oplossing succesvol is in de ogen van de behandelaar wordt deze getransporteerd van ontwikkelomgeving naar testomgeving en zet de behandelaar de bevinding op status ‘Hertest’. De tester kan de oplossing testen en wanneer de hertest succesvol is kan de bevinding worden gesloten.
De geregistreerde bevindingen tezamen geven een indruk van het (gebrek) aan kwaliteit van het testobject. Dit kan leiden tot de beslissing om bijvoorbeeld bepaalde onderdelen extra diepgaand te testen of de Go Live datum te herzien.
Een krachtige bevindingenbeheer tool
Vaak wordt er voor het registreren en opvolgen van bevindingen die voortkomen uit de testactiviteiten gekozen voor Excel en/of Word. Een gestroomlijnd bevindingenbeheer proces stelt echter hoge eisen aan de registratie van en de rapportage over bevindingen. Het gebruik van Excel en/of Word voor bevindingenbeheer is erg omslachtig en is zeker bij grote testtrajecten niet geschikt. Het is verstandig om te kiezen voor een bevindingenbeheer tool.
Er kan veel tijdwinst geboekt worden wanneer de bevinding goed reproduceerbaar is door degene die moet analyseren en oplossen. Dit voorkomt extra afstemming en overleg en maakt daardoor een korte(re) afhandeltijd mogelijk. Naast een duidelijke omschrijving van het probleem is het daarom van belang om extra contextinformatie toe te voegen in de vorm van bijlagen of schermprints.
Het is het beste om gebruik te maken van een bevindingenbeheer tool die onderdeel uitmaakt van een complete testmanagement tool. Het voordeel hiervan is dat bij de registratie van bevindingen allerlei contextinformatie uit de testuitvoering automatisch wordt vastgelegd in de bevinding. Denk daarbij aan informatie over de teststappen die zijn uitgevoerd of informatie over het systeemonderdeel waar de bevinding betrekking op heeft. Dit soort informatie verhoogt de reproduceerbaarheid van bevindingen. Voorbeelden van tools voor testmanagement zijn HP Quality Center, Testersuite maar ook de Solution Manager van SAP bevat een testmanagement module.
Wanneer er wordt gekozen voor een losstaande bevindingenbeheer tool, dus niet als onderdeel van een testmanagement tool, dan zijn er veel (open-source) mogelijkheden. Denk daarbij aan tools als Bugzilla, Jira of MantisBT. Deze tools zijn puur bedoelt voor het eenvoudig vastleggen en opvolgen van bevindingen. Met dit soort tools wordt het registreren en opvolgen van bevindingen een stuk eenvoudiger dan wanneer gebruik wordt gemaakt van Excel.
Maak een goede start!
Zorg ervoor dat voorafgaand aan de start van de testuitvoer duidelijk wordt gecommuniceerd over het bevindingenbeheerproces. Wie heeft welke verantwoordelijkheden in dat proces en welke tool wordt gebruikt voor het registreren en opvolgen van de bevindingen. Helaas is wordt hier in de praktijk onvoldoende aandacht aan gegeven. Dit heeft zijn weerslag op de reproduceerbaarheid van bevindingen en de (inzage in) de voortgang van de testuitvoeringsfase.
