Documenteer en test met Specflow

Specflow is een framework voor geautomatiseerd testen vanuit de behavior-driven design filosofie. Hierin schrijf je een 'Scenario' in het Nederlands of Engels, opgebouwd vanuit meerdere stappen in een Given-When-Then opzet. Vanuit dit scenario kan je dan per regel een ‘Step Definition’ genereren: een C# methode die de logica achter de stap daadwerkelijk uitvoert. Een stap heeft een enkele step definition, maar kan wel meerdere keren gebruikt worden tussen verschillende testen! Om Specflow effectief in te zetten is het van belang dat de QA engineer vanaf het begin  aansluit bij het bouwen van functionaliteit. Door vroegtijdig je functionaliteit op te schrijven in feature files bereik je overeenstemming over datgene dat gebouwd moet worden en welke scenario’s je daarbij afdekt met automatisering. Tijdens de implementatiefase kunnen de ontwikkelaars de step definitions invullen. De testen wordt pas groen wanneer de techniek goed geïmplementeerd is.

Voordelen

Er zitten voor ons veel voordelen aan het werken met Specflow. Om de belangrijkste punten even met je door te nemen:

• Door onze functionele testen zo op te zetten hebben we een verdeling tussen de intentie van de test (de feature file) en de implementatie van de test (de step definition). In een integratietest die alleen uit code bestaat weet je niet of de implementatie en de intentie gelijk zijn.
• Doorgaand op het bovenstaande: de geschreven feature files zijn tegelijkertijd documentatie van de functionaliteit op het project. Ook bij teamwissels kunnen nieuwe teamleden kijken welke functionaliteit het project moet leveren zonder zich eindeloos in user stories te verdiepen.
• Wanneer een test faalt is het concreet in welke specifieke stap de test faalt, wat helpt bij het onderzoek naar de oorzaak.
• De test suite wordt inzichtelijk voor QA waardoor zij meer vertrouwen krijgt in de automatische testen op een project. Door QA in een vroeg stadium mee te nemen doe je ook meteen aan shift-left testing (test often and early).
• Het schrijven van nieuwe testen kan heel snel gaan, omdat alleen de nieuwe stappen geïmplementeerd moeten worden. Bij ons is het sneller om een nieuwe Specflow-test te schrijven dan een nieuwe integratietest.
• Via Specflow en de LivingDoc plugin krijgen wij op Azure DevOps heel inzichtelijk welke testen we hebben en waar die fout gaan. Onder andere in pull requests is dit handig, want je weet meteen of er geen fouten zitten in de functionaliteit die je oplevert.

Nadelen

• Het kan verleidelijk zijn om stappen in een scenario zo klein mogelijk te maken zodat je dezelfde code zoveel mogelijk kan hergebruiken. Daardoor kunnen je scenario’s heel lang, minder leesbaar en minder begrijpelijk worden.
• Het Specflow framework kan een performance-impact hebben op de doorlooptijd van je automatische testen.
• Er zit een leercurve aan Specflow. Het is handig om te leren van iemand die er al ervaring mee heeft.

Voor ons wegen de voordelen zwaarder dan de nadelen en zien wij een enorme verbetering in de algehele kwaliteit van het project waarop wij Specflow hebben ingezet.

Onze ervaring leert dat het schrijven van scenario’s die uit drie tot zes stappen bestaan de beste balans treffen tussen leesbaarheid en herbruikbaarheid van je stappencollectie. Als je hier scherp op blijft krijg je er een hele werkbare testsuite voor terug die integratietesten en documentatie combineert.