+1-416-273-6883 / +1-855-366-8444
hello@blendedperspectives.com

Un tour d'horizon des applications de test tierces pour Jira Server - Quelle est la sauce secrète pour choisir la bonne solution pour vous ?

18 octobre 2018

 Modification ultérieure : mise à jour de la version 1.3. - Mars 2019

Nous avons créé ce livre blanc pour fournir un guide essentiel et indépendant des applications de test dans le monde Atlassian. La place de marché est vaste et évolue rapidement, offrant aux organisations une multitude de choix pour de nombreux domaines de solutions - parmi lesquels les tests sont bien représentés. Avec la disparition progressive de l'ancienne plateforme HP ALM, de nombreuses organisations ont réalisé qu'elles disposaient déjà et pouvaient utiliser Jira, une excellente plateforme pour prendre en charge toutes ces fonctions de test.

Le terme "apps" est utilisé tout au long de l'article ; les termes de Atlassian ont également inclus "plugins" ou "add-ons". Cet article fournit un contexte pour évaluer les apps de test, identifier celles qui sont pertinentes pour la discussion, analyser leurs forces et faiblesses. Nous n'allons pas nous concentrer sur les matrices de caractéristiques - celles-ci sont faciles à fabriquer et dépendent des efforts de développement de chaque fournisseur d'applications. Au lieu de cela, nous fournissons un cadre logique pour vous aider à sélectionner l'outil qui vous convient.

Notre analyse se penche plus en profondeur sur les applications sélectionnées, afin de comprendre comment elles abordent la "sauce secrète" des tests, à savoir comment ensemble les équipes peuvent identifier les problèmes et les résoudre rapidement.

Portée

Bien qu'elles soient décrites plus en détail ci-dessous, il est important de distinguer les fonctionnalités des outils de Atlassian de ce que les applications supplémentaires ont à offrir. Dans ce document, nous n'évaluons pas les applications développées par Atlassian, mais nous portons notre attention sur les add-ons qui améliorent les capacités de test dans Jira.

La grande variété d'applications de test Jira peut être divisée en deux catégories, en fonction de la façon dont elles sont construites :

  1. Applications basées sur Jira - construites spécifiquement pour Atlassian, enchevêtrées et totalement intégrées à Jira (nuage / serveur) ;
  2. Applications autonomes - conçues pour intégrer/communiquer avec Jira (par exemple, via des appels API REST).

Un autre moyen de distinguer les applications Jira consiste à évaluer les options d'hébergement disponibles : Cloud / Serveur / Centre de données.

Dans cette analyse, nous nous sommes concentrés sur le scénario le plus courant, l'application serveur Jira. Nous fournirons une comparaison entre le Cloud et le Serveur, ainsi qu'une analyse plus approfondie des applications autonomes dans notre prochaine revue. Bien qu'en constante amélioration, les applications Cloud d'aujourd'hui ont tendance à être moins riches en fonctionnalités que celles sur serveur.

Les applications de test autonomes disponibles sur le marché disposent d'un riche ensemble de fonctionnalités et sont conçues pour s'intégrer de manière transparente à Jira, contrairement à certaines plateformes de test disponibles (par exemple, l'ancien HP ALM). Nous avons décidé que la plupart des organisations feront leur propre examen très ciblé sur les applications de test autonomes et nous nous sommes donc concentrés sur les versions du serveur Jira.

Applications examinées

Dans ce document, nous nous sommes concentrés sur trois applications de test actuelles, leaders du marché pour Atlassian Jira (Core / Software) :

  1. Gestion des tests pour Jira (TM4J)- anciennement développé par Kanoah, re-conçu et marqué par Adaptavist depuis début 2017 ;
  2. Gestion des tests Xray pour Jira (Xray)- publié pour la première fois en 2013 par Xpand IT, et amélioré par le même fournisseur jusqu'à ce jour ;
  3. Zéphyr pour Jira (Z4J)- Lancée en 2012 par la société du même nom (Zephyr), cette application n'a été que très récemment rachetée par Smartbear.

Toutes les applications mentionnées ci-dessus sont excellentes, mais chacune d'entre elles aborde l'espace de test sous des angles différents. Blended Perspectives a de l'expérience dans la mise en œuvre de ces trois applications. Nous avons une expérience pratique observations du monde réel de leurs forces et de leurs faiblesses. C'est cela que nous partageons.

La pile Atlassian et le contexte des tests

Le schéma ci-dessous explique le modèle de base du fonctionnement de Jira. Jira appelle tous ses éléments d'enregistrement des "questions". Essentiellement, des types de problèmes sont créés qui peuvent vraiment être n'importe quoi - non seulement des épopées et des histoires, mais aussi des risques et d'autres enregistrements de contrôle de projet, et potentiellement des tests.

L'essentiel est qu'une fois les questions créées, elles puissent être gérées dans les différents outils fournis par Jira, tels que les filtres, les projets et les tableaux. Lorsque vous envisagez d'utiliser des applications tierces, une question importante se pose : "comment l'application fonctionne-t-elle avec d'autres fonctions de Jira, plutôt que comme un produit autonome ?".

Inversement, que fournit la nouvelle application qui n'est pas disponible nativement dans Jira. Un autre élément est que les applications de reporting telles qu'eazyBI peuvent générer d'excellents rapports si les éléments ou les questions en question sont conformes à l'architecture de base de Jira présentée ci-dessous.

Un tour d'horizon des applications de test tierces pour Jira Server - Quelle'est la sauce secrète pour choisir la bonne solution pour vous ? 41

L'aspect suivant à comprendre est la façon dont les diverses applications de base de Atlassian fonctionnent ensemble pour soutenir le cycle de vie du développement logiciel (SDLC). Il est préférable de considérer les tests dans le contexte des fonctions principales du SDLC. Par exemple, lorsque le code est construit à l'aide d'un moteur de construction tel que Bamboo, il détecte et expose automatiquement toute rupture, ce qui constitue en soi une forme de test initial de base. En outre, les moteurs de construction peuvent déclencher d'autres tests automatisés qui créeront des défauts devant être triés dans le carnet de commandes du développement.

Les meilleures pratiques d'utilisation des outils Atlassian pour le SDLC sont généralement les suivantes :

  • Documenter les exigences de manière plus complète dans Confluence avec des organigrammes appropriés et le contexte de la façon dont les Epics et les histoires sont mises en correspondance avec l'application. (Plus tard, cela constituera une partie essentielle de la documentation de l'application).
  • Créez et reliez les questions de planification pertinentes dans Jira (plutôt que de transporter tous les détails des exigences dans Jira). Au fur et à mesure que les histoires sont travaillées dans Jira, du code (branches) est créé dans Bitbucket et peut être relié à Confluence.
  • Lorsque chaque branche est terminée, elle est enregistrée ; Bamboo le remarque et construit automatiquement. Les tests peuvent alors commencer.
  • Lorsque chaque branche est terminée, elle est commise, Bamboo le remarque et se reconstruit automatiquement.

Un tour d'horizon des applications de test tierces pour Jira Server - Quelle'est la sauce secrète pour choisir la bonne solution pour vous ? 43

Ainsi, la traçabilité est assurée tout au long du cycle de vie, la documentation est centralisée dans une plateforme documentaire et les relations sont claires.

Théoriquement, les tests pourraient être pris en charge par la création d'un type de problème appelé "cas de test" avec des informations plus fonctionnelles transportées dans Confluence. Ces cas de test pourraient être exclus des tableaux de mêlée pertinents. Le problème est qu'un scénario de test peut être exécuté à l'infini et dans différents environnements. Ainsi, le test au sens traditionnel du terme nécessite plus d'attention.

Options et contexte de l'architecture de la solution de test

Donc, si nous ajoutons les tests dans ce mélange - nous avons essentiellement besoin de quelques entités ou objets supplémentaires. L'agilité pure exige une approche de test entièrement intégrée, mais en réalité, les applications de test supporteront généralement le modèle fonctionnel décrit ci-dessous. Fondamentalement, les défauts doivent certainement se retrouver dans le backlog Jira pour que les équipes puissent y travailler.

Ils doivent également faire partie du processus de gestion des versions. Lors de l'examen des applications de test, la façon dont elles traitent cette question est un élément important. Les spécialistes des tests examineront les éléments ci-dessous et considéreront dans quelle mesure ils sont bien pris en charge et si les différents aspects du processus global sont gérables.

Un tour d'horizon des applications de test tierces pour Jira Server - Quelle'est la sauce secrète pour choisir la bonne solution pour vous ? 45

Étant donné les besoins de la planification des tests, des cas de test et de l'exécution des tests, la question est de savoir comment les différentes applications relient ces éléments. Pour répondre à cette question, nous devons intégrer les éléments ci-dessus dans le modèle global de Atlassian. Cela nous aide à apprécier réellement comment une application de test fonctionnera avec la pile Atlassian. Dans le modèle ci-dessous, nous avons trois perspectives de parties prenantes :

  • Les fonctions de l'équipe Développeur/Scrum
  • Le point de vue des spécialistes des tests
  • DevOps qui vit au milieu (sert les deux fonctions précédentes)

Comme on peut le voir ci-dessous, les tests manuels vont générer des défauts, mais il en va de même pour les tests automatisés initiés par DevOps.

Un tour d'horizon des applications de test tierces pour Jira Server - Quelle'est la sauce secrète pour choisir la bonne solution pour vous ? 47

Nous comprenons qu'avec les meilleures pratiques agiles, il ne devrait pas vraiment y avoir de division entre le processus de développement agile et les tests, mais il est également important d'accepter que pour les plates-formes et autres systèmes majeurs, il y a souvent de nombreux cas de test préexistants et des scripts de test automatisés, en particulier pour les tests de régression.

Toute solution permettant une visibilité et un reporting sur l'ensemble de ce spectre sera très avantageuse car elle permettra aux équipes de déterminer où se trouvent les goulots d'étranglement et de fournir une traçabilité complète, la vitesse de déploiement et d'autres mesures de performance clés. Il est important de souligner que le résultat final de tout test est soit une réussite, soit la création d'un problème Jira tel qu'un défaut ou un bogue. Cette création de problème Jira constitue les éléments de travail dans le backlog de l'équipe de développement.

Ainsi, le fait de tester des applications déclenche en fin de compte la création de problèmes de défauts qui impliquent l'ensemble du projet et de l'équipe. En raison de la nature hautement "entremêlée" du développement et des tests, nous pensons que toute application de classe mondiale doit être "entremêlée" autant que possible avec la fonctionnalité de base de Jira.

Cela s'ajoute à la course directe à la "richesse des fonctionnalités", ainsi qu'à l'intégration avec les moteurs de construction et autres outils connexes.

Téléchargements et commentaires

Il existe une dimension supplémentaire à notre analyse, à savoir la part de marché perçue. Au moment de cette étude, nous indiquons ci-dessous le nombre relatif de téléchargements de chaque produit. D'après notre expérience, c'est une indication de la popularité de l'application. Nous encourageons toujours nos clients à consulter les statistiques de téléchargement de la place de marché - juste pour s'assurer qu'ils apprécient les réactions et la popularité des applications. Nous pensons que Zephyr a toujours été le leader du marché et a donc dominé l'espace.

Cela ne signifie pas que c'est l'application de test la plus riche du marché. Il s'agit plutôt du premier arrivé et du leader actuel du marché en termes de volume. Il y a tellement de commentaires sur ces applications qu'il est difficile de tirer des conclusions de cet ensemble de données. Les résultats sont cependant clairs : Zephyr est 4* plus grand que Xray et Xray est 50% plus grand que TM4J. Nous savons que les téléchargements ne sont pas des ventes, mais dans ce cas, nous supposons que Xray et TM4J convertissent de manière similaire, tandis que Zephyr a un taux de conclusion relativement plus faible (ce qui lui permet néanmoins de rester clairement le leader du marché).

Un tour d'horizon des applications de test tierces pour Jira Server - Quelle'est la sauce secrète pour choisir la bonne solution pour vous ? 49

Résultats globaux

L'espace de test est une arène compliquée parce qu'il y a trois solutions, très bien qualifiées, en concurrence pour votre entreprise. Pourtant, comme nous le verrons, elles abordent le défi sous des angles différents, ce qui signifie qu'il est possible de dégager les véritables différences entre elles. Nous pensons qu'il est important de prendre en compte un certain nombre de considérations clés dans la façon dont vous envisagez ces offres :

  1. Mesh with Jira - pourquoi ? parce que nous pensons que les tests ne sont pas une activité isolée et que les équipes devraient tester ensemble. Jira a été conçu pour permettre cela et il en est plus riche. Les solutions isolées peuvent fonctionner dans certains contextes (rapports complexes par exemple) mais pas les tests.
  2. La richesse des fonctionnalités - cet aspect est difficile à contester et constitue toujours une considération majeure dans ce type de rapport.
  3. La part de marché. Bien sûr, tout premier arrivé sur le marché obtiendra un tel avantage, mais il est important de ne pas négliger les caractéristiques ou même l'absence de complexité qui peuvent en être la cause. Le succès ne peut être négligé.

Pour votre information, nous avons examiné le prix et nous ne l'avons pas considéré comme une considération importante.

Vous trouverez ci-dessous notre matrice d'excellence des applications de test Jira :

Un tour d'horizon des applications de test tierces pour Jira Server - Quelle'est la sauce secrète pour choisir la bonne solution pour vous ? 51

Qu'est-ce que cela signifie pour vous, l'acheteur ?

Nous pensons qu'il est important de tenir compte de votre propre contexte.

  1. A) Si vous êtes une petite entreprise comptant moins de 100 à 200 informaticiens et que vous souhaitez une application plus simple pour les tests, Zephyr peut être un excellent choix.
  2. B) Si vous êtes une grande organisation, que les tests sont assez compartimentés et que toutes les caractéristiques de l'application, qui est plus "maillée" avec Jira, ne sont pas importantes, alors regardez TM4J.
  3. C) Si vous êtes une grande entreprise et que vous recherchez une solution complète et hautement configurable pour les tests, optez pour Xray.

Il n'est pas surprenant que ces trois produits rencontrent le succès, probablement en raison de certains des facteurs identifiés ci-dessus.

Vous en voulez plus ? Nous en avons plus.

Il s'agit d'une version courte d'un document de recherche plus long. Pour obtenir la version de recherche, veuillez utiliser l'option de téléchargement ci-dessous.

Merci de lire ce blog. Pour l'accompagner, nous disposons de quelques documents de recherche qui étayent nos conclusions. Ces documents décrivent chaque application, la façon dont elle interagit avec le modèle de Jira, comment elle s'intègre, ainsi que certains avantages et inconvénients.

Nous serions ravis de les partager avec nos clients.

Regardez nos précédents webinaires :

ITSM et DevOps connectés - un guide pratique basé sur les meilleures pratiques. 21

ITSM et DevOps connectés - un guide pratique basé sur les meilleures pratiques.

Nous vous invitons à regarder notre webinaire "Connecter l'entreprise" ; pourquoi cela est important pour ITSM. Bonne lecture !

Webinar : Planification des applications dans Atlassian Jira - Une mise à jour détaillée 23

Webinar : Planification des applications dans Atlassian Jira - Une mise à jour détaillée

Points forts du webinaire : La planification traditionnelle fait un retour en force dans Jira - la croissance de l'année dernière va bien au-delà de l'Agile pur - vive le Gantt ! La planification simple par calendrier et les listes de contrôle sont de plus en plus populaires. Les principaux acteurs - SoftwarePlant, Tempo et Atlassian - détiennent à eux trois près de 50% du marché.

Webinar : Une revue détaillée des applications d'automatisation et de scripting pour Jira, Confluence et BitBucket 25

Webinar : Une revue détaillée des applications d'automatisation et de scripting pour Jira, Confluence et BitBucket

Il y a 159 000 clients qui utilisent Atlassian et cette catégorie de marché est la cinquième plus importante - découvrez ce qui est chaud et ce qui est tendance. Prenez des décisions plus éclairées grâce aux analyses factuelles et objectives de Blended Perspectives.

Améliorer la productivité d'une organisation'avec la " chaîne de valeur " d'ITIL 4'27

Améliorer la productivité d'une organisation avec la " chaîne de valeur " d'ITIL 4

Regardez ce webinaire passionnant où Troy DuMoulin (VP R&D chez Pink Elephant) et Miles Faulkner (Co-CEO de Blended Perspectives) décriront l'ensemble de la culture, des pratiques et de l'automatisation comme des facteurs de réussite essentiels pour adopter une approche intégrée de bout en bout des processus et de l'automatisation.

Reporting sur le reporting - Une analyse complète des applications de reporting sur le marché Atlassian 29

Reporting sur le reporting - Une analyse complète des applications de reporting sur le marché Atlassian

Regardez notre webinaire sur la catégorie Reporting de Atlassian Marketplace sur tout ce qui concerne le Reporting dans Jira et Confluence. Qui sont les principaux acteurs et ceux qui évoluent rapidement ? Quelle est la taille de cette catégorie et quels sont les principaux cas d'utilisation ?

Diagramme : Une catégorie de marché Atlassian étonnamment chaude 31

Diagramme : Une catégorie du marché Atlassian étonnamment chaude

Regardez ce webinaire sur la catégorie de plus en plus populaire d'Atlasssin Marketplace - Diagramming - (la quatrième plus grande par le nombre total d'instances) nous identifierons les principaux acteurs, la taille du marché, les principaux cas d'utilisation et les économies que vous pouvez faire en déplaçant tous vos diagrammes vers Confluence.

Webinar - Analyse actualisée du marché des tests - Acquisition de TM4J par SmartBear 33

Webinar - Analyse actualisée du marché des tests - Acquisition de TM4J par SmartBear

Ce webinaire présente un contexte pour l'évaluation des applications de test, l'identification des applications pertinentes pour la discussion, l'analyse de leurs forces et faiblesses.

PPM (gestion de portefeuille et de projet) en temps réel 35

PPM (gestion de portefeuille et de projet) en temps réel

Ce webinaire couvrira tous les éléments essentiels de ce qui fait un PPM de classe mondiale en termes de processus et d'outils. En architecturant Jira et Confluence avec une gamme d'applications supplémentaires, nous pouvons montrer comment il est possible de réaliser des rapports consolidés en temps réel, en réduisant les coûts d'intégration et la complexité, en réalisant d'énormes économies sur le temps d'administration du MP, en améliorant la performance de l'équipe tactique et une gamme d'autres avantages.

Aperçu avancé des migrations vers le cloud, au-delà du livre de jeu 37

Une vision avancée des migrations vers le cloud, au-delà du livre de jeu.

Chez Blended Perspectives, nous effectuons régulièrement des migrations beaucoup plus complexes : applications prises en charge et non prises en charge, solutions de contournement personnalisées, nettoyage des données et, bien sûr, passage au cloud.

Webinar - Migration des centres de données 39

Webinar - Migration des centres de données

Regardez ce webinaire pour découvrir nos conseils pour la migration vers le Data Center d'Atlassian. Sur la base de notre vaste expérience, nous établissons une feuille de route qui va de la définition de l'état cible à la migration des données et à la production.

fr_CAFR
Partager ceci