Les entreprises privées et organisations publiques voient à des moments clé de réaliser une transformation numérique et organisationnelle. La très grande majorité de ces transformations bénéficie d’une transition vers l’agilité ou vers l’agilité à l’échelle, comme le montrent notre expérience, ainsi que les études indépendantes faites. Il est important dans ce cadre de pouvoir mesurer notre progrès en tant qu’entreprise, et comme une organisation est aussi socialement construite, comme les individus et les équipes évoluent.
1. Mots-clés :
Transformation numérique
Transformation organisationnelle
Agilité
Mesure du progrès
Gestion
2. Introduction :
Cet article énonce des faits concernant le Québec, ou nous évoluons depuis quelques années. Notre expérience est aussi conforme à ce qui se passe sur le reste de la planète. Nous nous appuyons sur une étude annuelle indépendante sur l’état de l’agilité et les tendances (Digital.ai). Il se trouve que l’étude 2024 montre que les organisations ne procèdent pas toutes à des mesures précises des progrès accomplis. Cependant, nous savons bien avant l’introduction de l’agilité dans le mode de la gestion, que la mesure est essentielle à l’amélioration (William Deming 2013). Il faut aussi mesurer l’éléments ou les éléments qui sont en relation directe avec l’amélioration désirée, son objectif.
Les méthodes décrites ici font référence à des transformations déjà expérimentées ou rapportées par les coachs Agile de Exposant3. Masi nous les appuierons aussi sur des éléments de littérature académique. Notamment Christopher W.H. Davis, dans son ouvrage Agile Metrics in Action, aborde ce sujet en détail
Nous allons distinguer dans cet article 3 catégories de mesure, car leur nature, leur administration et leur gouvernance est sensiblement différente.
· Les mesures opérationnelles de la performance de l’organisation : Ces mesures sont aussi communément appelées KPI, ces mesures expriment principalement des opérations dans les chaines de valeur opérationnelles, celles qui permettent de livrer la valeur aux clients de l’organisation, client internes ou externes.
· Les mesures de l’atteinte des objectifs de l’organisation. Les indicateurs de performance nommés ci-dessus sont d’une importante opérationnelle et tactique indéniable. Cependant, les plans stratégiques de l’organisation sont à même d’établir des cibles pour ces indicateurs, ces cibles étant associées à un certain horizon.
· Les mesures de progrès de l’organisation : Nous savons d’expérience que l’adoption des principes agiles, sans être un objectif en soi, sont prédicteurs de résultats positifs dans les mesures des deux catégories précédentes. Il apparait que mesurer l’adoption à l’agile est du domaine du souhaitable. Nous y voyons quelques avantages, comme s’assurer que les efforts de coaching et de gestion du changement donnent des résultats dans les équipes, et que les méthodes utilisées produisent l’impact désiré.
La mesure n’est pas la seule action à mener dans nos efforts, mais la mesure est une étape dans un cycle d’amélioration continue :
Mesurer l’adoption des principes Lean-Agile :
L’adoption de principes peut se mesurer de façon arithmétique, puisque l’adoption est en fait la somme des décision individuelles de changer. Nous pouvons mesurer l’adoption individuelle et l’adoption par équipe. Mais la nature même de l’adoption de principe possède une part de subjectivité, donc sa mesure est intrinsèquement qualitative. Il sera intéressant de combiner ces mesures avec d’autres d’une nature plus quantitative.
Les mesures quantitatives :
1 – Les processus et les chaines de valeur opérationnelles
Les transitions vers le Lean-Agile impliquent un point de départ, un sentiment d’urgence, un point douloureux dans l’organisation. Les méthodes Lean Agile se fondent sur l’analyse de performance des chaines de valeurs opérationnelles, et il est donc nécessaire que ces chaines de valeur soient documentées par la cartographie des processus qui la compose.
- Pourcentage de chaine de valeur cartographiées : cette mesure implique d’avoir un répertoire des chaines de valeur opérationnelles, et de tenir une comptabilisation simple des cartographies. Cette mesure se fait sur le temps long, il serait illusoire de vouloir apprécier des progrès de semaine en semaine.
- Pourcentage de chaine de valeur « optimisées » : il est possible aussi dans notre répertoire d’apprécier le travail d’amélioration encore nécessaire, en associant à chaque chaine de valeur un score. Nous verrons dans le deuxième chapitre les mesures opérationnelles.
Un avantage de maintenir un répertoire de chaines de valeur est que l’on peut y annoter les opportunités d’amélioration sur la base des goulots d’étranglement de processus observés
2 – Les formations et la montée en compétence des individus
Mesurer le nombre de personnes formées peut constituer une mesure objective, mais cela ne constitue pas la mesure de la compréhension des participants.
Notre vision est que toute formation doit être associée à une mesure de prédiction d’impact. Tout outil pédagogique possède des objectifs pédagogiques exprimés durant les formations. Il est alors naturel de vérifier par sondage auprès des participants si le fait d’avoir suivi la formation donne au participant les outils pour atteindre les objectifs. Autrement dit est-ce que la formation aide le participant à tenir le rôle qui lui est dévolu, à remplir ses responsabilités.
C’Est pourquoi nous suggérons aux organisations qui mènent des montées en compétence par des formations ou des accompagnements de mener des sondages pour vérifier que les actions participent de l’atteinte des objectifs pédagogiques. Cela peut se faire par de simples sondages. Pour des formations, il devrait être une norme d’intégrer un sondage de feedback pour chaque participant. L’esprit de ce sondage doit tenir en deux questions :
- Dans quelle mesure la formation vous permet d’atteindre les objectifs de la formation ?
- Dans quelle mesure la formation vous permet de tenir votre rôle ?
3 – Des métriques de performance :
Adopter l’agilité peut se faire par le moyen du cadre Scrum. Le cadre Scrum permet de structurer et d’appliquer les principes de l’agilité d’équipe.
a. Le taux de réussite des itérations (sprints) :
b. la tenue des cérémonies d’itérations : les rétrospectives, les revues d’itérations
c. La quantité de récits « prêts » dans la planification d’itération
d. Le temps de cycle d’un récit entre sa planification et sa mise à disposition aux « clients »
Si l’organisation adopte un cadre d’agilité à l’échelle ou organisationnelle comme le cadre SAFe, alors un cycle long est probablement en jeu :
a. La prévisibilité du Planning Interval (PI) : cet intervalle de planification, c’est-à-dire la proportion d’objectifs atteints à la fin par rapport aux objectifs à atteindre définis lors du PI planning.
b. La tenue de cérémonies dédiées à l’innovation et à l’apprentissage continu dans les intervalles de planification
c. Dans le cas où il est possible de quantifier la qualité du produit, du service, du résultat, alors il est pertinent de le faire. Dans certains cas, les données de « défauts » sont plus accessibles, et cela est une alternative très pertinente
Les mesures qualitatives :
Les mesures qualitatives peuvent se faire selon 3 moyens principaux : des enquêtes et des sondages, qui permettent de performer une sorte d’auto évaluation, l’observation directe des pratiques faisant intervenir les principes Agile, les mesures de maturité Agile externe.
1 - Enquêtes et sondages :
Les enquêtes et sondage sont en général la première idée qui vient en tête. Ce procédé est peu couteux, mais son efficacité est relative : une grande proportion des sondés ne répondent pas aux sondages ou aux enquêtes, ce qui fait que le résultat peut être biaisé de façon significative. Ce procédé revêt aussi un défaut, car les personnes contactées doivent donner un avis sur ce qu’ils ressentent, ou la façon dont ils évaluent leur propre pratique. Cependant, un écart entre la perception et la réalité existe sans contexte, même en dehors de toute complaisance envers soi-même. Pour une enquête efficace, certaines caractéristiques vont nous assurer d’un succès :
· Des objectifs clairs et définis
· Une enquête simple, courte et claire
· Si on ne peut faire enquête ou sondage sur toute la population, alors un échantillonnage représentatif est requis.
· Des questions pertinentes et univoques par rapport aux objectifs
· Les questions regroupées par thème, dans un ordre logique
· Les options de réponse pertinentes
· Une enquête anonyme est de rigueur
· L’analyse des données doit être décidée avant l’enquête pour éviter des biais d’analyse
· Le résultat du sondage doit être communiqués aux sondés. Cette partie permet aux personnes qui ont répondu que leur voix a compté, et aux autres de leur faire sentir qu’une opportunité de faire valoir leur opinion a été manquée.
2 - Audit interne ou évaluation externe :
Réaliser des audits internes ou des évaluation externes pour évaluer l'adoption des pratiques Lean et Agile. L’avantage de cette méthode est qu’elle porte sur une observation, donc le résultat est moins biaisé que lors d’une auto évaluation.
Une évaluation externe ou un audit interne doit :
- Être fait par une entité indépendante, objective, compétente
- Avoir une méthodologie rigoureuse, et un benchmarking avec un cadre de référence.
- Présenter une méthode en toute transparence, confidentialité et éthique.
- Les personnes extérieures doivent être engagées dans le processus, avoir des objectifs clairs
- Le rapport doit être clair, doit comporter des évaluations traçables, des recommandations et éventuellement un plan de suivi.
Cette méthode est couteuse, beaucoup plus que l’autoévaluation. On peut la réserver à des portions de l’organisation ou l’on pressent que le résultat de l’auto-évaluation diffère de la réalité. Nous pouvons la réduire à l’observation directe, qui est notre troisième méthode
3 – Observation Directe
Il est nécessaire pour les observateurs de passer du temps avec les intéressés dans les équipes, et cela demande aussi du temps. Cela doit se faire avec une grille d’observation.
Donc l’observateur participe aux cérémonies d’équipe et de structure plus larges, et utilise une grille d’observation .
La grille d’observation permet de :
Qualifier la qualité des interventions : celles du PO, du scrum Master, éventuellement d’autres intervenants (architectes, experts, gestionnaires)
Le niveau d’engagement des équipes dans les cérémonies
Les archétypes d’erreurs que l’on peut observer en général sont la durée excessive des cérémonies, le manque de collaboration ou d’engagement, le manque de clarté, l’absence de participants clés à répétition.
Noter l’utilisation d’outils pour la transparence du progres des équipes (JIRA, AZDO, autres outils).
Pour les cérémonies d’équipe
Mêlée quotidienne (ou régulière)
Manque de focus : Les participants discutent de problèmes qui ne sont pas immédiatement pertinents pour le sprint en cours.
Pas de suivi des actions : Les actions identifiées lors de la réunion ne sont pas suivies ou résolues.
Sprint Planning
Manque de préparation : L'équipe n'a pas préparé suffisamment de backlog ou n'a pas clarifié les exigences avant la réunion.
Objectifs flous : Les objectifs du sprint ne sont pas clairement définis ou compris par tous les membres de l'équipe.
Pas de priorisation : Les tâches ne sont pas correctement priorisées, ce qui peut entraîner une mauvaise allocation des ressources.
Sprint Review (ou Sprint Demo)
Manque de démonstration : L'équipe ne démontre pas réellement le travail accompli, se contentant de discuter des fonctionnalités.
Feedback non sollicité : L'équipe ne sollicite pas activement le feedback des parties prenantes.
Pas de préparation : L'équipe n'est pas préparée pour la démonstration, ce qui peut entraîner des démonstrations incomplètes ou maladroites.
Focus sur les problèmes : La réunion se concentre trop sur les problèmes rencontrés plutôt que sur les réalisations.
Sprint Retrospective
Manque de transparence : Les membres de l'équipe ne sont pas honnêtes ou ouverts sur les problèmes rencontrés.
Pas de suivi des actions : Les actions identifiées lors de la rétrospective ne sont pas suivies ou mises en œuvre.
Blâme et culpabilité : La réunion se transforme en une session de blâme plutôt qu'en une opportunité d'amélioration continue.
Pas de structure : La rétrospective manque de structure ou de facilitation, ce qui peut entraîner des discussions non productives.
Pour les Cérémonies de structures plus larges, comme les trains de livraison (SAFe)
PI Planning (Program Increment Planning)
Manque de préparation : Les équipes ne sont pas suffisamment préparées, ce qui peut entraîner des discussions inefficaces et des décisions mal informées.
Objectifs non alignés : Les objectifs des équipes ne sont pas alignés avec les objectifs du train de livraison.
Pas de synchronisation : Les équipes ne synchronisent pas leurs plans, ce qui peut entraîner des dépendances non résolues.
Pas de priorisation : Les fonctionnalités ne sont pas correctement priorisées, ce qui peut entraîner une mauvaise allocation des ressources.
System Demo
Manque de démonstration : Les équipes ne démontrent pas réellement le travail accompli, se contentant de discuter des fonctionnalités.
Feedback non sollicité : Les équipes ne sollicitent pas activement le feedback des parties prenantes.
Pas de préparation : Les équipes ne sont pas préparées pour la démonstration, ce qui peut entraîner des démonstrations incomplètes ou maladroites.
Focus sur les problèmes : La réunion se concentre trop sur les problèmes rencontrés plutôt que sur les réalisations.
Solution Demo
Manque de démonstration : Les équipes ne démontrent pas réellement le travail accompli, se contentant de discuter des fonctionnalités.
Feedback non sollicité : Les équipes ne sollicitent pas activement le feedback des parties prenantes.
Pas de préparation : Les équipes ne sont pas préparées pour la démonstration, ce qui peut entraîner des démonstrations incomplètes ou maladroites.
Focus sur les problèmes : La réunion se concentre trop sur les problèmes rencontrés plutôt que sur les réalisations.
Atelier d’Inspect & Adapt
Manque de transparence : Les équipes ne sont pas honnêtes ou ouvertes sur les problèmes rencontrés.
Pas de suivi des actions : Les actions identifiées lors de l'atelier ne sont pas suivies ou mises en œuvre.
Blâme et culpabilité : L'atelier se transforme en une session de blâme plutôt qu'en une opportunité d'amélioration continue.
Pas de structure : L'atelier manque de structure ou de facilitation, ce qui peut entraîner des discussions non productives.
L’observation peut inclure une observation des réunions exécutives et de gestion, et permet de détecter les archétypes d’erreur au niveau tactique et stratégique. Cette liste peut être assez grande et détaillée, et dépasse la place allouée pour nos articles. Un autre article spécifique pourrait être alloué rien qu’a ce sujet
Mesurer les résultats opérationnels:
L’objectif ultime de nos transformations se situe dans les opérations que l’on effectue pour la
mission de l’organisation. Ces opérations font l’objet d’amélioration continue, et de projets qui font faire des bonds en avant aux opérations.
De la même façon que pour la culture des équipes et de l’organisation, le progrès doit se mesurer. Comment mesure-t-on le progrès des opérations.
Les fonctions de l’entreprise se déclinent en chaines de valeur, qui permettent de fournir un produit, un service, ou un résultat à une tierce partie, et ceci au moment ou le besoin de ce produit est exprimé.
De nombreux exemples de chaines de valeur existent dans différents domaines :
Si l’on veut faire une représentation générique d’une chaine de valeur :
Des efforts sont réalisés à l’intérieur de chacune des étapes, et chacune des étapes prennent un certain temps pour être complétées. Entre chaque étape, il peut y avoir aussi des intervalles de temps, constituant des délais entre étapes.
Éliminer ces délais sont probablement les pistes d’amélioration qui donneront le plus de résultat rapidement pour la perception de la valeur de la part du destinataire du produit, du service, du résultat.
Les éléments suivants sont des mesures typiques dans les chaines de valeur :
Le lead Time
Définition : Le lead time est le temps total nécessaire pour qu'un élément de travail passe de l'état de demande à l'état de terminé. On peut en mesurer la moyenne, le max, minimum, l’écart type, etc…, le plus communément utilisé étant la moyenne.
Importance : Mesurer le lead time aide à comprendre combien de temps il faut pour livrer de la valeur aux clients. Un lead time court et stable est un signe d'un processus de travail efficace. Typiquement, cette mesure est faite de bout en bout
Le temps de cycle
Définition : Le temps de cycle est le temps nécessaire pour qu'un élément de travail passe d'un état spécifique (par exemple, "En Analyse") à un autre état spécifique (par exemple « En développement »).
Importance : Le cycle time permet de mesurer l'efficacité des étapes individuelles du processus. Il aide à identifier les goulets d'étranglement et à améliorer la fluidité du travail. Il est possible aussi de faire des mesures en combinant plusieurs étapes individuelles dans les cas ou la prise de mesure n’est pas possible à un niveau granulaire plus fin.
Le volume de production
Définition : Le volume de production est le nombre d'éléments de travail terminés dans un certain laps de temps, généralement mesuré par semaine ou par mois.
Importance : Cette métrique donne une idée de la capacité de l'équipe à livrer des éléments de travail. Un volume de production élevé indique une équipe productive.
Cette mesure peut être pertinente quand la nature des efforts et la nature de ce qui est produit dans la chaine de valeur est homogène. Si notre chaine de valeur de construction automobile ne peut pas distinguer les automobiles des camions lourds, mesure le volumen de production est peu pertinent.
Le temps total actif
Définition : Le temps total actif est la somme de toutes les périodes pendant lesquelles un élément de travail est activement traité par les membres de l'équipe. Cela inclut les étapes de développement, de test, de revue, etc., mais exclut les périodes où l'élément est en attente d'action ou bloqué.
Importance : Cette mesure est cruciale pour comprendre l'efficacité réelle du processus de travail. En se concentrant sur le temps où le travail ajoute de la valeur, les équipes peuvent identifier des opportunités pour réduire les temps morts et améliorer la fluidité du flux de travail.
Pour calculer ce temps, il est nécessaire :
D’Identifier les périodes actives : Pour chaque élément de travail, notez les périodes où le travail est effectivement en cours (par exemple, du moment où un développeur commence à coder jusqu'à ce qu'il passe le travail au testeur).
D’Exclure les périodes d'attente : Ne pas inclure les temps où l'élément de travail est en attente (par exemple, en attente de revue, en attente de test, en attente de déploiement).
D’Additionner les périodes actives : Additionner toutes les périodes actives pour obtenir le temps total actif.
LE POURCENTAGE DE TEMPS ACTIF : C’est la mesure qui fait en général l’unanimité, car cela mesure l’efficacité de l’organisation.
C’est la fraction entre la moyenne du temps total ACTIF et la moyenne du lead Time.
Conclusion
Cet article peut vous paraitre très théorique, surtout si vous avez déjà pratiqué le coaching Agile. Notre expérience montre qu’il peut être difficile de mesure la performance dans une organisation Agile. En fait, cela n’est pas dû à l’organisation, la résistance peut venir directement des équipes elle-même. Les causes de cette résistance sont multiples, et nous aborderons dans un autre article le point de vue du coach Agile pour surmonter ses difficultés :
- La notion de mesure est associée à la notion de qualité, et la perception de la qualité est différente suivant les individus et leur rôle : un développeur définit comme « bon » une structure de code efficace, un PO définit comme bon un niveau suffisant de récits livrés en production, et un gestionnaire de projet mesure le « bon » la livraison de projet dans les budgets et le calendrier.
- Nous l’avons vu, la mesure de la maturité Agile des équipes n’est pas univoque
- Les pratiques Agile se préoccupent de produits et non de projets
- Pour faire les mesures, il nous faut des données. En général, ces données sont dispersées, et les organisations de vue unifiée de la source de données.
- Les équipes voient en général mal les mesures. La raison vient de notre enfance, qui voit nos activités mesurées et « notées », que ce soit à l’école ou par nos parents. Les équipes ont peur que ces mesures deviennent des jugements de valeur.
Nous verrons dans un prochain article comment un coach Agile approche les mesures de l’agilité.
Références :
Deming, W.E. and Orsini, J.N. (2013) The essential Deming : leadership principles from the father of total quality management. New York: McGraw-Hill. Available at: http://www.vlebooks.com/vleweb/product/openreader?id=none&isbn=9780071790215 (Accessed: January 3, 2025).
Davis, C.W.H. (2015) Agile metrics in action : how to measure and improve team performance. Shelter Island, NY: Manning Publications. Available at: https://public.ebookcentral.proquest.com/choice/publicfullrecord.aspx?p=6642592 (Accessed: January 3, 2025).
Doerr, J.E. (2017) Measure what matters : OKRs, the simple idea that drives 10x growth. [New York, NY]: Portfolio Penguin.
Comments