La plupart des équipes qui disent avoir automatisé leur rapport hebdomadaire n'ont automatisé que le tableau de bord. L'outil BI s'actualise de manière programmée, le graphique se met à jour, et tout le monde passe à autre chose, tandis que le vrai travail, à savoir extraire l'export Snowflake de la semaine précédente, insérer un fichier Excel régional, et le rapprocher d'un troisième système, se fait toujours manuellement chaque lundi matin. Ce n'est pas ainsi qu'on automatise le reporting. C'est une personne qui effectue le même traitement manuel qu'il y a un an, simplement avec un graphique plus clair à la fin.
Une étude de McKinsey sur l'automatisation au travail révèle que 57 % des heures de travail aux États-Unis pouvaient être automatisées avec une technologie déjà existante aujourd'hui (McKinsey — Superagency in the Workplace). Le reporting hebdomadaire est pleinement concerné : le potentiel existe, mais la plupart des rapports ne dépassent jamais la couche du tableau de bord. Cet article ne concerne pas uniquement le choix de l'outil BI à acheter. Il présente ce qu'il faut réellement pour cesser de faire le lien manuellement entre les systèmes, Snowflake, Excel et tout système métier, qui n'ont jamais été conçus pour communiquer entre eux.
Le rapport « automatisé » qui a toujours une étape manuelle le lundi
Un rapport de performance des magasins à remettre chaque lundi aux vice-présidents régionaux provient généralement de trois sources : un entrepôt Snowflake contenant les données de point de vente et d'inventaire, un fichier Excel que les responsables régionaux envoient par e-mail, avec des ajustements de démarque et de promotion, et un système de gestion des effectifs suivant les heures planifiées par rapport aux heures réelles par magasin. Chaque source peut déjà avoir sa propre exportation, ses propres macros ou son propre logiciel de reporting automatisé fonctionnant de manière programmée, ce que la plupart des équipes appellent l'automatisation ponctuelle. C'est un vrai progrès par rapport au 100 % manuel. Ce n'est pas vraiment la même chose que la véritable automatisation des rapports.
Le problème apparaît au moment où quelqu'un doit combiner les trois. Les identifiants des magasins ne correspondent pas entre les systèmes. Les plages de dates varient selon le moment où chaque source s'actualise. Les en-têtes de colonne changent parce qu'un responsable régional a réorganisé les champs dans le fichier de la semaine dernière, ou a ajouté un nouveau code de promotion que personne n'avait signalé.
Quelqu'un, généralement l'analyste qui est en charge du rapport, passe le lundi matin à ouvrir trois fichiers, à croiser manuellement les identifiants des magasins et à recalculer les ratios main-d'œuvre/ventes avant que l'un d'eux ne soit prêt à être envoyé.
Ce n'est pas un problème rare. L'étude State of Data and Analytics de Salesforce révèle que 76 % des dirigeants d'entreprise ressentent une pression croissante pour prouver la valeur de leurs données, tandis que les responsables des données et de l'analytique estiment que 26 % des données de leur entreprise sont peu fiables (Salesforce — State of Data and Analytics). L'automatisation ponctuelle est facile à confondre avec le résultat final, car le tableau de bord continue de s'actualiser de manière programmée, même lorsque les inputs qui l'alimentent sont assemblés manuellement chaque semaine.
Si votre lundi commence par la réouverture de la feuille de calcul de la semaine précédente et l'échange manuel de nouveaux chiffres, l'actualisation du tableau de bord de manière programmée n'est pas la même chose que l'automatisation de votre rapport.
Pourquoi la combinaison de Snowflake, Excel et d'un système métier perturbe l'automatisation ponctuelle
L'automatisation ponctuelle échoue car les trois sources n'ont jamais été conçues pour s'accorder entre elles. Les données Snowflake arrivent propres et structurées, l'entrepôt applique un schéma, donc les enregistrements des points de vente et d'inventaire arrivent sous la même forme chaque semaine. Le fichier Excel ne le fait pas. L'ordre des colonnes change, un magasin est renommé en cours de trimestre, ou un nouveau code promotionnel apparaît dans le dossier d'un responsable sans avertissement pour celui qui essaie de le déchiffrer.
L'extrait du système de gestion de la main-d'œuvre ajoute un troisième ensemble de conventions : ses propres identifiants, sa propre mise en forme de date, sa propre manière de distinguer un poste planifié d'un poste réel. Combiner cela aux données Snowflake et Excel nécessite une étape de mappage, et cette étape reste généralement dans la mémoire de quelqu'un ou dans une formule de feuille de calcul que personne d'autre ne veut toucher, plutôt que dans le processus lui-même. Un pipeline conçu pour accélérer la préparation des données entre un entrepôt de données et des sources de feuilles de calcul résout précisément ce problème.
Il s'agit d'un problème de qualité des données avant même d'un problème de planification. Selon une étude de Gartner, le coût moyen d'une mauvaise qualité des données s'élève à 12,9 millions $ par an, et l'incohérence entre les sources est citée comme le défi le plus fréquemment rencontré par les entreprises en matière de qualité des données (Gartner — Data Quality: Best Practices for Accurate Insights). Une étude de Thomas Redman dans la MIT Sloan Management Review va plus loin, estimant que la mauvaise qualité des données coûte à la plupart des entreprises de 15 % à 25 % de leurs revenus (MIT Sloan Management Review — Seizing Opportunity in Data Quality). Le rapprochement d'un export Snowflake, d'un fichier Excel modifié manuellement et d'un extrait de système d'information n'est pas un simple désagrément : c'est précisément le cas de figure que ces deux études décrivent, et c'est aussi là que le reporting basé sur Excel a tendance à montrer ses premiers signes de faiblesse à mesure que le nombre de sources augmente.
C'est pourquoi l'automatisation ponctuelle atteint ici sa limite. Automatiser chaque source seule ne supprime pas le rapprochement manuel entre elles : cela repousse simplement ce travail plus tard dans le processus, sur celui qui assemblera le rapport final. Corriger cela signifie aborder directement l'étape de rapprochement, pas acheter un autre logiciel de reporting qui ne touche qu'au tableau de bord.
Ce qu'exige un rapport hebdomadaire multi-sources
Un rapport hebdomadaire multi-sources nécessite cinq choses, et la plupart des équipes n'en ont que deux qui fonctionnent en pilote automatique :
- Une connectivité native vers un entrepôt cloud comme Snowflake qui ne dépend pas de scripts personnalisés qui sont défaillants à chaque changement de schéma.
- La possibilité d'ingérer des fichiers plats comme Excel selon une programmation récurrente, pas simplement de les extraire une fois et de considérer que c'est fait.
- Un moyen de rapprocher automatiquement les clés incompatibles, identifiants de magasin, formats de dates, conventions de nommage, plutôt qu'à travers une formule que quelqu'un garde en mémoire.
- Outputs dans les formats que les intervenants ouvrent réellement : PDF pour les cadres, Excel pour les managers régionaux, HTML pour toute personne lisant sur un smartphone.
- Une planification qui se déroule sans qu'il soit nécessaire de la lancer chaque lundi matin.
La plupart des tableaux de bord BI et des autres outils de reporting automatisés sont performants sur les deux derniers éléments, la mise en forme et la planification du tableau de bord, et moins efficaces sur les trois premiers, ce qui correspond exactement à ce que cet article aborde sans cesse : connecter et rapprocher des données d'entrée désorganisées et hétérogènes avant que quoi que ce soit ne soit utilisé dans un graphique. Un cadre pour évaluer les outils d'automatisation de workflow est utile ici précisément parce qu'il évalue les options selon les cinq exigences au lieu des deux dernières seulement.
Un autre point mérite de figurer sur cette liste, défini de manière étroite : la gouvernance. Ce n'est pas une affirmation générale de conformité, mais il s'agit de savoir qui peut changer la planification, qui est responsable de la logique de rapprochement, et d'avoir un enregistrement de ce qui a été exécuté et quand. C'est le minimum requis pour parler d'automatisation de workflow plutôt que d'une collection d'exportations programmées, et c'est le minimum que chaque option doit respecter, y compris celle que ce post finit par nommer.
Un outil qui n'automatise que la couche de visualisation laissera toujours quelqu'un faire l'assemblage manuellement.
L'étape manquante : l'orchestration, pas seulement les tableaux de bord
Il y a une quatrième étape que la plupart des conversations sur l'automatisation du reporting passent sous silence : un workflow qui se connecte à chaque source, résout les différences entre elles et exécute toute la séquence de manière programmée, au lieu d'un tableau de bord s'appuyant sur des données assemblées manuellement. Appelez cela orchestration, ou workflow d'automatisation des données, le nom que vous lui donnez compte moins que ce qu'il fait. Il est placé avant le tableau de bord, pas après.
C'est le contraste direct avec l'automatisation des tableaux de bord. Un tableau de bord qui s'actualise de manière programmée n'est pas utile si les données qui l'alimentent nécessitent encore qu'une personne les rassemble d'abord. L'orchestration sort cette personne de la boucle hebdomadaire ; pas entièrement du processus, mais de la partie répétitive.
À ce stade, le processus est « terminé » de la manière suivante : une personne conçoit une fois pour toutes la logique de connexion et de fusion (mappage des champs Snowflake, normalisation des colonnes Excel, alignement des identifiants de magasin du système de gestion des effectifs), et ensuite, le rapport s'exécute selon une programmation définie sans que personne n'ait à retoucher l'assemblage sous-jacent. Si vous souhaitez comprendre les mécanismes avant de passer aux explications ci-dessous, lisez cet article expliquant comment les équipes analytiques automatisent l'ensemble du pipeline de la connexion au rapport.
Cette étape tend également à séduire les équipes sans fonction dédiée à l'ingénierie des données, car le workflow est généralement créé et géré par l'analyste qui comprend le rapport, et non confié à un backlog d'ingénierie. Voici à quoi ressemble concrètement la création de ce workflow, étape par étape.
Comment automatiser le reporting : créer le workflow, étape par étape
Une façon de voir à quoi cela ressemble en pratique : une équipe de BI chez Stratasys, le fabricant de solutions d'impression 3D, a déplacé le travail d'assemblage pour un rapport récurrent en un seul workflow planifié créé dans Alteryx, et a réduit le temps de production de 5 heures à seulement 30 minutes (étude de cas : Stratasys). Le rapport n'est pas devenu plus rapide à créer de zéro chaque semaine, il a cessé d'être créé de zéro chaque semaine.
La création de ce type de workflow suit à peu près les mêmes étapes :
Identifiez chaque source et sa cadence naturelle d'actualisation. Dans le contexte du retail, il s'agit de l'entrepôt Snowflake (mis à jour chaque soir), des fichiers Excel régionaux (envoyés par e-mail par les managers selon différentes planifications) et de l'extrait de la gestion de la main-d'œuvre (extrait hebdomadaire). Le workflow doit se connecter directement à un entrepôt cloud comme Snowflake et lire des fichiers plats comme Excel en entrée standard, sans script personnalisé qui est défaillant la prochaine fois qu'une colonne bouge.
Définir les clés de jointure et standardiser les formats entre les sources afin que les identifiants de magasin et les plages de dates s'alignent. C'est l'étape de fusion de données : par exemple, associer les codes de magasin du système de gestion des effectifs à ceux de l'entrepôt, afin que les deux jeux de données se rejoignent réellement au lieu de dépendre d'une formule que quelqu'un d'autre doit se rappeler de mettre à jour.
Fusionner et valider les données combinées avant qu'elles ne soient mises en page dans rapport, en détectant un magasin manquant ou un code promotionnel malformé avant qu'il ne devienne une donnée erronée entre les mains d'un vice-président régional.
Créer la mise en page du rapport et les formats de sortie dont les intervenants ont réellement besoin. Le rapport final peut être exporté en PDF, HTML, Excel ou Word, avec les chiffres de chaque magasin répartis chacun dans sa propre feuille de calcul, ce qui est utile lorsque les vice-présidents régionaux souhaitent que le même rapport soit découpé par magasin dans un classeur qu'ils savent déjà utiliser.
Définir la planification et la liste de distribution. Le workflow peut être planifié pour s'exécuter automatiquement (chaque heure, jour, semaine, mois, ou selon un rythme personnalisé), programmé pour parvenir aux intervenants avant l'appel régional de lundi.
Surveiller les pannes pour qu'une source défaillante ne produise pas un mauvais rapport. Si le fichier Excel n'est pas arrivé, ou si l'extraction de la main-d'œuvre est revenue vide, quelqu'un doit être informé avant que le rapport ne soit publié, pas après qu'un vice-président a demandé pourquoi les chiffres semblent incorrects.
Rien de tout cela n'automatise complètement le rapport de bout en bout. Établir les connexions, définir la logique de rapprochement et examiner périodiquement les résultats restent le travail d'une personne. Ce qui change, c'est que la connexion à Snowflake, aux fichiers Excel et aux systèmes métier principaux se fait en un workflow, et le travail manuel et répétitif de récupérer et de mettre en forme le rapport chaque semaine disparaît. Pour l'équipe retail dans ce scénario, le rapport hebdomadaire sur la performance des magasins s'exécute désormais selon la planification, sur les trois sources, un schéma proche de ce cas d'usage de reporting sur la performance des magasins, et le lundi de l'analyste est consacré à examiner les exceptions au lieu de recréer un rapport à partir de zéro.
Pour une explication plus complète du processus de configuration, reportez-vous à l'e-book Comment automatiser les rapports (et fournir une analyse précieuse).
D'un rapport mis en forme à un résumé narratif
Une fois l'assemblage des données automatisé, le prochain goulet d'étranglement est généralement le commentaire, à savoir le paragraphe expliquant pourquoi le ratio main-d'œuvre/ventes a augmenté dans une région cette semaine, et non seulement le chiffre lui-même. C'est souvent encore une tâche d'écriture manuelle, même après l'exécution programmée du rapport.
Les fonctionnalités d'IA générative, comme celles d'Alteryx, peuvent aider à fournir automatiquement des résumés narratifs en parallèle des données, constituant en quelque sorte un premier jet du « pourquoi » et qu'un analyste peut adapter au lieu de partir de zéro. L'objectif est d'aider les équipes à accéder plus vite aux insights, pas de remplacer les capacités de raisonnement de la personne qui revoit les chiffres avant qu'ils soient transmis à un vice-président régional.
Des insights ainsi automatisés facilitent l'envoi récurrent d'un rapport par e-mail à intervalles réguliers, les destinataires pouvant s'abonner ou se désabonner d'eux-mêmes. Pour un rapport hebdomadaire sur la performance des points de vente, la diffusion fait partie de la même planification que l'assemblage des données, au lieu de rester une étape à part (transmission manuelle d'un fichier chaque lundi).
Pour bien démarrer
La plupart des équipes tributaires de ce mode de fonctionnement ont déjà automatisé le tableau de bord. La partie qui reste manuelle, c'est tout ce qui l'alimente : extraire l'export Snowflake, intégrer le fichier Excel, le rapprocher d'un troisième système, chaque semaine. La solution n'est pas d'avoir un nouveau tableau de bord. C'est de s'appuyer sur un workflow qui gère la connexion, la fusion et la planification, permettant ainsi de réaliser ce travail une fois pour toutes et non tous les lundis.
Alteryx One est conçu pour ce type d'automatisation de workflow : se connecter à Snowflake, aux fichiers Excel et aux systèmes métier principaux en un seul workflow, préparer et fusionner les données, puis planifier et distribuer le rapport final. La plateforme automatise les tâches manuelles et répétitives que constituent la collecte et la mise en forme d'un rapport hebdomadaire. Il reste nécessaire que quelqu'un définisse la logique de rapprochement, établisse la planification et vérifie périodiquement le résultat produit.
Commencez à petite échelle : choisissez le rapport qui prend le plus de temps chaque semaine et créez la logique de connexion et de fusion pour ce cas précis. Les équipes qui souhaitent l'essayer avec leurs propres données peuvent lancer un essai gratuit d'Alteryx One. Celles qui le comparent à d'autres outils de reporting d'entreprise peuvent demander une démo à la place.