Vous ouvrez le tableau de bord avant la réunion du matin pour constater que les chiffres d'hier y sont toujours.
Désormais, alors que l'heure de la réunion approche inexorablement, vous devez comprendre pourquoi un processus qui fonctionnait très bien hier est tombé en panne aujourd'hui. Peut-être qu'un fichier source est arrivé en retard, ou qu'une tâche en amont ne s'est jamais terminée. Peut-être que le workflow s'est exécuté mais s'est bloqué quelque part avant que le rapport ne soit actualisé.
Toutefois, en retraçant l'origine de la défaillance, vous constaterez peut-être que le travail individuel sur les données n'en est pas la cause. Vous savez déjà comment nettoyer les inputs et appliquer la logique métier. Le plus difficile consiste à s'assurer que toutes les étapes se déroulent dans le bon ordre et au bon moment, avec une visibilité suffisante pour déterminer ce qui ne va pas lorsque ce n'est pas le cas.
C'est là qu'intervient une plateforme moderne de pipeline de données. Elle aide les équipes analytiques à coordonner un processus reproductible autour du travail sur les données, qu'il s'agisse de s'assurer que les bonnes étapes se déroulent dans le bon ordre ou d'identifier les erreurs et de relancer le workflow. Ainsi, le workflow devient une ressource sur laquelle vous et d'autres personnes pouvez compter, qu'il s'agisse du 1er jour ou du 100e jour.
Qu'est-ce qu'une plateforme moderne de pipeline de données ?
Pensez à un workflow que vous exécutez chaque semaine. Au début, vous le connaissez probablement sur le bout des doigts : d'où viennent les données, ce qui doit se passer en premier, et quelle étape a tendance à poser problème.
Toutefois, à mesure que le workflow devient suffisamment utile pour que d'autres personnes commencent à en dépendre, il doit fonctionner sans que vous ayez constamment à le surveiller. Quelqu'un d'autre pourrait avoir besoin de modifier ou de dépanner le workflow, et cette personne ne devrait pas avoir à dépendre de connaissances que vous êtes le seul à posséder sur son fonctionnement.
L'ETL et l'ELT sont des méthodes bien connues pour déplacer et transformer des données, mais ils ne constituent qu'une partie du processus. Une plateforme de pipeline de données permet de transformer ces éléments individuels en un processus que votre équipe peut exécuter et gérer conjointement, y compris les transferts et les dépendances associés aux tâches que votre équipe exécute régulièrement.
Un moyen de voir si ce processus est gérable consiste à imaginer confier demain à un autre analyste l'un des workflows sur lesquels s'appuie votre équipe. Pourrait-il comprendre comment tout s'articule et savoir quoi faire lorsque quelque chose ne se passe pas comme prévu ? Une plateforme moderne de pipelines de données devrait permettre de rendre cela possible sans vous obliger à combler les manques.
L'orchestration des pipelines de données va au-delà de la planification
Une fonctionnalité de planification répond à une seule question : quand cela doit-il être exécuté ? L'orchestration va bien au-delà de cela, en coordonnant le comportement de l'ensemble du processus.
Supposons que votre rapport du matin dépende de deux workflows en amont. Les deux doivent se terminer avant que la transformation principale ne commence, et le rapport ne devrait pas être envoyé tant que les données résultantes ne sont pas prêtes. Si l'une de ces étapes en amont échoue, vous ne voulez probablement pas que le reste du processus continue d'avancer comme si de rien n'était.
Au lieu de traiter chaque tâche comme un élément distinct sur un calendrier, l'orchestration des pipelines de données vous permet de définir la manière dont les étapes dépendent les unes des autres et ce qui doit se passer en cas de réussite ou d'échec.
Si vous avez déjà planifié trois tâches à 15 minutes d'intervalle en espérant que la première se termine avant que la deuxième ne commence, vous vous êtes déjà heurté aux limites de la seule planification. Cette approche peut fonctionner pendant un certain temps, mais il devient plus difficile de lui faire confiance à mesure que les temps d'exécution changent ou que de nouvelles étapes sont ajoutées.
Le problème devient encore plus perceptible lorsque différentes équipes sont responsables de certaines parties du processus. Un processus en amont peut relever de la finance, tandis que votre équipe est responsable du workflow de préparation et du rapport final. Lorsqu'un processus prend du retard, vous ne voulez pas passer la matinée à envoyer des messages du type « Votre tâche est-elle terminée ? » simplement pour déterminer où les choses se sont arrêtées.
L'orchestration intègre ces dépendances au processus, afin que chaque étape sache ce qui doit se passer avant de pouvoir s'exécuter. C'est une avancée majeure par rapport à une poignée de tâches planifiées.
Alteryx propose des conseils sur l'orchestration des workflows si vous souhaitez approfondir la façon dont elle se distingue de la planification seule.
Les pipelines de données modernes commencent par le bon modèle de distribution
Après avoir déterminé comment les différentes parties d'un pipeline doivent fonctionner ensemble, la question suivante est de savoir comment les données doivent circuler dans le processus. La réponse dépend moins de ce qui semble le plus récent ou le plus rapide que du moment où l'entreprise a réellement besoin des données.
C'est pourquoi « moderne » ne signifie pas automatiquement temps réel. Pour de nombreux travaux d'analytique, le streaming ne ferait qu'ajouter de la complexité sans apporter davantage de valeur au résultat.
Il est préférable de commencer par l'exigence en aval : quel âge les données peuvent-elles avoir avant que l'analyse ne cesse d'être utile ?
Selon le cas d'usage, cela pourrait vous orienter vers une approche telle que :
- Traitement par lots planifié pour des cycles de reporting prévisibles
- Traitement incrémentiel lorsque seule une partie des données change
- Streaming lorsque l'entreprise a réellement besoin de mises à jour en temps quasi réel
- Interroger les données sur place lorsque leur déplacement ajouterait une étape inutile
Une alerte aux fraudes peut nécessiter des données actualisées en quelques secondes ou minutes, tandis qu'un tableau de bord utilisé lors d'une réunion opérationnelle à 8 h doit simplement être prêt avant le début de la réunion. Un workflow de planification hebdomadaire a des exigences qui lui sont propres. Tous les trois peuvent être des pipelines modernes si l'architecture est adaptée à la tâche.
Si l'entreprise a besoin d'un rapport actualisé chaque lundi matin, vous n'avez aucun avantage à faire fonctionner le flux de données en continu tout le week-end. Vous avez tout intérêt à choisir l'approche qui répond de manière fiable aux exigences de fraîcheur sans créer de travail supplémentaire pour votre équipe.
Il est également utile d'examiner le volume de données que vous traitez. Un workflow peut commencer par tout recharger, car le jeu de données est restreint et l'exécution ne prend que quelques minutes. Deux ans plus tard, vous pourriez continuer à traiter tout cet historique inchangé chaque matin et vous demander pourquoi le workflow prend désormais une heure. Si seule une fraction des données change chaque jour, une approche incrémentielle peut être plus pertinente.
Il en va de même pour le déplacement des données. Parfois, vous avez besoin d'une autre copie, mais d'autres fois, il est plus logique de travailler plus près de la source ou d'interroger les données là où elles se trouvent déjà.
L'objectif est de faire ce choix délibérément, et non de continuer à déplacer des données simplement parce que le workflow a été configuré ainsi la première fois.
La fiabilité du pipeline compte davantage après le premier jour
Une fois qu'un pipeline commence à s'exécuter régulièrement, la fiabilité ne consiste plus tant à savoir s'il peut s'exécuter qu'à savoir si votre équipe peut compter sur lui sans devoir superviser chaque exécution.
Garantir un fonctionnement fiable du pipeline devient plus difficile à mesure que le workflow vieillit. Une source commence à arriver en retard, un schéma en amont change, ou un processus qui prenait habituellement 20 minutes se rapproche d'une heure. À mesure que ces petits problèmes s'accumulent, vous avez besoin d'une vision beaucoup plus claire de ce que fait le pipeline et de ce qui déraille.
Ce même passage de « ça fonctionne » à « nous pouvons compter dessus » s'observe plus largement à mesure que les pipelines de données passent de l'expérimentation à une utilisation opérationnelle durable. Lorsque quelque chose ne va pas, vous voulez pouvoir répondre à quelques questions élémentaires sans avoir à reconstituer l'ensemble du processus :
- Qu'est-ce qui a échoué, et où le processus s'est-il arrêté ?
- Quelles étapes se sont terminées avec succès ?
- Le pipeline prend-il plus de temps que d'habitude ?
- La sortie était-elle prête lorsque les personnes en avaient réellement besoin ?
Ce dernier point est facile à négliger. Si un tableau de bord est nécessaire pour une réunion à 8 h mais que le pipeline se termine à 10 h, l'exécution peut être techniquement réussie, mais les participants à la réunion disposaient tout de même de chiffres obsolètes.
La reprise a également son importance. Un problème de connexion temporaire vaut peut-être la peine d'être réessayé, tandis que des informations d'identification expirées ou un champ manquant nécessitent probablement l'intervention de quelqu'un. Et si l'étape 19 d'un processus en 20 étapes échoue, vous ne devriez pas avoir automatiquement à répéter 45 minutes de travail qui s'est déjà terminé avec succès.
Ces détails ont bien plus d'importance une fois qu'un pipeline s'intègre dans la routine analytique habituelle. L'objectif est de relancer le processus sans transformer chaque problème en une enquête qui dure toute la matinée.
Comment évaluer une plateforme de pipeline de données
Les problèmes de fiabilité que vous constatez dans les workflows réels peuvent vous aider à déterminer les fonctionnalités les plus importantes dans une plateforme de pipeline de données. Pensez à un ou deux processus que votre équipe exécute fréquemment. Où ont-ils tendance à devenir confus ? Qu'est-ce qui prend le plus de temps à dépanner ? Qu'est-ce qui permettrait à quelqu'un d'autre de les comprendre et de les maintenir plus facilement ?
Ces réponses peuvent vous aider à vous concentrer sur les fonctionnalités qui compteront le plus dans votre travail analytique concret.
| Zone d'évaluation | Question pour votre équipe |
|---|---|
| Connectivité | La plateforme peut-elle fonctionner avec les systèmes où se trouvent réellement vos données ? |
| Modèles de livraison | Prend-il en charge les approches de traitement et de mise à disposition dont vos charges de travail ont besoin ? |
| Transformation | Pouvez-vous préserver la logique de préparation et la logique métier dont dépend votre analyse ? |
| Orchestration | Les tâches peuvent-elles attendre des dépendances ou emprunter des parcours différents selon ce qui se passe en amont ? |
| Déclenchement | Les workflows peuvent-ils s'exécuter selon les planifications ou les conditions requises par votre processus ? |
| Fraîcheur | Pouvez-vous savoir si les résultats sont arrivés dans la fenêtre métier où ils sont utiles ? |
| des risques et des audits | Pouvez-vous voir ce qui s'est exécuté, combien de temps cela a pris, et où un problème est survenu ? |
| Notifications | Les bonnes personnes peuvent-elles savoir quand un processus requiert une attention particulière ? |
| Nouvelle tentative et récupération | Les défaillances temporaires peuvent-elles être gérées de manière appropriée, et pouvez-vous reprendre à partir d'un point utile en cas de problème ? |
| Réutiliser | La logique développée par les analystes peut-elle rester réutilisable lorsque le workflow devient opérationnel ? |
| Cycle de vie et gouvernance | Les utilisateurs peuvent-ils modifier et gérer un pipeline important sans créer de risques inutiles ? |
| Adéquation analytique | Le pipeline se connecte-t-il naturellement aux rapports et aux résultats analytiques dont votre équipe est responsable ? |
Vous n'accorderez probablement pas la même importance à chaque question. Un workflow qui alimente un rapport urgent accordera peut-être la priorité à la fraîcheur et à l'orchestration, tandis qu'un processus de longue durée pourrait accorder plus d'importance à la reprise. La réutilisation mérite une plus grande attention si la logique créée par les analystes devait autrement être recréée ailleurs.
Utilisez la table pour vous concentrer sur les problèmes auxquels votre équipe est déjà confrontée, plutôt que d'essayer de cocher toutes les cases possibles.
Maintenir la logique connectée une fois le processus mis en production
La table d'évaluation ci-dessus soulève précisément cette question sous Réutilisation, cycle de vie et gouvernance : la logique créée par les analystes reste-t-elle réutilisable une fois qu'un workflow passe en production, ou est-elle entièrement reconstruite dès que quelqu'un d'autre prend en charge la planification ? La logique de préparation et la logique métier que votre équipe a déjà créées ne devraient pas avoir à être transférées vers un outil distinct simplement parce que le processus s'exécute désormais selon une planification plutôt que manuellement.
L'Orchestrateur dans Alteryx One, par exemple, est conçu pour maintenir cette logique en place. Il traite un ensemble de tâches associées comme un processus unique et coordonné, plutôt que comme un empilement de tâches planifiées séparément. La logique de dépendance que votre équipe a déjà définie (ce qui doit se terminer avant l'exécution de l'étape suivante, ce qui doit se passer si ce n'est pas le cas) est configurée une fois pour toutes et appliquée automatiquement, au lieu d'être reconstituée à travers une série de messages du type « Votre tâche est-elle terminée ? ». La reprise fonctionne de la même façon : si un plan échoue à l'étape 19 sur 20, il reprend à partir de ce point plutôt que de répéter les 18 étapes qui se sont déjà déroulées sans encombre.
La question du déplacement des données abordée plus haut dans cet article fonctionne de la même manière. Live Query peut interroger directement les plateformes cloud prises en charge, notamment Snowflake, Databricks et BigQuery, plutôt que d'exiger que les données soient d'abord copiées dans Alteryx One. Cela compte particulièrement pour les workflows où une copie supplémentaire ne serait qu'un élément de plus susceptible de devenir obsolète ou d'échouer silencieusement.
Les questions de visibilité sont tout aussi importantes lorsqu'un processus s'exécute sans intervention humaine. L'historique d'exécution montre ce qui a été exécuté et où l'exécution s'est arrêtée ; les notifications sont acheminées vers la personne qui doit réellement intervenir, plutôt que vers celle qui se trouve simplement devant l'écran. Rien de tout cela ne remplace la décision de déterminer si une défaillance nécessite une intervention humaine ou une simple nouvelle tentative. Cela signifie que cette décision est prise avec les bonnes informations sous les yeux, au lieu d'être reconstituées après coup.
Résultat : la même logique qu'un analyste a conçue pour nettoyer et mettre en forme les données est celle qui s'exécute en production. Rendre le processus opérationnel ne signifie pas devoir le reconstruire ailleurs.
Construisez le pipeline pour le jour 100, et pas seulement pour le jour 1
Connecter la source et planifier la première exécution réussie sont des étapes importantes, mais elles ne constituent pas le meilleur test pour une plateforme de pipelines de données. Imaginez plutôt la centième exécution, lorsque le workflow a été modifié à plusieurs reprises, que quelqu'un attend les résultats et qu'une étape échoue vers la fin.
Votre équipe peut-elle comprendre ce qui s'est passé, rétablir le processus et apporter la modification suivante sans traiter le workflow comme une boîte noire ? Tout aussi important, pouvez-vous avoir l'assurance que le résultat sera disponible lorsque les utilisateurs en auront besoin ?
C'est un meilleur indicateur pour savoir si le pipeline est prêt à s'intégrer au quotidien analytique. Pour découvrir comment Alteryx prend en charge ce type de travail analytique continu, explorez Alteryx One ou commencez un essai gratuit.
