La préparation des données n'est pas nouvelle, mais l'IA exige davantage d'elle.
Il est tentant de considérer l'IA comme un nouveau défi nécessitant de nouvelles règles. Mais à bien des égards, les principes de préparation des données restent inchangés. Des données propres, bien structurées et bien documentées sont toujours essentielles pour générer des insights. La différence aujourd'hui est que les machines, plutôt que les humains, consomment de plus en plus ces données, et prennent des décisions en conséquence, souvent de manière opaque ou probabiliste.
Dans un récent podcast d'Alter Everything, l'expert en orchestration de données Nick Schrock, directeur technique et fondateur de Dagster Labs, a exploré la signification réelle de la préparation des données pour l'IA. Il a présenté la manière dont les organisations peuvent préparer des données prêtes pour l'IA, relever les défis de l'ingénierie de contexte et établir une gouvernance efficace pour les workflows pilotés par l'IA.
L'essor de l'ingénierie de contexte
C'est là qu'intervient le concept d'ingénierie de contexte.
Pendant des années, la conception d'invites désignait l'art de concevoir des invites parfaites pour un chatbot. Mais comme l'explique Nick Schrock, l'IA d'entreprise nécessite quelque chose de plus sophistiqué. Il faut orchestrer le bon contexte, vers le bon modèle, au bon moment.
C'est l'évolution de la simple invite vers une véritable ingénierie. Au lieu de s'appuyer sur des invites ad hoc, les organisations doivent concevoir des systèmes qui gèrent le contexte des données comme une ressource intentionnelle et réutilisable.
Il fait une mise en garde contre le fait que le surplus de contexte n'est pas forcément meilleur. Fournir trop d'informations, ou des informations contradictoires, peut entraîner de la confusion et des hallucinations. Il souligne également le problème du « context rot », où des données obsolètes ou non pertinentes s'accumulent, dégradant les performances au fil du temps.
La réussite dépend de la précision : il s'agit de rassembler un contexte pertinent et de haute qualité et de le transmettre efficacement au modèle. Pour de nombreuses organisations, il s'agit d'une nouvelle discipline et d'un nouveau défi technique.
Gouvernance dans les workflows IA
La gouvernance des données a toujours été essentielle, mais l'IA amplifie les enjeux. La gouvernance va désormais bien au-delà de la conformité et de la sécurité des données. Il s'agit de confiance, d'explicabilité et de contrôle dans un monde où l'IA peut générer et modifier des données à la volée.
Nick Schrock insiste sur la nécessité de mettre en place des garde-fous qui définissent la manière dont l'IA fonctionne au sein du pipeline de données. Chez Dagster Labs, son équipe conçoit des abstractions qui confinent les opérations d'IA à des unités plus petites et modulaires, empêchant ainsi la dette technique de se propager. En l'absence de telles limites, l'outil IA peut reproduire de mauvais schémas dans l'ensemble d'une base de code, aggravant ainsi les erreurs au lieu de les résoudre. Voici quelques-unes de ses principales recommandations :
- Traitez les invites et les métadonnées comme du code. Elles doivent être contrôlées par version, révisables et réversibles.
- Compartimentez les opérations IA. Limitez les interactions de l'IA avec le pipeline de données afin de maintenir le contrôle.
- Établissez l'observabilité du modèle. Contrôlez les résultats de l'IA au moyen d'évaluations afin de garantir des performances constantes et de détecter les baisses de qualité.
Comme le dit Nick Schrock, l'observabilité des modèles est un domaine qui reste encore à explorer. Peu d'organisations comprennent parfaitement pourquoi les modèles se comportent comme ils le font. Mais l'introduction de cadres de gouvernance et de pratiques de gestion des versions contribue à démystifier les systèmes IA et à poser les bases de la responsabilisation.
Trouver l'équilibre entre vitesse et qualité
Les outils d'IA générative ont réduit le coût de l'expérimentation, permettant aux équipes de prototyper des solutions plus rapidement que jamais. Mais l'itération rapide peut aussi créer des systèmes fragiles qui s'effondrent dans des conditions réelles.
Nick Schrock compare cette tension à des des gratte-ciels : l'IA facilite la construction de bâtiments hauts, mais pas nécessairement stables. Sans fondations solides, les organisations risquent d'étendre l'instabilité plutôt que l'innovation.
Pour avancer rapidement et concevoir de manière fiable, les entreprises doivent adopter la livraison par étapes. Les premiers prototypes sont précieux pour l'apprentissage, mais avant de passer à l'échelle supérieure, les équipes doivent investir dans des modèles de données propres, dans la validation du pipeline et dans des mécanismes d'évaluation qui garantissent la cohérence au fil du temps. La vitesse de l'IA doit être utilisée pour accélérer l'apprentissage, et non pour contourner l'ingénierie des données.
L'avenir de l'IA et de l'ingénierie des données
Malgré tous les bouleversements que promet l'IA, Nick Schrock la considère comme un catalyseur et non comme un remplaçant pour l'ingénierie des données. « Je n'ai jamais été aussi optimiste sur l'ingénierie des données », déclare-t-il. « La valeur sous-jacente de ces systèmes ne peut être exploitée qu'avec une bonne ingénierie. »
L'IA a également le potentiel d'améliorer la collaboration entre les équipes métier et techniques. Il décrit un cas d'usage dans lequel son équipe utilise un bot Slack pour traduire des requêtes en langage naturel en requêtes SQL. Il en résulte un espace partagé où les intervenants non techniques peuvent exprimer leurs besoins en langage clair, et où les ingénieurs peuvent voir exactement comment ces demandes se traduisent en requêtes de base de données.
Ce type de collaboration basée sur l'IA permet de faciliter la communication et d'accélérer la résolution des problèmes. Les utilisateurs métier s'expriment dans le langage propre à leur domaine, tandis que les ingénieurs ont une meilleure visibilité sur la manière dont ce langage s'articule avec le modèle de données. Il s'agit d'un processus d'apprentissage mutuel qui permet d'obtenir de meilleurs résultats.
L'IA pourrait également transformer les infrastructures existantes. Grâce à la possibilité de réécrire et de migrer efficacement le code, les entreprises peuvent moderniser plus rapidement que jamais des systèmes âgés de plusieurs dizaines d'années. Mais là encore, ce potentiel dépend d'une chose : des données prêtes pour l'IA.
Maximiser la valeur de l'IA
Alors que l'engouement pour l'IA ne cesse de croître, les entreprises qui réussiront ne seront pas celles qui présenteront les choses les plus jolies, mais celles qui disposeront des données les plus solides. La préparation des données pour l'IA ne consiste pas à concevoir des systèmes capables de s'adapter, d'être déployés à grande échelle et de générer de la valeur dans un monde où les machines et les humains se partagent de plus en plus les commandes.
Il est temps d'investir dans les éléments moins glamour, mais plus essentiels, de votre stratégie d'IA : la qualité des données, l'ingénierie de contexte, les cadres de gouvernance et la fluidité transversale.