L’intelligence artificielle générative a une fâcheuse tendance à inventer des réponses plutôt qu’à admettre son ignorance. Ce comportement pose un problème fondamental : les modèles s’appuient souvent sur des données obsolètes ou non fiables, affichant une confiance trompeuse dans leurs réponses erronées.

La solution ne réside pas simplement dans des garde-fous plus stricts. L’Union européenne l’a bien compris en imposant, via son AI Act, le traçage complet de la lignée des données utilisées par les modèles d’IA. Il ne s’agit pas seulement de savoir d’où proviennent les données, mais aussi de comprendre si elles sont à jour, pertinentes ou toujours valides.

Gartner prévoit que 60 % des projets d’IA seront abandonnés en raison de lacunes dans la gestion des métadonnées, la qualité des données et l’observabilité. L’acquisition récente de Confluent par IBM illustre cette prise de conscience croissante de l’importance des données en temps réel, accompagnées de leur lignée et de politiques de gouvernance.

L’approche traditionnelle : un pari risqué

La méthode classique consiste à ajouter métadonnées et validation en aval du pipeline de données. Cette approche, similaire aux architectures lakehouse (bronze, argent et or), suppose que le filtrage progressif améliore la qualité des données. Pourtant, ce processus représente près de 75 % du travail CPU dans l’entraînement des modèles frontaliers. Pire encore, il élimine souvent le contexte crucial pour les applications d’IA générative.

David Aronchick, fondateur de Kubeflow et CEO d’Expanso, souligne l’importance cruciale de conserver les informations sur l’état original des données. « Poursuivre une donnée parfaitement propre est illusoire », affirme-t-il. Chaque ligne de données doit conserver des informations sur sa provenance, sans quoi il devient impossible de les reconstituer ultérieurement.

L’étiquetage en flux : une solution prometteuse

Ulrik Hansen, co-CEO d’Encord, parle d’« étiquetage en flux » comme solution alternative à la purification des données. Il distingue deux aspects du « sale » : les erreurs réelles à corriger et le contexte perdu par normalisation excessive. « La purification élimine les deux », explique-t-il. « L’objectif n’est pas d’arrêter le nettoyage, mais de préserver le contexte irremplaçable. »

Certaines informations sont peu coûteuses à capturer à la source mais impossibles à retrouver ultérieurement. La question n’est pas de savoir si conserver ces données, mais plutôt quelles informations sont réellement utiles.

Des métadonnées riches dès la collecte

Aronchick caractérise les données brutes non validées comme un « déchet toxique ». Prenons l’exemple d’un parc éolien : les données des capteurs contiennent une multitude d’informations contextuelles (position, conditions météo, etc.). Sans ce contexte, il devient difficile d’évaluer l’efficacité réelle des turbines.

Les métadonnées doivent être aussi riches que possible dès la collecte, lorsque les détails sont encore disponibles. Certaines informations devront toutefois être ajoutées ultérieurement, notamment pour des systèmes comme les points de vente qui génèrent des données peu structurées.

Cette approche révolutionnaire pourrait bien redéfinir les standards de qualité des données dans l’industrie de l’IA, en particulier pour les applications génératives où le contexte est roi.