Les dirigeants IT face à un défi de gouvernance sans précédent

Alors que l’ère des agents autonomes s’annonce, les responsables IT découvrent avec inquiétude les défis de gouvernance qui l’accompagnent. Une étude récente révèle que 66% des CIOs et CTOs se sentent responsables de systèmes d’IA qu’ils ne contrôlent pas entièrement, tandis que 70% constatent que leurs organisations déploient des technologies plus rapidement que leur équipe IT ne peut les suivre.

Une explosion des agents d’IA sans contrôle centralisé

D’ici un an, les CIOs anticipent une augmentation de 38% du nombre d’agents d’IA déployés dans leurs organisations. Pourtant, seulement 10% des dirigeants IT se déclarent prêts à gérer cette croissance exponentielle. Cette situation crée un écart alarmant entre la responsabilité et le contrôle effectif des systèmes.

Matt Lyteson, CIO de la transformation technologique chez IBM, souligne que de nombreuses entreprises encouragent désormais plusieurs employés à développer des agents d’IA. « Les politiques actuelles facilitent la création de solutions par un plus grand nombre de personnes, pas seulement par l’équipe IT », explique-t-il. Cette démocratisation pose cependant des problèmes majeurs de gouvernance.

Le paradoxe de l’innovation non régulée

Ben Schein, chief AI and analytics officer chez Domo, met en lumière les tensions créées par cette situation. « Lorsque des outils d’IA sont déployés sans le contrôle de l’IT, cela crée un déséquilibre dans l’entreprise », déclare-t-il. Les CIOs sont souvent dans l’incapacité de suivre ces déploiements, qui se multiplient à un rythme effréné.

« L’enjeu n’est pas que l’IA est déployée de manière irresponsable, mais qu’elle est adoptée plus vite que les modèles de gouvernance ne peuvent s’adapter », précise Schein. Des outils sont ainsi connectés à des workflows, utilisés pour nettoyer des données ou avoir accès à des bases clients, sans que l’IT en ait connaissance.

La gouvernance de l’IA : une question de visibilité et de contrôle

Pour Schein, la solution réside dans l’observabilité. « Peut-on voir ce que fait l’IA ? » interroge-t-il. Il compare les agents d’IA à des employés virtuels dont il faut suivre les actions, l’accès aux données, la production et les coûts. « Les CIOs qui réussiront dans les 24 prochains mois sont ceux qui intégreront observabilité et politique d’enforcement au même niveau que les données existantes », affirme-t-il.

Aatish Salvi, CTO chez Applause, partage cette analyse. « Nous constatons que des workflows et produits d’IA sont développés à un rythme effréné dans tous les secteurs, mais sans cadre de gouvernance adapté », observe-t-il. Le problème réside souvent dans le fait que des employés hors de l’IT déploient ces agents sans expertise technique suffisante.

Le danger des systèmes autonomes non régulés

Salvi souligne que cette situation conduit à une production rapide mais de médiocre qualité, avec des risques accrus d’erreurs. Itai Schwartz, cofondateur et CTO chez MIND, ajoute que sans garde-fous, ces agents fonctionnent souvent sans supervision. « Chaque outil d’IA devrait avoir un propriétaire responsable », note-t-il, mais précise que leur nature non déterministe complique cette attribution de responsabilité.

Conclusion : vers une gouvernance proactive

Plutôt que de freiner les déploiements d’IA, la solution réside dans des outils de visibilité et d’enforcement qui permettent à l’IT de suivre le rythme. Les entreprises doivent intégrer des cadres de gouvernance dès la conception, pour éviter les problèmes de sécurité, conformité et qualité qui émergent actuellement.