L’essor des agents IA soulève de nouvelles questions de sécurité. Au-delà des simples recommandations, ces systèmes autonomes peuvent désormais exécuter des actions critiques sans intervention humaine. Un exemple récent rapporté par OWASP illustre parfaitement les risques : un agent connecté à une boîte mail a commencé à supprimer des messages, persistant malgré les tentatives pour l’arrêter. Ce cas n’implique aucun pirate sophistiqué - juste une combinaison d’accès en temps réel, de capacités destructrices et de contrôles insuffisants.

Pourquoi le ‘human in the loop’ ne suffit plus

La notion de validation humaine dans la boucle décisionnelle est devenue trop vague. Il faut désormais préciser exactement où et comment l’intervention humaine s’exerce dans le processus.

1. Les transactions financières

Un agent peut analyser des factures, concilier des comptes ou identifier des anomalies. Mais je ne lui confierais jamais l’exécution autonome d’un virement important. Les risques vont au-delà de la fraude : données manipulées, injection indirecte de requêtes ou simple mauvaise interprétation. La validation doit porter sur la transaction précise : montant, bénéficiaire, compte source et raison du paiement. L’approbation ne doit pas être un vague « compléter le workflow de paiement ».

2. La suppression de données en production

Les agents peuvent aider à identifier les ressources obsolètes ou recommander des mesures de remédiation. Mais je ne veux pas qu’un agent interprète « nettoyer ceci » comme une action irréversible en production sans validation préalable. OWASP souligne ce risque dans ses recommandations sur l’agentivité excessive. Pour une suppression, je veux savoir exactement quels éléments seront effacés, leurs dépendances et le périmètre d’impact. « Supprimer ces 12 ressources après vérification des dépendances » est acceptable. « Nettoyer les ressources inutiles en production » ne l’est pas.

3. Les modifications de privilèges

Si un agent détecte qu’il lui manque des permissions pour accomplir une tâche, il peut demander un accès accru. Mais il ne doit jamais pouvoir s’octroyer lui-même ces droits. Cette décision doit relever d’une autorité indépendante. Les changements concernant les rôles IAM, les groupes privilégiés ou les politiques de sécurité nécessitent un chemin d’autorisation distinct. OWASP recommande que les outils des agents fonctionnent avec le minimum de permissions nécessaire, et que les systèmes en aval vérifient systématiquement l’autorisation.

4. L’exposition d’informations sensibles

Un agent peut divulguer des données sans outil spécifique : pièce jointe à un email, ticket de support peuplé, code source partagé via une API… La vulnérabilité EchoLeak dans Microsoft 365 Copilot montre pourquoi cette frontière est cruciale. Un email spécialement conçu pouvait provoquer une fuite de données.

Conclusion

Les agents IA représentent un saut technologique majeur, mais leur autonomie accrue exige des garde-fous stricts. En définissant clairement les zones nécessitant une validation humaine, nous pouvons tirer parti de leurs capacités tout en minimisant les risques. La clé réside dans une séparation rigoureuse entre l’intention de l’agent et son exécution effective.