Les avertissements récents de la Banque d’Angleterre sur les agents IA autonomes ont mis en lumière un défi crucial pour les institutions financières : comment intervenir de manière sécurisée lorsqu’un système d’IA se comporte de façon imprévue ? Si les discussions ont souvent porté sur les interrupteurs d’urgence, Cameron Etezadi, CTO de LaunchDarkly, plaide pour une approche plus nuancée : la surveillance et le contrôle en temps réel.
L’évolution des modes de défaillance
Etezadi souligne que l’IA a transformé la nature même des défaillances. Contrairement aux logiciels traditionnels, déterministes et prévisibles, les systèmes d’IA sont dynamiques. Une même question peut générer des réponses différentes, et le comportement peut évoluer via le model drift, même sans mise à jour du code. Cette variabilité n’est pas un défaut, mais une caractéristique clé de la technologie.
Le défi réside donc dans l’équilibre entre prévisibilité et créativité. Des paramètres comme la température permettent de moduler ce compromis, mais ils ne suffisent pas à garantir un comportement conforme aux attentes. Les tests en pré-production, bien que nécessaires, ne peuvent plus être le seul garant de la sécurité, surtout dans des contextes comme le service client ou la recherche, où les données non structurées abondent.
Contrôle en temps réel : l’alternative aux interrupteurs d’urgence
Etezadi ne rejette pas les interrupteurs d’urgence, qu’il considère comme une dernière ligne de défense. Cependant, il insiste sur l’importance des contrôles en temps réel pour intervenir progressivement et précisément.
Prenons l’exemple d’un chatbot de compagnie aérienne qui commencerait à donner des conseils de codage, ou d’un agent de recherche confondant Chaucer et Wilde. Dans ces cas, des garde-fous en temps réel permettent de surveiller les sorties et d’orienter le comportement du système.
Pour illustrer son propos, Etezadi utilise l’analogie d’une voiture. En circulation normale, on utilise la pédale de frein pour s’adapter, plutôt que le frein à main. De même, les organisations peuvent ajuster les permissions d’un agent, resserrer les seuils, limiter les volumes de transactions ou rediriger les activités vers un modèle plus sûr.
Le déploiement progressif : une solution partielle
Le déploiement progressif est un autre pilier de la stratégie de contrôle en temps réel. Etezadi reconnaît toutefois ses limites : un système peut paraître sain à 1 % d’exposition simplement parce qu’il n’a pas encore rencontré les conditions déclenchant la défaillance.
Un exemple concret illustre ce propos : une infrastructure apparemment stable peut être submergée par une soudaine affluence de connexions, dépassant sa capacité et provoquant une panne. La leçon ? Le pourcentage de déploiement ne doit pas être le seul critère de contrôle.
Conclusion : une approche holistique
Etezadi préconise une surveillance proactive et des boucles de rétroaction centrées sur les indicateurs clés : charge, latence, coût, qualité, erreurs et capacité. Ces éléments permettent d’ajuster les ressources, de pauser un déploiement ou de réduire l’exposition en temps réel.
En somme, la gestion des IA ne se limite pas à des interrupteurs d’urgence. Elle exige une combinaison de contrôles en temps réel, de déploiements progressifs et de surveillance proactive pour garantir sécurité et efficacité.