Les benchmarks d’IA pour les entreprises doivent aller au-delà des performances théoriques. Ils doivent survivre à la réalité complexe des environnements de production.

L’IA d’entreprise ne se résume pas à la qualité des modèles. La vraie difficulté réside dans l’accès aux données pertinentes, leur intégration et leur gouvernance. Cette réalité a conduit à la création de l’Enterprise-Bench, un benchmark conçu pour refléter les conditions réelles des systèmes d’IA en entreprise.

Le vrai défi de l’IA en entreprise

Contrairement aux idées reçues, le principal obstacle n’est pas la capacité des modèles à raisonner. Les modèles actuels peuvent généralement répondre à des questions commerciales simples lorsqu’ils disposent des informations appropriées. Le véritable défi est de leur fournir le contexte nécessaire sans reconstruire l’ensemble de l’entreprise à chaque requête.

L’importance du contexte

Un exemple illustre bien cette problématique : répondre à la question « Quels clients sont affectés par ce bug et quel est son impact ? » nécessite de connecter un ticket de support à une pièce produit, puis à un problème technique, tout en identifiant les comptes clients concernés dans le CRM. Le modèle ne peut raisonner que sur ce que le système peut trouver, connecter et exposer en toute sécurité.

Les pièges des benchmarks traditionnels

Les évaluations actuelles d’IA en entreprise ont tendance à confondre les échecs d’intégration avec des échecs de modélisation. Par exemple, un modèle peut deviner parce que deux applications nomment différemment le même produit, ou il peut manquer un client parce que la relation entre un ticket et une opportunité n’existe que par l’intermédiaire d’un troisième objet.

La révélation de l’échelle

Pour tester ces hypothèses, nous avons modélisé une entreprise de paiements de taille moyenne avec 42 comptes clients, 40 pièces produits et cinq systèmes interconnectés. Nous avons ensuite augmenté le volume de données environnant jusqu’à 256 fois sans changer la réponse correcte. À petite échelle, environ 40 % des données disponibles étaient pertinentes pour une tâche. À grande échelle, seulement 0,16 % l’étaient.

L’architecture de récupération

L’augmentation du bruit révèle les faiblesses des architectures de récupération. Si la précision chute à mesure que les données irrelevantes augmentent, l’architecture de récupération est devenue moins efficace. Les entreprises peuvent détenir des trillions de tokens à travers les historiques clients, produits, employés et services. Même une fenêtre de contexte d’un million de tokens est un espace de travail, pas une mémoire organisationnelle.

Le harnais : plus important que le modèle

La plupart des systèmes d’IA en entreprise commencent de manière fédérée, connectant un CRM, une plateforme de support et un suivi des problèmes via des API. Cela fonctionne pour la découverte, mais échoue dès qu’une question couvre l’ensemble du modèle opérationnel de l’entreprise. Le harnais, qui inclut la mémoire et la récupération, est donc crucial.

L’IA d’entreprise ne se limite pas à l’achat de modèles plus performants. Elle nécessite une architecture robuste pour gérer le contexte, les relations et les permissions de manière efficace.