Les modèles de langage actuels sont souvent prolixes, même pour des décisions simples. Cette verbosité entraîne des coûts d’utilisation élevés et des latences importantes, ce qui pose problème pour les entreprises cherchant à intégrer l’IA dans des workflows automatisés. TypeSafe AI, fondée par Diogo Almeida, ancien chercheur chez OpenAI et co-inventeur du RLHF, propose une solution avec Jev, un LLM conçu pour générer des réponses directement exploitables par des applications logicielles ou d’autres modèles d’IA.

Contrairement aux LLMs traditionnels, Jev ne produit pas de longues séquences de tokens en langage naturel. Il prend l’état actuel d’une tâche ou d’un workflow comme entrée et retourne une décision définie, accompagnée de sa probabilité. Cette approche concis réduit les coûts et améliore la rapidité, avec des temps de réponse allant de 70 à 500 millisecondes, contre plusieurs secondes pour les LLMs testés par TypeSafe.

Des économies substantielles David Linthicum, consultant technologique indépendant, souligne que les entreprises utilisent souvent des LLMs généralistes pour des décisions simples, ce qui est inefficace. « C’est comme utiliser un bus d’entreprise complet pour répondre à une question de routage oui/non », explique-t-il. Dans des workflows agentiques, où une tâche peut déclencher de nombreux appels de modèles, les coûts et latences s’accumulent rapidement. Un modèle comme Jev, capable de gérer des décisions bornées via des appels fonctionnels probabilistes, permet aux entreprises de réserver les LLMs généralistes pour les cas nécessitant vraiment leur puissance.

Réduction des efforts d’ingénierie Actuellement, les équipes doivent construire des couches de prompts, schémas, validations et garde-fous pour rendre les sorties des LLMs généralistes suffisamment fiables pour être consommées par des logiciels. Jev pourrait réduire cette charge pour de nombreuses décisions routinières.

Avantages pour les développeurs Advait Patel, senior SRE chez Broadcom, note que cette approche pourrait rendre le flux de contrôle plus explicite et facile à tester. Les développeurs pourraient structurer les applications agentiques en une série de petites décisions avec des sorties définies, permettant au code de l’application de déterminer la suite en fonction de la réponse du modèle.

Des défis à relever Stephanie Walter, practice lead de l’AI stack chez HyperFrame Research, souligne que Jev nécessite une spécification préalable des questions, sorties possibles, seuils et chemins d’escalade. Paul Chada, cofondateur de Doozer AI, ajoute que la probabilité associée à chaque décision ne suffit pas pour expliquer pourquoi le modèle a pris cette décision, ce qui pourrait poser problème dans des industries régulées.

Implications pour les CIOs Les responsables IT devront valider l’exactitude et le calibrage du modèle sur leurs propres données, y compris sa performance dans le temps. La question de l’auditabilité se pose également, notamment pour les décisions automatisées devant être justifiées auprès des régulateurs ou auditeurs.