L’explosion de l’IA générative a un prix : celui des tokens. Ces unités fondamentales de données, qui mesurent et tarifient l’utilisation des modèles linguistiques, deviennent un enjeu majeur pour les entreprises. Face à des coûts exponentiels – certains dépassant même le demi-milliard de dollars –, les acteurs technologiques innovent pour optimiser leurs dépenses sans sacrifier la performance.

Des modèles plus économiques comme solution immédiate

L’une des pistes les plus évidentes est le recours à des modèles moins coûteux. Google, par exemple, mise sur Gemini 3.5 Flash, offrant des capacités comparables à ses modèles phares pour moins de la moitié du prix. Sundar Pichai, CEO de Google, souligne que cette approche pourrait permettre des économies substantielles. Ces modèles générent des tokens moins chers et suffisent pour de nombreux cas d’usage, même s’ils ne rivalisent pas avec la puissance des LLM principaux.

Optimiser l’infrastructure : hardware, software et architecture

La gestion des tokens ne se limite pas aux modèles. L’infrastructure joue un rôle clé. DevRev, par exemple, développe une couche de mémoire intermédiaire entre les agents d’IA et les bases de données principales (comme Salesforce ou ERP), réduisant ainsi le consommation de tokens. Cette approche améliore aussi la précision et la sécurité des traitements.

NetBrain adopte une stratégie similaire en utilisant la computation traditionnelle pour le mapping des réseaux, n’envoyant aux modèles que les informations essentielles. Leur CTO explique : « Ainsi, on n’a pas à gaspiller des tokens inutiles. »

L’efficacité des prompts, un levier sous-estimé

ManpowerGroup a démontré qu’une optimisation des prompts pouvait réduire significativement le nombre de tokens utilisés. Leur outil interne pour l’analyse du marché du travail est passé de dix questions supplémentaires à seulement quatre en un an, grâce à des prompts plus efficaces.

Le hardware local comme alternative aux coûts cloud

Le développement de hardware local capable d’exécuter des modèles d’IA pourrait aussi alléger la facture. Nvidia et Microsoft ont présenté RTX Spark, un PC de bureau avec IA agentive permettant d’exécuter des modèles locaux sans mesure d’usage. Cette solution pourrait révolutionner l’accès à l’IA en entreprise.

Des équipes dédiées pour des systèmes optimisés

Chez AWS, Taimur Rashid souligne l’importance d’équipes spécialisées dans la conception de systèmes prenant en compte les coûts des tokens dès le départ. Ces équipes pourraient utiliser des modèles différents ou des cas d’usage plus efficaces pour réduire les dépenses.

Vers un modèle basé sur les résultats

À moyen terme, la mesure de l’efficacité des modèles pourrait évoluer. Gartner anticipe un passage d’un modèle basé sur les tokens à un modèle basé sur les résultats. Deepak Seth, analyste chez Gartner, note que certaines entreprises adoptent déjà cette approche de tarification.

L’enjeu des tokens illustre les défis économiques de l’IA. Entre optimisation des modèles, amélioration des infrastructures et innovation hardware, les solutions existent pour maîtriser ces coûts tout en conservant la puissance de l’intelligence artificielle.**