Talkie, le nouveau modèle de langage qui plonge ses racines dans les années 1930, vient de faire son apparition. Ce projet ambitieux, porté par des figures emblématiques du domaine, promet de révolutionner notre compréhension des modèles linguistiques historiques.

Développé par Nick Levine, David Duvenaud et Alec Radford – des noms qui résonnent dans le monde de l’intelligence artificielle –, Talkie se distingue par son approche unique. Le modèle base, talkie-1930-13b-base, pèse 53,1 Go et a été entraîné sur 260 milliards de tokens de textes anglais pré-1931. Quant à talkie-1930-13b-it, une version fine-tunée de 26,6 Go, elle est conçue pour des interfaces de chat et peut être testée en direct sur le site officiel.

L’un des aspects les plus fascinants de Talkie réside dans son potentiel de recherche. Les créateurs explorent des questions intrigantes : ces modèles peuvent-ils prédire l’avenir ? Inventer des concepts au-delà de leur période de connaissance ? Programmer en Python ? Autant de pistes qui ouvrent des horizons inédits dans le domaine de l’IA.

Un défi majeur : éviter la contamination temporelle

L’entraînement de Talkie a été un véritable casse-tête pour éviter toute contamination par des textes postérieurs à 1931 ou par l’influence des modèles modernes utilisés pour le fine-tuning. Les développeurs ont dû naviguer avec précision pour maintenir l’authenticité historique du modèle.

Le projet Talkie s’inscrit dans une tendance plus large des « modèles vegans », entraînés exclusivement sur des données libres de droits ou sous licence. Bien que le modèle base soit entièrement conforme à cette philosophie, la version chat utilise des modèles modernes pour l’optimisation des préférences, ce qui introduit une certaine ambiguïté.

Vers un avenir sans anachronismes

Les créateurs de Talkie aspirent à éliminer progressivement cette dépendance aux modèles modernes. Leur objectif est de développer un pipeline d’entraînement entièrement autonome, utilisant des modèles vintage comme juges. Une avancée qui pourrait bien redéfinir les standards de l’IA historique.

Pour tester les limites de Talkie, un utilisateur a soumis une requête classique : générer un SVG d’un pélican faisant du vélo. La réponse ? Une œuvre datant de 1860, preuve que Talkie sait puiser dans son répertoire historique pour des créations originales.

Talkie représente bien plus qu’un simple modèle de langage. C’est une fenêtre ouverte sur le passé, un outil pour explorer les possibilités infinies de l’IA historique.