Un chercheur en IA de Samsung vient de démontrer qu’un petit réseau peut surpasser les énormes modèles de langage dans le raisonnement complexe. Comment un modèle de seulement 7 millions de paramètres peut-il battre des géants de l’IA ? Quelles sont les implications pour l’avenir de l’intelligence artificielle ? Cette découverte marque-t-elle la fin de la course à la taille des modèles ?
Remettre en question le dogme du gigantisme en IA
Dans la course à la suprématie en intelligence artificielle, le mantra de l’industrie a souvent été « plus grand, c’est mieux ». Les géants de la tech ont investi des milliards dans la création de modèles toujours plus volumineux. Pourtant, selon Alexia Jolicoeur-Martineau de Samsung SAIL Montréal, une voie radicalement différente et plus efficace est possible avec le Tiny Recursive Model (TRM).
En utilisant un modèle avec seulement 7 millions de paramètres – moins de 0,01% de la taille des LLM leaders – TRM atteint de nouveaux records sur des benchmarks notoirement difficiles comme le test d’intelligence ARC-AGI. Le travail de Samsung remet en question l’hypothèse dominante selon laquelle l’échelle pure est le seul moyen de faire progresser les capacités des modèles IA, offrant une alternative plus durable et économe en paramètres.
Dépasser les limites de l’échelle massive
Bien que les LLM aient montré une prouesse incroyable dans la génération de texte semblable à celui des humains, leur capacité à effectuer un raisonnement complexe en plusieurs étapes peut être fragile. Parce qu’ils génèrent des réponses token par token, une seule erreur tôt dans le processus peut faire dérailler l’ensemble de la solution, conduisant à une réponse finale invalide.
Des techniques comme Chain-of-Thought, où un modèle « pense à voix haute » pour décomposer un problème, ont été développées pour atténuer ce problème. Cependant, ces méthodes sont coûteuses en calcul, nécessitent souvent de grandes quantités de données de raisonnement de haute qualité qui peuvent ne pas être disponibles, et peuvent toujours produire une logique défectueuse. Même avec ces augmentations, les LLM ont du mal avec certains puzzles où une exécution logique parfaite est nécessaire.
TRM : l’approche révolutionnaire de Samsung
Le travail de Samsung s’appuie sur un modèle IA récent connu sous le nom de Hierarchical Reasoning Model (HRM). HRM a introduit une méthode novatrice utilisant deux petits réseaux neuronaux qui travaillent récursivement sur un problème à différentes fréquences pour affiner une réponse. Il a montré une grande promesse mais était compliqué, s’appuyant sur des arguments biologiques incertains et des théorèmes de point fixe complexes qui n’étaient pas garantis de s’appliquer.
Au lieu des deux réseaux de HRM, TRM utilise un seul réseau minuscule qui améliore récursivement à la fois son « raisonnement » interne et sa « réponse » proposée. Le modèle reçoit la question, une supposition initiale de la réponse, et une caractéristique de raisonnement latente. Il parcourt d’abord plusieurs étapes pour affiner son raisonnement latent basé sur les trois entrées. Ensuite, en utilisant ce raisonnement amélioré, il met à jour sa prédiction pour la réponse finale.
Ce processus entier peut être répété jusqu’à 16 fois, permettant au modèle de corriger progressivement ses propres erreurs de manière hautement économe en paramètres.
La surprise de la simplicité
De manière contre-intuitive, la recherche a découvert qu’un réseau minuscule avec seulement deux couches a atteint une bien meilleure généralisation qu’une version à quatre couches. Cette réduction de taille semble empêcher le modèle de sur-apprendre, un problème courant lors de l’entraînement sur des ensembles de données plus petits et spécialisés.
TRM se dispense également des justifications mathématiques complexes utilisées par son prédécesseur. Le modèle HRM original nécessitait l’hypothèse que ses fonctions convergent vers un point fixe pour justifier sa méthode d’entraînement. TRM contourne cela entièrement en effectuant simplement une rétropropagation à travers son processus de récursion complet. Ce changement seul a fourni un énorme gain de performance, améliorant la précision sur le benchmark Sudoku-Extreme de 56,5% à 87,4% dans une étude d’ablation.
Des résultats impressionnants sur les benchmarks d’IA
Les résultats parlent d’eux-mêmes. Sur l’ensemble de données Sudoku-Extreme, qui utilise seulement 1 000 exemples d’entraînement, TRM atteint une précision de test de 87,4%, un bond énorme par rapport aux 55% de HRM. Sur Maze-Hard, une tâche impliquant la recherche de longs chemins à travers des labyrinthes de 30×30, TRM score 85,3% contre 74,5% pour HRM.
Plus particulièrement, TRM fait d’énormes progrès sur le Abstraction and Reasoning Corpus (ARC-AGI), un benchmark conçu pour mesurer la véritable intelligence fluide en IA. Avec seulement 7M de paramètres, TRM atteint une précision de 44,6% sur ARC-AGI-1 et 7,8% sur ARC-AGI-2.
Cela surpasse HRM, qui utilisait un modèle de 27M de paramètres, et dépasse même de nombreux LLM parmi les plus grands au monde. À titre de comparaison, Gemini 2.5 Pro ne score que 4,9% sur ARC-AGI-2. Ces résultats démontrent qu’un modèle compact peut rivaliser avec, voire surpasser, des géants de l’IA consommant des ressources colossales.
Efficacité d’entraînement du modèle Samsung
Le processus d’entraînement pour TRM a également été rendu plus efficace. Un mécanisme adaptatif appelé ACT – qui décide quand le modèle a suffisamment amélioré une réponse et peut passer à un nouveau échantillon de données – a été simplifié pour éliminer le besoin d’un second passage coûteux vers l’avant à travers le réseau pendant chaque étape d’entraînement. Ce changement a été effectué sans différence majeure dans la généralisation finale.
Cette optimisation de l’entraînement des modèles IA démontre que l’efficacité peut être améliorée non seulement au niveau de l’architecture, mais aussi dans les méthodes d’apprentissage elles-mêmes.
Implications pour l’avenir de l’intelligence artificielle
Cette recherche de Samsung présente un argument convaincant contre la trajectoire actuelle des modèles IA en expansion constante. Elle montre qu’en concevant des architectures capables de raisonner itérativement et de s’auto-corriger, il est possible de résoudre des problèmes extrêmement difficiles avec une fraction minuscule des ressources informatiques.
Vers une IA plus durable et accessible
Les implications vont au-delà de la simple performance technique. Un modèle de 7 millions de paramètres consomme considérablement moins d’énergie qu’un LLM de plusieurs milliards de paramètres. Cette efficacité énergétique s’aligne avec les préoccupations croissantes autour de l’empreinte carbone de l’IA et de la durabilité environnementale du secteur technologique.
De plus, des modèles plus petits sont plus faciles à déployer sur des appareils mobiles et dans des environnements avec des ressources limitées, démocratisant potentiellement l’accès aux capacités avancées d’intelligence artificielle.
Repenser l’architecture des modèles IA
Le succès de TRM suggère que l’avenir de l’IA pourrait résider moins dans l’accumulation brute de paramètres que dans la conception intelligente d’architectures récursives et de mécanismes d’auto-amélioration. Cette approche pourrait ouvrir de nouvelles voies de recherche centrées sur l’efficacité algorithmique plutôt que sur la puissance de calcul pure.
Les modèles de raisonnement compacts comme TRM prouvent qu’il est possible d’atteindre une intelligence artificielle de haut niveau sans les infrastructures colossales actuellement requises par les géants du secteur. Cette découverte pourrait redistribuer les cartes dans la course à l’IA, permettant à des acteurs plus modestes de concurrencer les mastodontes technologiques.
Source : Artificial Intelligence News
