Pourquoi Yann LeCun veut « redresser » la façon dont les IA imaginent le futur ?

Avant d’agir, un robot équipé d’un world model se projette : il simule ce qui arriverait s’il poussait tel objet ou prenait tel couloir. Une équipe de NYU coencadrée par Yann LeCun montre que cette simulation interne suit des trajectoires tordues, qui faussent les calculs. En les redressant, les taux de réussite en planification grimpent nettement.

Un papier de recherche, pas un produit

Le travail est signé Ying Wang, Oumayma Bounou, Gaoyue Zhou, Randall Balestriero, Tim G. J. Rudner, Yann LeCun et Mengye Ren, chercheurs de NYU, de Brown et de l’université de Toronto. Mis en ligne en mars 2026 puis révisé le 11 août, il est consultable dans sa publication sur arXiv, et le code est public sur la page du projet.

Une précision s’impose : ce papier sort du laboratoire universitaire de LeCun à NYU, pas d’AMI Labs, la start-up parisienne qu’il préside depuis son départ de Meta. Mais il creuse exactement le sillon sur lequel AMI Labs a levé 1,03 milliard de dollars en mars 2026, selon TechCrunch : les world models de type JEPA.

World model, JEPA : de quoi parle-t-on ?

Un grand modèle de langage, comme ceux que conçoivent OpenAI, Anthropic ou désormais OVHcloud avec son propre LLM, prédit le mot suivant. Un world model prédit l’état suivant du monde : ce que la caméra verra après une action donnée.

LeCun défend depuis 2022 l’architecture JEPA (Joint-Embedding Predictive Architecture). Plutôt que de prédire chaque pixel de l’image future, elle compresse l’image en une représentation abstraite, appelée espace latent, et fait ses prédictions dans cet espace, en laissant de côté les détails imprévisibles.

Pour planifier, le système encode l’image de départ et l’image du but, puis cherche la suite d’actions qui rapproche sa prédiction finale du but. Il ajuste ces actions pas à pas par descente de gradient, la méthode qui sert déjà à entraîner les réseaux de neurones. Le critère de réussite est simple : la distance en ligne droite, dans l’espace latent, entre l’état prédit et l’objectif.

Le problème : planifier sur une carte froissée

Plusieurs world models récents, comme DINO-WM, réutilisent un encodeur visuel pré-entraîné : DINOv2, publié par Meta. Il reconnaît très bien ce qu’il voit, mais il n’a pas été conçu pour planifier. Quand un agent avance tout droit dans le monde simulé, sa trajectoire dans l’espace latent fait des zigzags.

Là, le critère de distance se met à mentir. Deux états peuvent sembler voisins dans l’espace latent alors qu’il faut un long détour pour passer de l’un à l’autre. Pensez à une carte routière froissée : deux villes qui se touchent sur le papier plié peuvent se trouver à 500 kilomètres par la route.

La descente de gradient se perd alors dans des impasses. Pour compenser, les équipes se rabattent sur des méthodes par échantillonnage comme CEM, qui testent des centaines de suites d’actions au hasard et gardent les meilleures. Le résultat tient la route, mais coûte cher : dans les essais des auteurs, CEM réglé sur 200 échantillons et 10 itérations tourne environ dix fois plus lentement que la descente de gradient.

L’idée empruntée à la vision humaine

En 2019, les neuroscientifiques Olivier Hénaff, Robbe Goris et Eero Simoncelli ont formulé dans Nature Neuroscience l’hypothèse du « redressement perceptuel » : notre système visuel convertirait les vidéos du monde réel, aux trajectoires complexes, en représentations internes plus rectilignes, donc plus faciles à extrapoler.

L’équipe de NYU transpose cette idée aux machines. Pendant l’entraînement, elle prend trois images consécutives, calcule les deux déplacements correspondants dans l’espace latent et pénalise l’angle qui les sépare. Si l’agent va tout droit, sa représentation doit aller tout droit. Cette pénalité s’ajoute à l’objectif de prédiction habituel du JEPA, avec un coefficient de dosage fixé à 0,1 dans la plupart des essais.

Deux constats en ressortent. L’entraînement JEPA redresse déjà un peu les trajectoires de lui-même, puisqu’il favorise des représentations faciles à prédire. Et la pénalité explicite renforce nettement cet effet. Les cartes de distance tracées dans les labyrinthes le rendent visible : après redressement, la distance latente au but suit le nombre minimal de pas nécessaires pour l’atteindre, alors que le modèle n’a vu à l’entraînement que des trajets aléatoires, jamais des chemins optimaux.

Côté théorie, les auteurs démontrent, dans un cas simplifié à dynamique linéaire, que des transitions plus droites rendent le problème d’optimisation mieux conditionné, donc plus rapide à résoudre par gradient.

Les résultats : jusqu’à 94 % de réussite contre 35 %

Les tests portent sur quatre environnements simulés : Wall (deux pièces reliées par une porte étroite), deux labyrinthes PointMaze de difficulté croissante et PushT, où un agent doit pousser un bloc en forme de T jusqu’à une position cible. La référence est DINO-WM, qui planifie directement dans l’espace DINOv2. Chaque score porte sur 50 épisodes de test, avec un planificateur par descente de gradient.

En boucle ouverte, le plan est calculé une fois puis exécuté à l’aveugle. En MPC (commande prédictive), le système replanifie après chaque action. La version redressée garde DINOv2 figé et ajoute un petit projecteur qui ramène ses caractéristiques de 384 à seulement 8 canaux, sans perte de performance. Monter à 128 canaux fait même baisser les scores : un espace plus compact se prédit et s’optimise plus facilement.

Un test pique la curiosité. Dans une variante du labyrinthe baptisée Teleported-PointMaze, toucher le mur de droite renvoie l’agent instantanément à gauche. Deux positions très différentes à l’image deviennent alors voisines en nombre de pas. Le modèle redressé exploite ce raccourci pour atteindre sa cible, quand le modèle sans redressement reste coincé dans un coin. Signe que la représentation apprise encode la dynamique du monde, pas seulement son apparence.

Les auteurs ont aussi comparé leur pénalité à deux techniques voisines, le lissage temporel et l’apprentissage contrastif temporel : aucune n’atteint les mêmes gains sur PushT.

Pourquoi ce papier compte au-delà du labo

Le débat oppose deux visions de l’IA. D’un côté, les acteurs qui misent sur des modèles de langage toujours plus grands, comme Nvidia avec Nemotron 3.5 et ses 74 milliards de paramètres. De l’autre, LeCun, pour qui le langage ne suffira pas : une IA capable d’agir dans le monde physique doit d’abord se le représenter.

Les agents d’aujourd’hui, à l’image de Claude Duet qui agit dans vos applications, manipulent des logiciels. Les world models visent les robots, les véhicules, les usines, où chaque action a des conséquences physiques qu’il faut anticiper. Rendre la planification par gradient fiable, c’est aussi la rendre moins gourmande en calcul, un point qui compte pour un robot qui embarque sa propre puce.

Ce papier s’inscrit dans un flux continu de travaux JEPA. En octobre 2026, LeCun et Balestriero cosignaient encore H-JEPA, un world model hiérarchique qui planifie à plusieurs échelles de temps. L’équipe parisienne d’AMI Labs, elle, ne promet aucun produit commercial à court terme et se présente d’abord comme un laboratoire de recherche.

Ce qui reste à prouver avant de voir des robots planifier ainsi

Les environnements testés sont des mondes 2D visuellement dépouillés. Dès que l’objectif s’éloigne à 50 pas au lieu de 25, les scores chutent : sur PushT, le meilleur résultat plafonne à 36 % en MPC, car les erreurs de prédiction s’accumulent et l’imagination du modèle dérive de la réalité.

Les auteurs pointent une autre limite : leur critère de distance est symétrique, alors que beaucoup d’actions réelles sont irréversibles. Aller de A à B n’a pas le même coût que revenir de B à A quand on vient de renverser un verre. La suite logique consiste à tester le redressement sur des vidéos réelles et sur des bras robotiques, là où les world models de LeCun devront faire leurs preuves face aux modèles de langage qui, eux, sont déjà en production.