Un film se moque de l’endroit où vous regardez. Chaque image était arrêtée avant que vous ne vous asseyiez, et si vous tournez la tête, l’écran continue sans vous. Le dernier système de Google DeepMind fonctionne dans l’autre sens. Tant que vous ne bougez pas, l’instant suivant de son monde n’existe pas. Vous appuyez sur une touche pour avancer, et la rue devant vous s’invente, au fil de vos pas, pour venir à votre rencontre.
Ce système, c’est Genie 4, annoncé le 27 octobre sous la forme d’un aperçu de recherche. Vous décrivez un lieu en une phrase, et il devient un endroit où vous pouvez vous promener, avec sa propre météo, ses propres habitants et, pour la première fois dans la série, ses propres sons. Je veux prendre mon temps, parce que c’est réellement étrange et que les promesses qui l’entourent sont considérables.
Ce qu’est un modèle de monde
La plupart des IA que vous avez croisées jusqu’ici travaillent avec des mots : vous demandez, elles répondent. Un modèle de monde, lui, travaille avec des conséquences. Dans sa publication sur la version précédente, Genie 3, DeepMind décrit ces systèmes comme s’appuyant sur une compréhension du monde pour en simuler certains aspects, afin de prédire comment un environnement va évoluer et comment des actions vont le transformer.
Une façon simple de se le représenter : vous en faites déjà tourner un. Quand vous tendez la main vers une tasse, vous savez à peu près ce qui arrivera si vous la heurtez, avant même de la heurter. Personne ne vous a appris les équations. Vous vous êtes construit un modèle du monde qui fonctionne, à force de l’observer pendant des années, et vous le consultez sans cesse sans vous en apercevoir. Genie fait quelque chose de semblable, puis quelque chose dont vous êtes incapable : il vous montre sa prédiction sous forme d’images animées, et continue aussi longtemps que vous continuez d’agir.
C’est ce qui le distingue des générateurs de vidéo que vous avez peut-être vus. Un outil vidéo produit un clip et vous le remet. Un modèle de monde doit rester avec vous, et répondre à chaque mouvement au moment où il se produit.
Ce que fait Genie 4
Selon l’annonce de DeepMind, signée par Raia Hadsell, Diego Rivas et Hang Qi, vous vous déplacez avec un clavier et une souris ordinaires, et vous pouvez taper des instructions pendant que le monde tourne : changer la météo, déplacer la caméra, ajouter une personne ou un objet. Gemini, le modèle de langage de Google, interprète ces prompts et les intègre à la scène. La publication revendique un photoréalisme plus net et des mouvements plus fluides, une part de physique simulée, comme l’aérodynamique et les collisions, et des personnages qui réagissent à ce qui les entoure.
Le son est une nouveauté. Genie 4 est, selon les mots de DeepMind, son premier modèle de monde en temps réel à générer nativement de l’audio : le craquement des feuilles et la clameur d’une foule naissent avec l’image, au lieu d’y être plaqués après coup. TechCrunch rapporte que cela comprend la musique et des dialogues interactifs.
Il y a aussi un rouage plus discret. Un modèle Gemini joue ce que The Batch appelle le rôle de metteur en scène : il décompose un objectif en étapes, puis examine chaque nouvelle image pour vérifier que l’étape a bien eu lieu. Gardez ce détail en tête. Il comptera plus loin.
Pourquoi vouloir une chose pareille
La première réponse, ce sont les robots. Apprendre à une machine à agir dans le monde physique est lent, coûteux et parfois destructeur, si bien que les chercheurs répètent depuis longtemps d’abord en simulation. DeepMind décrit de premiers travaux avec son équipe Gemini Robotics, dont un humanoïde simulé qui joue aux dames, et la page du modèle présente le résultat comme un terrain de jeu infini pour les simulations robotiques. Des agents logiciels pourraient aussi s’y exercer.
La deuxième réponse est créative. Parmi les usages, DeepMind cite la prévisualisation pour les cinéastes (l’esquisse sommaire d’une scène avant que quiconque ne construise un décor), le prototypage de jeux et la conception visuelle. Diego Rivas a confié à TechCrunch que le temps réel sert surtout à l’idéation rapide et au storyboard, là où il importe de rester dans l’élan créatif.
La troisième réponse est la plus ambitieuse. La page du modèle de DeepMind qualifie la simulation de mondes d’étape clé sur le chemin de l’AGI, cette intelligence large, semblable à celle des humains, que la discipline poursuit depuis longtemps. Le raisonnement : un esprit capable de se représenter ce qui va se passer, avant d’agir, possède quelque chose qui manque à un esprit qui ne manie que des mots. C’est un argument sérieux. Pour l’instant, cela reste un argument, et non un résultat.
Ce qu’il ne fait pas encore
Ici, la liste honnête est longue et, il faut le reconnaître à DeepMind, une bonne partie vient de DeepMind elle-même. Sa page indique que les détails visuels et la permanence des objets peuvent se modifier ou dériver avec le temps, surtout lors de sessions longues ou après plusieurs modifications. Un texte lisible n’apparaît en général que si vous l’avez demandé. Les lieux réels ne peuvent pas être reproduits fidèlement, la justesse du son est encore en chantier, et les interactions entre plusieurs agents indépendants restent un problème de recherche ouvert.
La durée pendant laquelle un monde tient debout est moins claire. La page de DeepMind parle de quelques minutes d’interaction continue ; TechCrunch rapporte des scènes qui restent cohérentes jusqu’à deux minutes. Dans un cas comme dans l’autre, ce sont de courtes visites.
Il n’existe aucun rapport technique, et Google n’a publié aucune évaluation chiffrée, seulement des démonstrations qu’il a lui-même choisies. The Batch en a examiné une de près : un buste de marbre lâché sur une pastèque s’y pose sagement, sur son socle, alors qu’il aurait dû basculer. Sa rédaction s’est demandé si le metteur en scène Gemini, qui vérifie la réussite de chaque étape, n’avait pas poussé le monde vers le résultat voulu. Pour un simulateur destiné aux robots, c’est la question qui compte le plus. Une machine apprend des plans qui échouent, et un monde qui aide en silence chaque plan à réussir ne lui apprend rien sur la chute.
Enfin, presque personne ne peut l’essayer. Genie 4 n’est ouvert qu’à des testeurs de confiance. Google annonce un accès prochain pour les abonnés de Google AI Ultra, par le biais de Project Genie, et pour les premiers partenaires de l’API Gemini et de Google AI Studio ; une liste d’attente est ouverte. Tout ce que le système génère portera SynthID, le filigrane invisible de Google.
Je m’aperçois que la question de savoir si Genie 4 peut construire un monde convaincant m’intéresse moins que celle de savoir s’il peut en construire un qui sache dire non. Tout monde dont on peut apprendre quelque chose doit accepter de vous laisser faire tomber la tasse.
Sources
Genie 4: A new generation of world simulation, Google DeepMind
Genie 3: A new frontier for world models, Google DeepMind
Google's Genie 4 world model adds audio, more realistic worlds, and real-time steering, TechCrunch
World Models Become Robot Playgrounds, The Batch (DeepLearning.AI)



