Une vidéo d’un monde généré peut être impressionnante et parfaitement inutile dès qu’on veut déplacer une maison de trois mètres.

WorldClaw, un projet de recherche de Tencent Hunyuan3D publié début août, essaie de travailler sur ce problème précis : produire depuis un prompt un monde 3D qui reste composé d’objets, de terrain et de transformations explicites.1

L’objectif n’est donc pas seulement d’obtenir une caméra qui peut se promener dans une illusion convaincante. Les objets générés doivent rester manipulables séparément pour pouvoir être déplacés, réutilisés ou envoyés vers un moteur de jeu.1 2

C’est une différence moins spectaculaire dans une démo. Pour fabriquer quelque chose après la démo, elle compte énormément.

Le monde est construit en deux résolutions

WorldClaw ne tente pas de générer chaque caillou avec le même niveau de détail dès le début.

Un premier agent transforme le prompt en une spécification structurée : régions, types de terrain, objets, apparence et relations spatiales.1

Le système construit ensuite la structure globale. Une carte sémantique répartit les zones et un champ de hauteur combine élévation, bruit et opérateurs de relief pour produire montagnes, dunes, terrasses ou autres formes. Les matériaux et les assets de terrain sont associés aux régions correspondantes.1

Le détail local arrive ensuite.

Pour les régions qui en ont besoin, WorldClaw génère une composition 2D conditionnée par le terrain, segmente les objets, les reconstruit comme meshes texturés puis retrouve leur position et leur orientation dans le monde.1

Le système garde ainsi un terrain global cohérent tout en réservant le travail coûteux aux endroits qui ont besoin d’objets détaillés.

Un arbre reste un arbre, pas une tache dans une vidéo

Le papier insiste sur la représentation explicite.

Chaque objet local possède son mesh, ses attributs et une transformation de placement. Un agent de raffinement rend la scène, inspecte le résultat puis corrige pose, taille, orientation ou contact avec le terrain avant de rendre à nouveau.1 2

Un objet qui flotte peut donc être replacé. Une maison trop grande peut changer d’échelle. Un élément mal orienté peut tourner sans demander de régénérer toute la scène.

C’est l’avantage historique de la 3D traditionnelle : la scène est une structure manipulable, pas uniquement une apparence.

Les générateurs d’images et de vidéos ont rendu très facile la production d’une apparence. WorldClaw essaie de remettre la structure dans la boucle.

La planification devient une interface entre agents

Le prompt de départ peut rester vague : un village médiéval entre montagnes enneigées, eau, plaine et désert, par exemple.2

WorldClaw le transforme d’abord en représentation intermédiaire que les étapes suivantes peuvent lire. Le papier décrit des contraintes de terrain, des régions, des catégories d’objets et leurs relations.1

Cette spécification joue un rôle proche d’un fichier de scène conceptuel. Elle évite que chaque agent doive réinterpréter le prompt depuis zéro.

C’est probablement l’idée la plus transférable du système.

Quand plusieurs agents participent à une fabrication complexe, leur faire partager une structure explicite peut être plus utile que leur faire partager uniquement la consigne originale en langage naturel.

Le terrain devient alors un contrat spatial. Les régions deviennent des unités de travail. Les objets locaux arrivent ensuite comme composants séparés.

Le papier montre des résultats, pas un outil disponible

Il faut calmer la démo à cet endroit.

WorldClaw est actuellement un projet de recherche. Le dépôt GitHub public contient le README, une image du pipeline et un teaser. Il ne contient pas, au moment de notre vérification, l’implémentation permettant de reproduire le système.3

Les comparaisons du papier sont principalement qualitatives et les résultats viennent de l’équipe qui propose la méthode.1

On ne peut donc pas dire aujourd’hui qu’un artiste peut installer WorldClaw et produire son prochain jeu avec.

Même les visuels du site officiel ne sont pas fournis comme assets libres : Tencent indique que ses contenus visuels restent protégés et qu’aucune licence n’est accordée sauf mention contraire.2

La recherche montre une architecture. Elle ne livre pas encore un pipeline créatif reproductible.

Générer une vue et générer un monde ne sont pas le même travail

Cette limite n’enlève pas l’intérêt de la direction.

Une image est excellente pour explorer une ambiance. Une vidéo peut suggérer une promenade. Mais une production 3D demande ensuite des opérations très terre-à-terre : bouger un objet, changer sa taille, remplacer son matériau, modifier un chemin, envoyer la scène dans un moteur physique ou demander à un personnage d’éviter un rocher.

Pour ça, il faut que le rocher existe comme objet.

WorldClaw construit précisément autour de cette contrainte. Le terrain fournit la cohérence globale. Les régions donnent un découpage. Les meshes séparés redonnent une prise locale au créateur.1

Ce déplacement me paraît plus intéressant que la qualité pure des screenshots.

Le futur de la génération 3D ne se jouera probablement pas uniquement sur la question « est-ce que ça ressemble à un monde ? ».

Il faudra aussi répondre à une question beaucoup moins photogénique : est-ce que je peux encore travailler dedans après l’avoir généré ?