La question « est-ce qu’un agent sait utiliser un logiciel ? » commence à devenir intéressante quand la démo s’arrête et qu’il reste une trace à examiner.

Dans un logiciel CAD, une tâche n’est pas seulement une suite de clics : il faut reconnaître une intention géométrique, choisir une opération, gérer les contraintes, produire un solide exécutable, puis garder un modèle que quelqu’un pourra modifier ensuite. CADBench prend ce problème par l’évaluation, avec 18 000 échantillons, six familles de benchmark, cinq modalités d’entrée et six métriques pour mesurer la génération de programmes CAD éditables.12 À côté, un papier sur Task Model Induction part de traces d’usage d’ordinateur — captures, souris, clavier — pour retrouver les tâches suivies et les rendre auditables.4 Microsoft Skill Recorder transforme, lui, une session de travail enregistrée en intention, étapes ordonnées, puis Skill ou Automation pour agent.5

Ce ne sont pas trois annonces identiques. Elles posent pourtant la même contrainte : avant de confier un outil professionnel à un agent, il faut pouvoir relire ce que le travail observé devient.

Le CAD révèle vite le bluff

CADBench se concentre sur la reconstruction de programmes CAD éditables à partir d’images ou d’observations 3D, et cette différence compte beaucoup. Produire un mesh plausible n’est pas la même chose que produire un programme CAD qui s’exécute, génère un solide valide et reste compact.2

Le benchmark regroupe des familles dérivées de DeepCAD, Fusion 360, ABC, MCB et Objaverse, avec des maillages propres, des maillages bruités, des rendus mono-vue, des rendus multi-vues et des rendus photoréalistes; la page Hugging Face expose aussi cette structure en 18 000 lignes et six splits.3 Les métriques couvrent l’IoU volumétrique, la Surface IoU, la distance de Chamfer, le taux de formes valides, le nombre de tokens et le nombre d’opérations.12

Un simple score visuel cacherait trop de choses. Un agent peut dessiner quelque chose qui ressemble à la pièce, tout en produisant un code CAD inutilisable; il peut aussi obtenir une bonne superposition globale mais rater les détails de surface ou multiplier les opérations inutiles. CADBench rend ces fautes séparables.

Les résultats cités dans le papier montrent aussi pourquoi le sujet compte : sous entrées idéalisées, les méthodes spécialisées mesh-to-CAD dominent nettement les modèles vision-langage généralistes, mais elles peuvent devenir fragiles quand l’entrée change. Les auteurs décrivent trois échecs récurrents : la reconstruction se dégrade avec la complexité géométrique, certains modèles CAD spécialisés résistent mal au changement de modalité, et les classements changent selon la métrique choisie.2

Autrement dit, la bonne question n’est pas seulement « quel modèle gagne ? », mais « quel type de faute rend le résultat inutilisable dans un atelier, un bureau d’étude ou un pipeline de fabrication ? »

La trace remplace la recette écrite à la main

L’autre moitié du signal vient des traces de travail. Le papier Inducing Task Models from Computer-Use Traces part d’une situation très ordinaire — quelqu’un utilise un ordinateur, pendant que l’on garde des captures d’écran et des événements souris/clavier — puis demande ce qu’on peut réellement reconstruire à partir de cette matière. Le système proposé, TMI, cherche à découvrir les tâches latentes, à séparer les objectifs entremêlés, puis à écrire une représentation qui combine objectifs hiérarchiques et procédure d’exécution.4

Les chiffres du résumé sont prudents mais intéressants : sur des trajectoires contrôlées humaines et agentiques, TMI atteint 0,974 d’accord avec les regroupements de référence, reconstruit 74,9 % des étapes observées, et les skills dérivés améliorent la précision sur tâches tenues à l’écart de 30,0 % par rapport au meilleur baseline cité.4

La promesse n’est pas magique. Une trace brute reste sale : fenêtres ouvertes, objectifs alternés, hésitations, gestes inutiles. C’est justement pour cela qu’elle est précieuse, parce qu’elle montre le travail tel qu’il se fait, pas tel qu’un manuel l’imagine.

Skill Recorder prend une voie plus produit : le dépôt Microsoft décrit une application desktop qui enregistre une session à l’écran — clics, changements d’applications, pages visitées, narration optionnelle — puis utilise GitHub Copilot CLI pour reconstruire une intention et une liste d’étapes. À partir de cette analyse, l’utilisateur peut générer un Skill ou une Automation réutilisable.5 Le README insiste aussi sur la frontière de sécurité : les informations restent locales pendant l’enregistrement, mais l’analyse envoie des éléments à GitHub cloud, et il ne faut pas capturer de secrets.5

Ce que le signal change

AILANTA regroupe ces publications sous le thème Computer-Use Workflow Learning : transformer des sessions de travail, des traces et des benchmarks en infrastructure d’apprentissage pour agents.6 La formulation reste prospective, mais le rapprochement est utile.

Pour IRZ, le point important est moins le marché que le déplacement de matière. Jusqu’ici, beaucoup d’automatisation logicielle vivait dans deux formats pauvres : la macro fragile qui rejoue des gestes, ou la documentation abstraite qui décrit ce qu’il faudrait faire. Les travaux cités poussent vers un troisième format, la trace assez riche pour être relue, transformée, testée et réutilisée.

Dans le CAD, ce déplacement est concret : voir une pièce ne suffit pas à un agent, qui doit reconstruire une intention éditable, choisir une géométrie qui s’exécute et accepter d’être jugé par plusieurs métriques. Dans les workflows bureautiques ou métiers, imiter une vidéo ne suffit pas non plus; il faut extraire la tâche, distinguer les étapes utiles du bruit, puis produire une procédure que l’humain peut relire.

La limite reste évidente. CADBench mesure la reconstruction de programmes CAD depuis des entrées standardisées; ce n’est pas encore un agent autonome assis devant Fusion 360 toute la journée. TMI travaille dans un cadre de recherche; cela ne garantit pas une robustesse générale dans toutes les applications. Skill Recorder crée des procédures à partir d’un exemple; il faut toujours relire la capture, surtout quand l’écran peut afficher du sensible.245

Mais la direction est nette. Les agents logiciels progressent quand le travail cesse d’être une démonstration spectaculaire et devient une chose enregistrable, mesurable, critiquable; dans les métiers de conception, c’est probablement la vraie marche à franchir, passer de l’agent qui impressionne pendant trente secondes à l’agent dont on peut examiner les traces après coup.