Le titre Andrew Ng: Unbiggen AI ressemble très bien à une prise de position de 2026. Petit problème : l’entretien d’IEEE Spectrum date d’avril 2022.1

Ce décalage rend l’article plus intéressant. On a quatre ans de recul sur une idée qui, à l’époque, pouvait facilement passer pour un slogan de consultant : arrêter de changer de modèle par réflexe et aller regarder les données. Quatre ans, c’est assez pour aller voir les dégâts et les réussites.

Quatre ans plus tard, on trouve deux mouvements qui auraient dû se contredire et qui cohabitent très bien. Les modèles les plus ambitieux avalent toujours plus de calcul. Pourtant, pour atteindre un niveau de performance donné, le plus petit modèle capable de faire le travail a parfois fondu.45

Le mot unbiggen aide surtout à ne pas mélanger les factures. Une équipe de recherche peut demander : jusqu’où peut-on pousser la frontière ? Une équipe produit a souvent une question beaucoup moins glamour : quelle taille me suffit ici ? Ce ne sont pas les mêmes budgets, ni le même problème.

Cinquante images

Ng ne disait d’ailleurs pas en 2022 que les gros modèles étaient une impasse.

Dans l’entretien IEEE, il explique au contraire que l’augmentation d’échelle garde selon lui « du carburant », notamment pour les foundation models en langage et, potentiellement, en vidéo. Il sépare ensuite cette course d’une autre famille de problèmes : ceux où l’on ne dispose ni de centaines de millions d’exemples ni d’un cas d’usage assez général pour justifier une machine gigantesque.1

Son exemple fétiche est beaucoup moins spectaculaire qu’un chatbot : une caméra au-dessus d’une ligne de production. Il faut reconnaître un défaut sur une pièce précise. Le défaut est rare, la ligne peut avoir changé, et il n’existe évidemment pas sur Internet un corpus géant de rayures prises sous exactement cette lumière, sur exactement ce plastique.

Ng ose alors le nombre qui fait tiquer : 50 exemples soigneusement préparés peuvent parfois suffire à produire quelque chose d’utile.1 Il parle d’inspection industrielle dans un domaine étroit, avec un modèle préentraîné derrière. Pas d’une recette magique où cinquante photos remplaceraient ImageNet. La précision compte, parce que ce chiffre sans son contexte devient très vite une bêtise virale.

Puis Ng prend un cas presque mesquin. Sur 10 000 images, imaginons que les 30 exemples d’une classe rare aient été étiquetés de travers ou avec des règles contradictoires. Son réflexe est d’aller nettoyer ces 30 cas. Changer de réseau avant de regarder ce petit tas d’images, c’est risquer de payer du compute pour contourner une erreur de données.1

LandingAI résume cette approche par une définition presque sèche : le data-centric AI consiste à ingénier systématiquement les données utilisées pour construire le système.2 Cela couvre la cohérence des labels, la sélection des exemples, l’augmentation, l’identification des sous-ensembles faibles et la manière dont des experts métier corrigent le corpus.

Aucun graphique de keynote ne devient très sexy avec trente labels corrigés à la main. C’est pourtant le quotidien d’un produit ML : trouver où il casse, remonter jusqu’aux exemples fautifs, puis voir si le modèle mérite vraiment d’être remplacé.

Chinchilla, déjà

À quelques semaines près, DeepMind publie en 2022 une autre manière de se méfier de la taille brute. Rien à voir avec cinquante photos d’usine cette fois : on reste dans les très gros modèles de langage.

Gopher compte 280 milliards de paramètres. Chinchilla en compte 70 milliards. Les deux utilisent à peu près le même budget de calcul pour l’entraînement, mais Chinchilla reçoit beaucoup plus de données : 1,3 billion de tokens, environ quatre fois plus que Gopher dans cette comparaison.3

Le modèle quatre fois plus petit surpasse Gopher et plusieurs autres modèles plus gros sur la grande majorité des tâches mesurées par DeepMind.3

Chinchilla n’est donc pas le petit cousin raisonnable de l’exemple industriel de Ng. 70 milliards de paramètres restent 70 milliards. Mais l’expérience casse une intuition tenace : dépenser le même compute dans davantage de paramètres n’est pas forcément le meilleur choix. Paramètres et données se disputent le même budget.3

Aujourd’hui la leçon semble presque triviale : une machine plus grosse peut simplement être sous-alimentée. En 2022, DeepMind a dû entraîner des centaines de modèles, en faisant varier paramètres et volume de tokens, pour montrer où tombait le meilleur partage du budget.3

142 fois moins

Deux ans plus tard, le Stanford AI Index fournit un autre thermomètre.

En 2022, le plus petit modèle recensé par le rapport dépassant 60 % sur MMLU est PaLM, avec 540 milliards de paramètres. En 2024, Phi-3-mini atteint le même seuil avec 3,8 milliards.4

Stanford calcule une réduction de 142 fois de la taille du plus petit modèle passant ce seuil en deux ans.4

142 fois, ça donne immédiatement envie de faire un joli graphique descendant et de déclarer le dossier réglé. Ce serait un peu rapide. MMLU est un benchmark. PaLM et Phi-3-mini n’ont ni le même corpus, ni la même recette d’entraînement, ni le même but. Franchir le même seuil sur ce test ne les transforme pas en produits interchangeables.

Reste un fait assez brutal : sur ce test précis, le seuil qui demandait 540 milliards de paramètres en 2022 tient deux ans plus tard dans 3,8 milliards.4 Même avec toutes les précautions autour de MMLU, l’écart mérite mieux qu’un haussement d’épaules.

Et là on quitte les concours de benchmarks. Un modèle plus petit change la RAM nécessaire, la latence, le matériel sur lequel on peut le faire tourner et le prix de chaque requête. J’aime bien cette façon de mesurer le progrès : une capacité qui était réservée au gros serveur finit par descendre vers une machine beaucoup plus banale.

Pendant ce temps

Ce serait pourtant une erreur de regarder cette descente et d’en conclure que l’industrie a suivi Ng vers une cure d’amaigrissement générale.

À la frontière, l’AI Index 2026 raconte une autre histoire. Les tailles encore publiées tournent depuis trois ans autour de mille milliards de paramètres, pendant que certains laboratoires ont carrément cessé de donner le nombre. Le compute d’entraînement, lui, continue de monter.5

Le même rapport estime que la capacité mondiale de calcul dédiée à l’IA a progressé d’environ 3,3× par an depuis 2022, jusqu’à 17,1 millions d’équivalents H100.5

Vu depuis un data center, le régime n’a donc jamais commencé. L’infrastructure grossit très vite, tirée à la fois par l’entraînement frontier et par l’inférence.5

Et, simultanément, Stanford donne un exemple particulièrement parlant du mouvement inverse. OLMo 3.1 Think 32B, avec près de 90 fois moins de paramètres que Grok 4 selon le rapport, obtient des résultats comparables sur plusieurs benchmarks grâce notamment au pruning, à la déduplication et à la curation des données.5

Le piège serait de transformer « plusieurs benchmarks » en « même modèle ». Stanford ne dit pas ça. Je garde donc le rapport 90× comme un indice d’efficacité, pas comme un certificat d’équivalence générale.

Le mot petit

Le débat « gros contre petit modèle » commence souvent par la mauvaise colonne du tableur : la taille. On devrait d’abord écrire ce que la machine doit faire, puis seulement regarder combien de modèle il faut pour y arriver.

Pour un laboratoire qui veut savoir jusqu’où un système généraliste peut aller en science, code, vidéo, agents et multimodalité, l’échelle reste un levier. Les résultats de 2026 ne montrent pas qu’on peut remplacer chaque modèle frontier par un 3B soigneusement étiqueté et rentrer chez soi tôt.

Une entreprise qui veut reconnaître cinq défauts sur une pièce n’a pas ce problème. Elle doit surtout savoir combien d’erreurs elle tolère, où elles se concentrent, si la réponse doit arriver en 50 ms, ce qui peut sortir du réseau et combien chaque appel peut coûter. La taille du modèle n’est qu’une conséquence parmi d’autres.

Le modèle vient après ces contraintes.

C’est la partie de la proposition de Ng qui a le mieux vieilli. « Data-centric » ne signifie pas que le modèle devient secondaire. Cela signifie que le jeu de données cesse d’être un fichier qu’on télécharge au début du projet et qu’on traite ensuite comme une constante.

Le corpus devient alors une vraie pièce de l’architecture, avec une dette, des bugs et de la maintenance. Parfois le nettoyer permet de descendre d’une taille de modèle. Parfois il révèle au contraire que le modèle est bien le plafond. Dans les deux cas, on a appris quelque chose avant de sortir la carte bancaire.

Budget déplacé

Quatre ans après l’entretien IEEE, Unbiggen AI a surtout vieilli de travers, ce qui est plutôt bon signe pour une idée intéressante.

Prise comme une prédiction industrielle, elle rate sa cible : data centers et compute ont continué de gonfler.5 Prise comme règle d’atelier, elle tient beaucoup mieux : avant de payer pour plus gros, trouve où vit l’erreur.

Chinchilla a montré qu’un modèle pouvait être trop gros pour son propre budget de données.3 Le suivi de Stanford montre qu’un niveau de performance autrefois réservé à des centaines de milliards de paramètres descend rapidement vers des modèles beaucoup plus petits.4 Et les systèmes récents ajoutent curation, déduplication et post-training à cette équation.5

Le travail n’a pas disparu. Une partie s’est déplacée vers les données, leur entretien et la mesure des erreurs.

C’est embêtant pour les présentations où le progrès doit tenir dans un seul nombre qui monte. Pour fabriquer un système, c’est plus utile : on dispose de leviers moins chers que « prendre le plus gros modèle disponible » et espérer que la facture résolve le problème.