Deux documents contiennent exactement les mêmes mots. Le premier arrive à un modèle comme texte. Le second est une image de ce texte.

On pourrait s’attendre à ce que le jugement reste identique tant que les mots sont lisibles. ThinkingType a été construit précisément pour vérifier cette hypothèse.1

Et elle ne tient pas toujours.

Le benchmark open source de Will Danforth mesure les écarts entre la réponse d’un même modèle quand il lit du texte brut et quand il regarde le même contenu rendu avec différentes polices, tailles, couleurs ou mises en page.1

Le résultat ne dit pas qu’une police « manipule l’IA » de manière universelle. Il montre quelque chose de plus gênant pour les outils qui traitent des captures, CV scannés ou contenus modérés : le format peut devenir une variable de décision.

Mesurer le modèle contre lui-même

Le premier volet utilise 120 phrases synthétiques, huit variantes typographiques et dix questions de jugement : le contenu paraît-il urgent, fiable, professionnel, formel ou risqué, par exemple.2

Pour chaque combinaison, ThinkingType compare la réponse du modèle à sa propre réponse sur le texte brut. Un « flip » signifie uniquement que les deux réponses diffèrent. Ce n’est pas une comparaison entre GPT et Claude.2

Les taux globaux publiés sont de 15,2 % pour GPT-4o, 7,8 % pour GPT-5.5, 9,5 % pour Claude Sonnet 5, 8,6 % pour Claude Fable 5 et 13,6 % pour GPT-5.6 Sol.2

Ces chiffres demandent une grosse étiquette de prudence. Les phrases sont synthétiques. Les prompts sont fixes. Le benchmark n’est pas une étude peer-reviewed. Et il mesure des modèles et versions précis, pas une loi naturelle de la typographie.

Mais le dépôt fait quelque chose de sain : il conserve les données, les configurations et les limites au même endroit que les résultats.1

Il documente même une erreur assez embarrassante. Le 19 juillet, le chiffre de GPT-5.6 Sol a été corrigé après découverte d’un log contenant des réponses de plusieurs providers. Le taux annoncé est passé de 10,7 % à 13,6 % après réanalyse du jeu propre.2

Un benchmark qui publie la manière dont il s’est trompé est souvent plus utile qu’un graphique miraculeusement parfait.

Quand le format touche une vraie décision

Le deuxième volet est plus proche d’un usage de production.

ThinkingType construit environ 330 scénarios synthétiques autour de trois décisions : retirer ou conserver un contenu de modération, faire avancer ou non un CV, accepter ou refuser un appel lié à une aide financière.2

Les items sont d’abord présentés plusieurs fois en texte. Le benchmark sélectionne ensuite, pour chaque modèle, les cas proches de sa propre frontière de décision. Ces mêmes cas sont rendus sous neuf présentations visuelles et soumis à nouveau au modèle.2

L’intérêt de cette calibration est d’éviter de tester uniquement des cas évidents. Une police ne va probablement pas transformer « candidat parfait » en « rejet immédiat ». La zone utile est l’endroit où le système hésite déjà.

Et c’est là que des déplacements apparaissent.

Dans la première administration, la modération devenait plus permissive en image pour GPT-5.5 et Sonnet 5 sur les cas limites. Le recrutement divergeait fortement selon le fournisseur : Gemini allait davantage vers l’avancement, GPT-5.5 légèrement dans l’autre direction.2

Ces directions ont ensuite bougé avec les versions plus récentes. Dans gates_v2, les effets de modération se réduisent et les écarts CV changent de signe ou deviennent seulement marginaux.2

Autrement dit, « le fournisseur X a ce biais » est déjà une conclusion trop stable. ThinkingType suggère plutôt que la neutralité de présentation doit être re-testée à chaque version.

Écrire les critères aide, parfois

Un follow-up du benchmark ajoute explicitement les critères de décision dans le prompt.2

Sur le test de CV, le déplacement mesuré tombe à zéro pour Gemini et Sonnet 5 dans cette expérience. Pour GPT-5.5, il reste pratiquement inchangé. En modération, le drift de Sonnet est réduit mais celui de GPT-5.5 persiste.2

C’est une conclusion moins confortable qu’un « fix en une ligne » : rendre les critères explicites peut aider beaucoup, mais pas de manière universelle.

Pour quelqu’un qui construit un pipeline de tri de documents, la conséquence pratique est assez claire. Si la décision importe, il vaut mieux tester le même cas dans les formats réellement utilisés, et comparer avec une extraction texte quand elle est possible.

OpenDyslexic pose une question plus sensible

ThinkingType contient aussi une expérience où le même contenu est rendu en OpenDyslexic et en sans-serif standard.2

Dans l’échantillon élargi publié, GPT-5.5 et Gemini se déplacent significativement vers des décisions moins favorables avec OpenDyslexic. Sonnet va dans la même direction mais son intervalle inclut zéro. Sur 21 items ayant changé dans l’analyse agrégée, 17 vont vers le retrait.2

Le dépôt prévient lui-même que ce test agrégé surestime l’indépendance parce que les fournisseurs voient des ensembles d’items qui se chevauchent.2

Il serait donc irresponsable d’en tirer « les IA discriminent les personnes dyslexiques ». Les scénarios sont synthétiques, la police n’implique aucune identité réelle et le mécanisme n’est pas connu.

La bonne question est plus étroite : si une interface accepte des documents visuels, avons-nous testé que des choix d’accessibilité ne changent pas silencieusement les décisions ?

Le problème dépasse ThinkingType

Un papier de mars 2026, Reading, Not Thinking, étudie un phénomène voisin sur sept modèles multimodaux et sept benchmarks.3

Les auteurs observent que présenter du texte sous forme d’image peut réduire fortement les performances, avec un effet très dépendant de la police, de la résolution et du type de document. Leur analyse relie une grande partie du gap à des réponses beaucoup plus courtes et moins raisonnées quand l’entrée est visuelle.3

Ce papier ne valide pas les chiffres de ThinkingType et ne mesure pas la même chose. Il s’intéresse surtout à la profondeur de raisonnement et à la performance, quand ThinkingType suit la direction d’un jugement ou d’une décision.

Les deux travaux convergent cependant sur un point utile : pour un modèle multimodal, rendre du texte en pixels n’est pas forcément une transformation neutre.

Une propriété à tester, pas une curiosité graphique

Les équipes évaluent déjà les modèles sur le coût, la latence, la précision et parfois l’équité entre groupes.

ThinkingType propose d’ajouter une autre question : la réponse reste-t-elle stable quand le contenu change de présentation sans changer de sens ?

Cela concerne les CV en PDF, les captures d’écran, les formulaires scannés, les messages de modération, les interfaces agentiques et tous les workflows où un modèle « voit » du texte plutôt qu’il ne le reçoit comme chaîne de caractères.

Le benchmark est encore jeune, public, synthétique et imparfait. Son intérêt n’est pas d’avoir trouvé la police qui trompe GPT.

C’est d’avoir transformé une bizarrerie visuelle en test que l’on peut relancer à la prochaine version.