Mesurer sa visibilité sur les IA : pourquoi les indicateurs traditionnels ne suffisent plus

Question 1

Comment mesurer sa visibilité lorsqu’elle dépend désormais d’un système conversationnel plutôt que d’une page de résultats ?

Accepted Answer

À première vue, la réponse semble évidente. Il suffirait d’interroger les différentes IA, de regarder quelles entreprises sont citées, puis de construire des indicateurs comparatifs.

C’est précisément ce que proposent aujourd’hui de nombreux outils présentés sous les appellations GEO (Generative Engine Optimization), LLMO (Large Language Model Optimization) ou encore AI Visibility Platforms. Les tableaux de bord se multiplient. Les graphiques donnent une impression de précision. Les pourcentages semblent traduire objectivement la visibilité d’une marque dans les réponses générées par les IA.

Pourtant, derrière cette apparente simplicité se cache une question beaucoup plus profonde.

Question 2

Que mesure réellement un tel indicateur ?

Accepted Answer

Mesure-t-il un phénomène observable, comparable à un clic ou à une visite ? Ou s’agit-il d’une estimation construite à partir d’un modèle statistique dont les hypothèses sont rarement expliquées ?

Cette interrogation peut sembler théorique. Elle ne l’est pas.

Elle détermine directement la confiance que l’on peut accorder aux décisions prises à partir de ces chiffres.

Imaginons qu’un tableau de bord annonce qu’une entreprise dispose d’une visibilité de 42 % dans ChatGPT. Que signifie réellement ce nombre ? Correspond-il à 42 % des utilisateurs qui voient cette entreprise ? À 42 % des réponses produites par le modèle ? À 42 % des requêtes testées par l’éditeur de l’outil ? Ou à une estimation calculée à partir d’un échantillon de questions générées automatiquement ?

Sans connaître précisément ce qui est mesuré, le chiffre perd une grande partie de sa valeur.

Cette réflexion dépasse largement le seul domaine des intelligences artificielles.

Elle touche à une discipline beaucoup plus ancienne : la science de la mesure.

Depuis des siècles, scientifiques, ingénieurs et chercheurs savent qu’avant d’interpréter un résultat, il est indispensable de comprendre comment il a été obtenu. Un instrument de mesure possède toujours des limites, une précision, une incertitude et un domaine de validité. Un thermomètre ne mesure pas la même chose qu’une caméra thermique. Une balance de laboratoire n’offre pas la même précision qu’un pèse-personne. Dans tous les cas, la qualité de la décision dépend directement de la qualité de la mesure.

Le marketing digital n’échappe pas à cette règle, même si nous avons parfois tendance à l’oublier.

Les tableaux de bord modernes affichent des dizaines d’indicateurs avec plusieurs décimales, des graphiques élégants et des courbes parfaitement lissées. Cette sophistication visuelle donne souvent une illusion de précision. Pourtant, un indicateur présenté avec trois chiffres après la virgule n’est pas nécessairement plus fiable qu’un simple ordre de grandeur.

Les professionnels de la donnée connaissent bien ce phénomène. Plus un chiffre paraît précis, plus nous avons naturellement tendance à lui faire confiance. C’est un biais cognitif classique. Nous confondons facilement précision d’affichage et précision de la mesure.

Or ces deux notions sont très différentes.

L’émergence des IA génératives accentue encore cette confusion. Les nouveaux outils du marché produisent des scores, des indices de visibilité, des estimations de trafic ou des parts de voix qui donnent le sentiment de mesurer un phénomène parfaitement maîtrisé. Pourtant, la réalité est bien plus complexe.

Contrairement aux moteurs de recherche traditionnels, un modèle de langage ne renvoie pas toujours la même réponse à une question identique. Les données utilisées évoluent, les modèles sont régulièrement mis à jour, les mécanismes internes restent largement opaques et les fournisseurs modifient continuellement leurs systèmes sans en détailler le fonctionnement.

Autrement dit, nous cherchons à mesurer un objet qui évolue en permanence.

Cette particularité change profondément la nature même des indicateurs que nous pouvons produire.

C’est probablement le point le plus important de tout cet article.

La question n’est pas de savoir si les outils GEO sont « bons » ou « mauvais ». Elle n’est pas non plus de déterminer si le Query Fan-out constitue une bonne ou une mauvaise méthode. Ces débats sont souvent caricaturaux et passent à côté de l’essentiel.

La véritable question est beaucoup plus simple.

Question 3

Sommes-nous en train d’observer un phénomène réel ou de construire une estimation plausible ?

Accepted Answer

La nuance est capitale.

Une observation correspond à un événement qui s’est effectivement produit. Une visite enregistrée dans les journaux d’un serveur en est un bon exemple. Le serveur ne formule aucune hypothèse ; il enregistre simplement une requête reçue à un instant donné.

Une estimation procède différemment. Elle cherche à approcher une réalité qui ne peut pas être observée directement. Pour cela, elle s’appuie sur un ensemble d’hypothèses, de modèles statistiques, d’extrapolations ou d’échantillons. Une estimation peut être extrêmement pertinente. Elle peut également être très éloignée de la réalité. Tout dépend de la qualité des hypothèses retenues.

Comprendre cette différence est indispensable pour analyser sereinement les nouveaux indicateurs proposés autour des intelligences artificielles.

Chez ONI, nous ne considérons pas que ces outils sont inutiles. Bien au contraire. Ils apportent des informations parfois très intéressantes et ouvrent de nouvelles perspectives d’analyse.

En revanche, nous pensons qu’il est essentiel de distinguer clairement trois niveaux de confiance dans une donnée.

Le premier est celui de l’observation. Il repose sur un événement directement mesuré.

Le second est celui de l’estimation. Il cherche à approcher une réalité à partir d’un modèle.

Le troisième est celui de l’extrapolation. Il consiste à déduire un phénomène plus large à partir d’un nombre limité d’observations.

Ces trois approches sont utiles. Mais elles ne répondent pas aux mêmes questions et ne doivent pas être interprétées avec le même niveau de certitude.

C’est précisément cette distinction que nous allons explorer dans les chapitres suivants.

Car avant de chercher à améliorer sa visibilité auprès des intelligences artificielles, il faut d’abord comprendre ce que l’on est réellement capable de mesurer… et accepter, avec une certaine humilité, que certaines réponses restent aujourd’hui des estimations plutôt que des certitudes.

Qu’est-ce qu’une mesure fiable ? Les enseignements de la métrologie

Si l’on demande à un dirigeant d’entreprise si la température extérieure est de 18,2 °C ou de 18,7 °C, il répondra probablement que cette différence n’a que peu d’importance. En revanche, si l’on demande à un ingénieur chargé de fabriquer une pièce d’avion si un diamètre mesure 10,00 mm ou 10,05 mm, la réponse sera tout autre. Dans certains domaines, quelques centièmes de millimètre suffisent à compromettre le fonctionnement d’un mécanisme entier.

Ces deux exemples illustrent une réalité simple : une mesure n’a de valeur que si l’on connaît la qualité de l’instrument qui l’a produite.

Cette idée paraît évidente lorsqu’il s’agit d’un thermomètre, d’une balance ou d’un pied à coulisse. Pourtant, elle disparaît presque totalement dès que l’on parle de données numériques. Devant un tableau de bord affichant des graphiques sophistiqués et des indicateurs calculés avec plusieurs décimales, nous avons spontanément tendance à considérer ces chiffres comme des faits. Nous oublions que, derrière chacun d’eux, se cache une méthode de calcul, un protocole de collecte et un certain nombre d’hypothèses.

Cette confusion n’est pas propre au marketing digital. Elle est suffisamment ancienne pour avoir donné naissance à une discipline scientifique à part entière : la métrologie, c’est-à-dire la science de la mesure.

La métrologie ne cherche pas uniquement à répondre à la question « combien ? ». Elle cherche d’abord à répondre à une question beaucoup plus fondamentale : peut-on faire confiance à cette mesure ?

Pour y répondre, plusieurs notions sont utilisées.

Une donnée n’est utile que si l’on connaît la qualité de l’instrument qui l’a produite.

La première est l’exactitude. Une mesure est exacte lorsqu’elle est proche de la valeur réelle. La seconde est la précision. Elle correspond à la capacité d’un instrument à reproduire plusieurs fois la même mesure dans les mêmes conditions. Ces deux notions sont souvent confondues alors qu’elles décrivent des réalités très différentes (ISO 5725 – Accuracy (trueness and precision) of measurement methods).

Imaginons un archer qui tire dix flèches sur une cible.

Si toutes ses flèches arrivent très près les unes des autres mais loin du centre, son tir est précis mais inexact. Son geste est reproductible, mais il est mal réglé.

À l’inverse, si les flèches sont dispersées tout autour du centre, leur moyenne pourra sembler correcte, mais aucune mesure individuelle ne sera réellement fiable.

Enfin, dans le meilleur des cas, les flèches sont à la fois regroupées et proches du centre. La mesure est alors précise et exacte.

Cette distinction est fondamentale lorsque l’on commence à s’intéresser aux indicateurs produits par les intelligences artificielles.

Lorsqu’un outil annonce qu’une marque possède un « score de visibilité IA de 63 % », la première question ne devrait pas être : « Est-ce un bon score ? »

La première question devrait être : « Ce score est-il reproductible ? »

Si le même protocole appliqué quelques minutes plus tard conduit à un résultat sensiblement différent, nous ne sommes plus face à une mesure stable mais face à un indicateur dont l’incertitude devient elle-même un élément à prendre en compte.

La reproductibilité constitue d’ailleurs l’un des fondements de la méthode scientifique (The Logic of Scientific Discovery (1959) – Karl Popper). Une expérience n’est considérée comme solide que si d’autres chercheurs peuvent la reproduire dans des conditions comparables et obtenir des résultats similaires. Cette exigence permet de distinguer une observation robuste d’une simple coïncidence.

Or c’est précisément sur ce point que les modèles de langage introduisent une rupture majeure.

Contrairement à un thermomètre ou à une balance, un LLM n’est pas conçu pour fournir systématiquement la même réponse à une même question. Son objectif est de produire une réponse pertinente, naturelle et contextualisée, pas de constituer un instrument de mesure. Autrement dit, nous utilisons aujourd’hui comme instrument d’observation un système qui n’a jamais été conçu pour remplir cette fonction.

Cette remarque peut sembler anecdotique. Elle ne l’est pas.

Elle signifie que nous devons changer notre manière d’interpréter les résultats produits par les outils de GEO.

Une autre notion importante de la métrologie est celle des erreurs de mesure.

On distingue généralement deux grandes familles.

La première correspond aux erreurs aléatoires. Elles proviennent de petites variations imprévisibles. Elles peuvent souvent être réduites en multipliant les observations. C’est précisément ce principe qui justifie le recours aux méthodes statistiques : lorsqu’un phénomène est soumis à un bruit aléatoire, augmenter le nombre de mesures permet généralement de faire apparaître une tendance plus stable.

La seconde famille est beaucoup plus problématique. Il s’agit des erreurs systématiques, que l’on appelle également des biais. Contrairement aux erreurs aléatoires, elles ne disparaissent pas lorsque l’on augmente le nombre d’observations. Si une balance affiche systématiquement deux kilogrammes de trop, la peser cent fois ne corrigera jamais cette erreur. On obtiendra simplement cent fois la même mesure fausse.

Cette distinction est capitale pour comprendre les limites des méthodes actuelles de mesure de la visibilité des IA.

Le Query Fan-out, que nous détaillerons plus loin, repose précisément sur l’idée qu’en multipliant le nombre de requêtes adressées à un modèle de langage, il devient possible de lisser les fluctuations observées et de dégager une tendance statistique.

Cette approche est parfaitement cohérente… à condition que les variations observées soient essentiellement aléatoires.

Mais que se passe-t-il si le modèle lui-même évolue entre deux campagnes de mesure ? Que se passe-t-il si OpenAI, Google ou Anthropic modifient discrètement leur système de classement, leur moteur de recherche, leurs sources documentaires ou leur « system prompt » ? Dans ce cas, nous ne sommes plus confrontés à un simple bruit statistique. Nous sommes face à un changement de l’instrument lui-même.

C’est ici que se situe probablement la principale difficulté des mesures appliquées aux intelligences artificielles.

Dans la plupart des disciplines scientifiques, l’instrument de mesure est supposé stable pendant toute la durée de l’expérience. Avec les LLM, cette hypothèse n’est plus garantie.

Cette situation conduit à une question rarement posée mais pourtant essentielle.

Question 4

Peut-on comparer deux mesures obtenues avec un instrument qui n’est plus exactement le même ?

Accepted Answer

À première vue, la réponse semble évidente : bien sûr que non.

Pourtant, c’est exactement ce que proposent aujourd’hui la plupart des tableaux de bord consacrés à la visibilité des IA. Ils affichent des courbes mensuelles, des évolutions trimestrielles ou des progressions annuelles comme si l’objet mesuré était resté parfaitement identique au fil du temps.

Cette représentation est séduisante. Elle facilite la lecture. Elle rassure les utilisateurs.

Mais elle masque une réalité beaucoup plus complexe : une partie des variations observées peut provenir non pas de l’évolution de votre visibilité, mais de l’évolution du modèle chargé de la mesurer.

Cette simple constatation ne suffit pas à invalider les méthodes actuelles. En revanche, elle oblige à les interpréter avec beaucoup plus de prudence.

Avant même d’étudier les différentes techniques de mesure de la visibilité des IA, une première conclusion peut donc être formulée.

Question 5

Pourquoi les outils GEO produisent-ils des estimations ?

Accepted Answer

À ce stade de notre réflexion, une objection parfaitement légitime peut apparaître.

Si les modèles de langage sont aussi difficiles à mesurer, comment expliquer que des acteurs reconnus comme Semrush, Ahrefs, Similarweb ou d’autres plateformes spécialisées soient capables d’afficher des tableaux de bord détaillés, des courbes d’évolution, des parts de voix ou encore des estimations de trafic provenant des intelligences artificielles ?

La réponse est simple.

Ils ne disposent pas d’une information que personne, en dehors des éditeurs des modèles eux-mêmes, ne possède.

Pour comprendre cette situation, il faut revenir à une distinction essentielle entre les données de première main et les données reconstruites.

Question 6

Peut-on réellement mesurer sa visibilité sur ChatGPT ?

Accepted Answer

Oui, mais pas avec la même précision que l’on mesure son référencement naturel sur Google. Contrairement à un moteur de recherche traditionnel, ChatGPT ne publie pas les données relatives aux recommandations qu’il formule. Les méthodes actuelles permettent donc d’observer certains comportements ou de construire des estimations, mais elles ne donnent pas accès à une mesure exhaustive de la visibilité réelle d’une entreprise.

Question 7

Pourquoi les outils GEO affichent-ils tous des résultats différents ?

Accepted Answer

Parce qu’ils ne disposent pas des mêmes sources de données ni des mêmes modèles statistiques. Certains s’appuient principalement sur des campagnes de Query Fan-out, d’autres utilisent des panels de navigation (clickstream), des données propriétaires ou encore des modèles de pondération différents. Deux outils peuvent donc analyser le même phénomène tout en produisant des indicateurs sensiblement différents.

Question 8

Le Query Fan-out est-il une méthode fiable ?

Accepted Answer

Le Query Fan-out constitue une méthode expérimentale pertinente pour observer le comportement d’un modèle de langage dans un protocole donné. En revanche, il ne mesure pas directement la visibilité réelle d’une entreprise auprès des utilisateurs. Il fournit des observations statistiques dont l’interprétation doit tenir compte de l’évolution permanente des modèles d’IA.

Question 9

Pourquoi un même test peut-il produire des résultats différents quelques jours plus tard ?

Accepted Answer

Les modèles de langage évoluent continuellement. Une mise à jour du modèle, une modification du system prompt, l’évolution des sources consultées ou des mécanismes de recherche peuvent modifier les réponses produites sans que l’utilisateur en soit informé. Les variations observées ne reflètent donc pas nécessairement une évolution de votre visibilité.

Question 10

Les scores de visibilité IA sont-ils inutiles ?

Accepted Answer

Non. Ils constituent des indicateurs intéressants pour suivre des tendances ou comparer plusieurs stratégies. En revanche, ils ne doivent pas être interprétés comme des mesures absolues. Leur valeur dépend directement de la qualité des hypothèses utilisées pour construire le modèle qui les produit.

Question 11

Pourquoi distinguer observation, expérimentation, estimation et extrapolation ?

Accepted Answer

Parce que ces quatre niveaux de données n’offrent pas le même degré de confiance. Une observation correspond à un événement réellement constaté. Une expérimentation étudie le comportement d’un système dans un protocole précis. Une estimation cherche à représenter une réalité difficilement observable. Enfin, une extrapolation projette cette réalité au-delà des données disponibles. Confondre ces niveaux conduit souvent à surestimer la précision de certains indicateurs.

Question 12

Les journaux de serveur permettent-ils de tout mesurer ?

Accepted Answer

Non. Certaines applications mobiles ne transmettent pas toujours l’origine des visites, certains robots modifient leurs identifiants (User-Agent) et certaines plateformes renforcent régulièrement leurs politiques de confidentialité. Malgré ces limites, les journaux de serveur constituent aujourd’hui la source de données la plus proche de la réalité observable pour mesurer le trafic réellement généré par les intelligences artificielles.

Question 13

Quelle différence entre la visibilité IA et le trafic IA ?

Accepted Answer

La visibilité IA désigne la probabilité qu’une intelligence artificielle cite votre entreprise dans une réponse. Le trafic IA correspond aux visiteurs qui arrivent effectivement sur votre site après avoir consulté cette réponse. Une entreprise peut bénéficier d’une forte visibilité sans générer beaucoup de trafic, ou inversement.

Question 14

Pourquoi les intelligences artificielles sont-elles plus difficiles à mesurer que Google ?

Accepted Answer

Google renvoie principalement vers un index documentaire relativement stable. Les modèles de langage, eux, génèrent leurs réponses de manière probabiliste et évoluent en permanence. Ils ne constituent donc pas des instruments de mesure stables, ce qui rend les comparaisons dans le temps beaucoup plus délicates.

Question 15

Les outils comme Semrush ou Ahrefs sont-ils fiables ?

Accepted Answer

Ces plateformes fournissent des estimations construites à partir des meilleures informations dont elles disposent. Leur objectif n’est pas de compter directement les recommandations formulées par les IA, mais d’en proposer une représentation statistique. Elles constituent donc d’excellents outils d’analyse, à condition de comprendre qu’elles modélisent une réalité qu’elles ne peuvent pas observer directement.

Question 16

Pourquoi ONI privilégie-t-il les données de première main ?

Accepted Answer

Parce qu’une donnée observée directement possède généralement un niveau de confiance supérieur à une estimation. Lorsqu’une entreprise peut mesurer un phénomène sur sa propre infrastructure, par exemple grâce aux journaux de son serveur, il est logique de partir de cette observation avant d’interpréter des modèles statistiques plus éloignés de la réalité.

Question 17

Le développement des IA va-t-il rendre le SEO obsolète ?

Accepted Answer

Non. Les intelligences artificielles modifient les modes d’accès à l’information, mais elles continuent largement à s’appuyer sur les contenus publiés sur le Web. Le référencement naturel évolue vers de nouvelles formes d’optimisation, sans pour autant disparaître. Les entreprises devront apprendre à piloter simultanément leur visibilité dans les moteurs de recherche et dans les réponses générées par les IA.

Question 18

Quelle est aujourd'hui la méthode la plus fiable pour mesurer l'impact des IA sur un site web ?

Accepted Answer

Aucune méthode ne permet encore de mesurer parfaitement la visibilité d’une entreprise dans les réponses générées par les intelligences artificielles. En revanche, la combinaison de plusieurs approches offre une vision beaucoup plus pertinente : observations issues des journaux de serveur, analyse du trafic réellement reçu, expérimentations de type Query Fan-out et comparaison avec les données fournies par les outils spécialisés. C’est le croisement de ces sources qui permet aujourd’hui de construire l’analyse la plus fiable.

Question 19

Pourquoi cet article parle-t-il davantage de métrologie que d'intelligence artificielle ?

Accepted Answer

Parce que le véritable sujet n’est pas uniquement l’IA. Il est celui de la qualité des données sur lesquelles reposent les décisions des entreprises. Les intelligences artificielles constituent simplement un excellent révélateur d’un problème beaucoup plus ancien : avant de faire confiance à un indicateur, il faut toujours comprendre comment il a été produit.

Question 20

Faut-il chercher à tout mesurer ?

Accepted Answer

Probablement pas. L’histoire du marketing digital montre que la multiplication des indicateurs ne conduit pas nécessairement à de meilleures décisions. À vouloir tout quantifier, on risque parfois de perdre de vue l’essentiel : développer son activité. Les outils de mesure doivent rester des instruments d’aide à la décision, pas devenir une fin en soi. Une entreprise performante n’est pas celle qui possède le plus de tableaux de bord ; c’est celle qui sait distinguer les données réellement utiles de celles qui donnent simplement une illusion de précision.

Question	Réponse (synthèse)	Auteur	Sources	Date
Comment mesurer sa visibilité lorsqu’elle dépend désormais d’un système conversationnel plutôt que d’une page de résultats ?	À première vue, la réponse semble évidente. Il suffirait d’interroger les différentes IA, de regarder quelles entreprises sont citées, puis de construire des indicateurs comparatifs. C’est précisément ce que proposent aujourd’hui de nombreux outils présentés sous les appellations GEO (Generative Engine Optimization), LLMO (Large Language Model Optimization) ou encore AI Visibility Platforms. Les tableaux de bord se multiplient. Les graphiques donnent une impression de précision. Les pourcentages semblent traduire objectivement la visibilité d’une marque dans les réponses générées par les IA. Pourtant, derrière cette apparente simplicité se cache une question beaucoup plus profonde.	Patrick DUHAUT	Source interne	2026-09-15
Que mesure réellement un tel indicateur ?	Mesure-t-il un phénomène observable, comparable à un clic ou à une visite ? Ou s’agit-il d’une estimation construite à partir d’un modèle statistique dont les hypothèses sont rarement expliquées ? Cette interrogation peut sembler théorique. Elle ne l’est pas. Elle détermine directement la confiance que l’on peut accorder aux décisions prises à partir de ces chiffres. Imaginons qu’un tableau de bord annonce qu’une entreprise dispose d’une visibilité de 42 % dans ChatGPT. Que signifie réellement ce nombre ? Correspond-il à 42 % des utilisateurs qui voient cette entreprise ? À 42 % des réponses produites par le modèle ? À 42 % des requêtes testées par l’éditeur de l’outil ? Ou à une estimation calculée à partir d’un échantillon de questions générées automatiquement ? Sans connaître précisément ce qui est mesuré, le chiffre perd une grande partie de sa valeur. Cette réflexion dépasse largement le seul domaine des intelligences artificielles. Elle touche à une discipline beaucoup plus ancienne : la science de la mesure. Depuis des siècles, scientifiques, ingénieurs et chercheurs savent qu’avant d’interpréter un résultat, il est indispensable de comprendre comment il a été obtenu. Un instrument de mesure possède toujours des limites, une précision, une incertitude et un domaine de validité. Un thermomètre ne mesure pas la même chose qu’une caméra thermique. Une balance de laboratoire n’offre pas la même précision qu’un pèse-personne. Dans tous les cas, la qualité de la décision dépend directement de la qualité de la mesure. Le marketing digital n’échappe pas à cette règle, même si nous avons parfois tendance à l’oublier. Les tableaux de bord modernes affichent des dizaines d’indicateurs avec plusieurs décimales, des graphiques élégants et des courbes parfaitement lissées. Cette sophistication visuelle donne souvent une illusion de précision. Pourtant, un indicateur présenté avec trois chiffres après la virgule n’est pas nécessairement plus fiable qu’un simple ordre de grandeur. Les professionnels de la donnée connaissent bien ce phénomène. Plus un chiffre paraît précis, plus nous avons naturellement tendance à lui faire confiance. C’est un biais cognitif classique. Nous confondons facilement précision d’affichage et précision de la mesure. Or ces deux notions sont très différentes. L’émergence des IA génératives accentue encore cette confusion. Les nouveaux outils du marché produisent des scores, des indices de visibilité, des estimations de trafic ou des parts de voix qui donnent le sentiment de mesurer un phénomène parfaitement maîtrisé. Pourtant, la réalité est bien plus complexe. Contrairement aux moteurs de recherche traditionnels, un modèle de langage ne renvoie pas toujours la même réponse à une question identique. Les données utilisées évoluent, les modèles sont régulièrement mis à jour, les mécanismes internes restent largement opaques et les fournisseurs modifient continuellement leurs systèmes sans en détailler le fonctionnement. Autrement dit, nous cherchons à mesurer un objet qui évolue en permanence. Cette particularité change profondément la nature même des indicateurs que nous pouvons produire. C’est probablement le point le plus important de tout cet article. La question n’est pas de savoir si les outils GEO sont « bons » ou « mauvais ». Elle n’est pas non plus de déterminer si le Query Fan-out constitue une bonne ou une mauvaise méthode. Ces débats sont souvent caricaturaux et passent à côté de l’essentiel. La véritable question est beaucoup plus simple.	Patrick DUHAUT	Source interne	2026-09-15
Sommes-nous en train d’observer un phénomène réel ou de construire une estimation plausible ?	La nuance est capitale. Une observation correspond à un événement qui s’est effectivement produit. Une visite enregistrée dans les journaux d’un serveur en est un bon exemple. Le serveur ne formule aucune hypothèse ; il enregistre simplement une requête reçue à un instant donné. Une estimation procède différemment. Elle cherche à approcher une réalité qui ne peut pas être observée directement. Pour cela, elle s’appuie sur un ensemble d’hypothèses, de modèles statistiques, d’extrapolations ou d’échantillons. Une estimation peut être extrêmement pertinente. Elle peut également être très éloignée de la réalité. Tout dépend de la qualité des hypothèses retenues. Comprendre cette différence est indispensable pour analyser sereinement les nouveaux indicateurs proposés autour des intelligences artificielles. Chez ONI, nous ne considérons pas que ces outils sont inutiles. Bien au contraire. Ils apportent des informations parfois très intéressantes et ouvrent de nouvelles perspectives d’analyse. En revanche, nous pensons qu’il est essentiel de distinguer clairement trois niveaux de confiance dans une donnée. Le premier est celui de l’observation. Il repose sur un événement directement mesuré. Le second est celui de l’estimation. Il cherche à approcher une réalité à partir d’un modèle. Le troisième est celui de l’extrapolation. Il consiste à déduire un phénomène plus large à partir d’un nombre limité d’observations. Ces trois approches sont utiles. Mais elles ne répondent pas aux mêmes questions et ne doivent pas être interprétées avec le même niveau de certitude. C’est précisément cette distinction que nous allons explorer dans les chapitres suivants. Car avant de chercher à améliorer sa visibilité auprès des intelligences artificielles, il faut d’abord comprendre ce que l’on est réellement capable de mesurer… et accepter, avec une certaine humilité, que certaines réponses restent aujourd’hui des estimations plutôt que des certitudes. Qu’est-ce qu’une mesure fiable ? Les enseignements de la métrologie Si l’on demande à un dirigeant d’entreprise si la température extérieure est de 18,2 °C ou de 18,7 °C, il répondra probablement que cette différence n’a que peu d’importance. En revanche, si l’on demande à un ingénieur chargé de fabriquer une pièce d’avion si un diamètre mesure 10,00 mm ou 10,05 mm, la réponse sera tout autre. Dans certains domaines, quelques centièmes de millimètre suffisent à compromettre le fonctionnement d’un mécanisme entier. Ces deux exemples illustrent une réalité simple : une mesure n’a de valeur que si l’on connaît la qualité de l’instrument qui l’a produite. Cette idée paraît évidente lorsqu’il s’agit d’un thermomètre, d’une balance ou d’un pied à coulisse. Pourtant, elle disparaît presque totalement dès que l’on parle de données numériques. Devant un tableau de bord affichant des graphiques sophistiqués et des indicateurs calculés avec plusieurs décimales, nous avons spontanément tendance à considérer ces chiffres comme des faits. Nous oublions que, derrière chacun d’eux, se cache une méthode de calcul, un protocole de collecte et un certain nombre d’hypothèses. Cette confusion n’est pas propre au marketing digital. Elle est suffisamment ancienne pour avoir donné naissance à une discipline scientifique à part entière : la métrologie, c’est-à-dire la science de la mesure. La métrologie ne cherche pas uniquement à répondre à la question « combien ? ». Elle cherche d’abord à répondre à une question beaucoup plus fondamentale : peut-on faire confiance à cette mesure ? Pour y répondre, plusieurs notions sont utilisées. Une donnée n’est utile que si l’on connaît la qualité de l’instrument qui l’a produite. La première est l’exactitude. Une mesure est exacte lorsqu’elle est proche de la valeur réelle. La seconde est la précision. Elle correspond à la capacité d’un instrument à reproduire plusieurs fois la même mesure dans les mêmes conditions. Ces deux notions sont souvent confondues alors qu’elles décrivent des réalités très différentes (ISO 5725 – Accuracy (trueness and precision) of measurement methods). Imaginons un archer qui tire dix flèches sur une cible. Si toutes ses flèches arrivent très près les unes des autres mais loin du centre, son tir est précis mais inexact. Son geste est reproductible, mais il est mal réglé. À l’inverse, si les flèches sont dispersées tout autour du centre, leur moyenne pourra sembler correcte, mais aucune mesure individuelle ne sera réellement fiable. Enfin, dans le meilleur des cas, les flèches sont à la fois regroupées et proches du centre. La mesure est alors précise et exacte. Cette distinction est fondamentale lorsque l’on commence à s’intéresser aux indicateurs produits par les intelligences artificielles. Lorsqu’un outil annonce qu’une marque possède un « score de visibilité IA de 63 % », la première question ne devrait pas être : « Est-ce un bon score ? » La première question devrait être : « Ce score est-il reproductible ? » Si le même protocole appliqué quelques minutes plus tard conduit à un résultat sensiblement différent, nous ne sommes plus face à une mesure stable mais face à un indicateur dont l’incertitude devient elle-même un élément à prendre en compte. La reproductibilité constitue d’ailleurs l’un des fondements de la méthode scientifique (The Logic of Scientific Discovery (1959) – Karl Popper). Une expérience n’est considérée comme solide que si d’autres chercheurs peuvent la reproduire dans des conditions comparables et obtenir des résultats similaires. Cette exigence permet de distinguer une observation robuste d’une simple coïncidence. Or c’est précisément sur ce point que les modèles de langage introduisent une rupture majeure. Contrairement à un thermomètre ou à une balance, un LLM n’est pas conçu pour fournir systématiquement la même réponse à une même question. Son objectif est de produire une réponse pertinente, naturelle et contextualisée, pas de constituer un instrument de mesure. Autrement dit, nous utilisons aujourd’hui comme instrument d’observation un système qui n’a jamais été conçu pour remplir cette fonction. Cette remarque peut sembler anecdotique. Elle ne l’est pas. Elle signifie que nous devons changer notre manière d’interpréter les résultats produits par les outils de GEO. Une autre notion importante de la métrologie est celle des erreurs de mesure. On distingue généralement deux grandes familles. La première correspond aux erreurs aléatoires. Elles proviennent de petites variations imprévisibles. Elles peuvent souvent être réduites en multipliant les observations. C’est précisément ce principe qui justifie le recours aux méthodes statistiques : lorsqu’un phénomène est soumis à un bruit aléatoire, augmenter le nombre de mesures permet généralement de faire apparaître une tendance plus stable. La seconde famille est beaucoup plus problématique. Il s’agit des erreurs systématiques, que l’on appelle également des biais. Contrairement aux erreurs aléatoires, elles ne disparaissent pas lorsque l’on augmente le nombre d’observations. Si une balance affiche systématiquement deux kilogrammes de trop, la peser cent fois ne corrigera jamais cette erreur. On obtiendra simplement cent fois la même mesure fausse. Cette distinction est capitale pour comprendre les limites des méthodes actuelles de mesure de la visibilité des IA. Le Query Fan-out, que nous détaillerons plus loin, repose précisément sur l’idée qu’en multipliant le nombre de requêtes adressées à un modèle de langage, il devient possible de lisser les fluctuations observées et de dégager une tendance statistique. Cette approche est parfaitement cohérente… à condition que les variations observées soient essentiellement aléatoires. Mais que se passe-t-il si le modèle lui-même évolue entre deux campagnes de mesure ? Que se passe-t-il si OpenAI, Google ou Anthropic modifient discrètement leur système de classement, leur moteur de recherche, leurs sources documentaires ou leur « system prompt » ? Dans ce cas, nous ne sommes plus confrontés à un simple bruit statistique. Nous sommes face à un changement de l’instrument lui-même. C’est ici que se situe probablement la principale difficulté des mesures appliquées aux intelligences artificielles. Dans la plupart des disciplines scientifiques, l’instrument de mesure est supposé stable pendant toute la durée de l’expérience. Avec les LLM, cette hypothèse n’est plus garantie. Cette situation conduit à une question rarement posée mais pourtant essentielle.	Patrick DUHAUT	Source interne www.iso.org, en.wikipedia.org	2026-09-15
Peut-on comparer deux mesures obtenues avec un instrument qui n’est plus exactement le même ?	À première vue, la réponse semble évidente : bien sûr que non. Pourtant, c’est exactement ce que proposent aujourd’hui la plupart des tableaux de bord consacrés à la visibilité des IA. Ils affichent des courbes mensuelles, des évolutions trimestrielles ou des progressions annuelles comme si l’objet mesuré était resté parfaitement identique au fil du temps. Cette représentation est séduisante. Elle facilite la lecture. Elle rassure les utilisateurs. Mais elle masque une réalité beaucoup plus complexe : une partie des variations observées peut provenir non pas de l’évolution de votre visibilité, mais de l’évolution du modèle chargé de la mesurer. Cette simple constatation ne suffit pas à invalider les méthodes actuelles. En revanche, elle oblige à les interpréter avec beaucoup plus de prudence. Avant même d’étudier les différentes techniques de mesure de la visibilité des IA, une première conclusion peut donc être formulée.	Patrick DUHAUT	Source interne	2026-09-15
Pourquoi les outils GEO produisent-ils des estimations ?	À ce stade de notre réflexion, une objection parfaitement légitime peut apparaître. Si les modèles de langage sont aussi difficiles à mesurer, comment expliquer que des acteurs reconnus comme Semrush, Ahrefs, Similarweb ou d’autres plateformes spécialisées soient capables d’afficher des tableaux de bord détaillés, des courbes d’évolution, des parts de voix ou encore des estimations de trafic provenant des intelligences artificielles ? La réponse est simple. Ils ne disposent pas d’une information que personne, en dehors des éditeurs des modèles eux-mêmes, ne possède. Pour comprendre cette situation, il faut revenir à une distinction essentielle entre les données de première main et les données reconstruites.	Patrick DUHAUT	Source interne	2026-09-15
Peut-on réellement mesurer sa visibilité sur ChatGPT ?	Oui, mais pas avec la même précision que l’on mesure son référencement naturel sur Google. Contrairement à un moteur de recherche traditionnel, ChatGPT ne publie pas les données relatives aux recommandations qu’il formule. Les méthodes actuelles permettent donc d’observer certains comportements ou de construire des estimations, mais elles ne donnent pas accès à une mesure exhaustive de la visibilité réelle d’une entreprise.	Patrick DUHAUT	Source interne	2026-09-15
Pourquoi les outils GEO affichent-ils tous des résultats différents ?	Parce qu’ils ne disposent pas des mêmes sources de données ni des mêmes modèles statistiques. Certains s’appuient principalement sur des campagnes de Query Fan-out, d’autres utilisent des panels de navigation (clickstream), des données propriétaires ou encore des modèles de pondération différents. Deux outils peuvent donc analyser le même phénomène tout en produisant des indicateurs sensiblement différents.	Patrick DUHAUT	Source interne	2026-09-15
Le Query Fan-out est-il une méthode fiable ?	Le Query Fan-out constitue une méthode expérimentale pertinente pour observer le comportement d’un modèle de langage dans un protocole donné. En revanche, il ne mesure pas directement la visibilité réelle d’une entreprise auprès des utilisateurs. Il fournit des observations statistiques dont l’interprétation doit tenir compte de l’évolution permanente des modèles d’IA.	Patrick DUHAUT	Source interne	2026-09-15
Pourquoi un même test peut-il produire des résultats différents quelques jours plus tard ?	Les modèles de langage évoluent continuellement. Une mise à jour du modèle, une modification du system prompt, l’évolution des sources consultées ou des mécanismes de recherche peuvent modifier les réponses produites sans que l’utilisateur en soit informé. Les variations observées ne reflètent donc pas nécessairement une évolution de votre visibilité.	Patrick DUHAUT	Source interne	2026-09-15
Les scores de visibilité IA sont-ils inutiles ?	Non. Ils constituent des indicateurs intéressants pour suivre des tendances ou comparer plusieurs stratégies. En revanche, ils ne doivent pas être interprétés comme des mesures absolues. Leur valeur dépend directement de la qualité des hypothèses utilisées pour construire le modèle qui les produit.	Patrick DUHAUT	Source interne	2026-09-15
Pourquoi distinguer observation, expérimentation, estimation et extrapolation ?	Parce que ces quatre niveaux de données n’offrent pas le même degré de confiance. Une observation correspond à un événement réellement constaté. Une expérimentation étudie le comportement d’un système dans un protocole précis. Une estimation cherche à représenter une réalité difficilement observable. Enfin, une extrapolation projette cette réalité au-delà des données disponibles. Confondre ces niveaux conduit souvent à surestimer la précision de certains indicateurs.	Patrick DUHAUT	Source interne	2026-09-15
Les journaux de serveur permettent-ils de tout mesurer ?	Non. Certaines applications mobiles ne transmettent pas toujours l’origine des visites, certains robots modifient leurs identifiants (User-Agent) et certaines plateformes renforcent régulièrement leurs politiques de confidentialité. Malgré ces limites, les journaux de serveur constituent aujourd’hui la source de données la plus proche de la réalité observable pour mesurer le trafic réellement généré par les intelligences artificielles.	Patrick DUHAUT	Source interne	2026-09-15
Quelle différence entre la visibilité IA et le trafic IA ?	La visibilité IA désigne la probabilité qu’une intelligence artificielle cite votre entreprise dans une réponse. Le trafic IA correspond aux visiteurs qui arrivent effectivement sur votre site après avoir consulté cette réponse. Une entreprise peut bénéficier d’une forte visibilité sans générer beaucoup de trafic, ou inversement.	Patrick DUHAUT	Source interne	2026-09-15
Pourquoi les intelligences artificielles sont-elles plus difficiles à mesurer que Google ?	Google renvoie principalement vers un index documentaire relativement stable. Les modèles de langage, eux, génèrent leurs réponses de manière probabiliste et évoluent en permanence. Ils ne constituent donc pas des instruments de mesure stables, ce qui rend les comparaisons dans le temps beaucoup plus délicates.	Patrick DUHAUT	Source interne	2026-09-15
Les outils comme Semrush ou Ahrefs sont-ils fiables ?	Ces plateformes fournissent des estimations construites à partir des meilleures informations dont elles disposent. Leur objectif n’est pas de compter directement les recommandations formulées par les IA, mais d’en proposer une représentation statistique. Elles constituent donc d’excellents outils d’analyse, à condition de comprendre qu’elles modélisent une réalité qu’elles ne peuvent pas observer directement.	Patrick DUHAUT	Source interne	2026-09-15
Pourquoi ONI privilégie-t-il les données de première main ?	Parce qu’une donnée observée directement possède généralement un niveau de confiance supérieur à une estimation. Lorsqu’une entreprise peut mesurer un phénomène sur sa propre infrastructure, par exemple grâce aux journaux de son serveur, il est logique de partir de cette observation avant d’interpréter des modèles statistiques plus éloignés de la réalité.	Patrick DUHAUT	Source interne	2026-09-15
Le développement des IA va-t-il rendre le SEO obsolète ?	Non. Les intelligences artificielles modifient les modes d’accès à l’information, mais elles continuent largement à s’appuyer sur les contenus publiés sur le Web. Le référencement naturel évolue vers de nouvelles formes d’optimisation, sans pour autant disparaître. Les entreprises devront apprendre à piloter simultanément leur visibilité dans les moteurs de recherche et dans les réponses générées par les IA.	Patrick DUHAUT	Source interne	2026-09-15
Quelle est aujourd'hui la méthode la plus fiable pour mesurer l'impact des IA sur un site web ?	Aucune méthode ne permet encore de mesurer parfaitement la visibilité d’une entreprise dans les réponses générées par les intelligences artificielles. En revanche, la combinaison de plusieurs approches offre une vision beaucoup plus pertinente : observations issues des journaux de serveur, analyse du trafic réellement reçu, expérimentations de type Query Fan-out et comparaison avec les données fournies par les outils spécialisés. C’est le croisement de ces sources qui permet aujourd’hui de construire l’analyse la plus fiable.	Patrick DUHAUT	Source interne	2026-09-15
Pourquoi cet article parle-t-il davantage de métrologie que d'intelligence artificielle ?	Parce que le véritable sujet n’est pas uniquement l’IA. Il est celui de la qualité des données sur lesquelles reposent les décisions des entreprises. Les intelligences artificielles constituent simplement un excellent révélateur d’un problème beaucoup plus ancien : avant de faire confiance à un indicateur, il faut toujours comprendre comment il a été produit.	Patrick DUHAUT	Source interne	2026-09-15
Faut-il chercher à tout mesurer ?	Probablement pas. L’histoire du marketing digital montre que la multiplication des indicateurs ne conduit pas nécessairement à de meilleures décisions. À vouloir tout quantifier, on risque parfois de perdre de vue l’essentiel : développer son activité. Les outils de mesure doivent rester des instruments d’aide à la décision, pas devenir une fin en soi. Une entreprise performante n’est pas celle qui possède le plus de tableaux de bord ; c’est celle qui sait distinguer les données réellement utiles de celles qui donnent simplement une illusion de précision.	Patrick DUHAUT	Source interne	2026-09-15

💡 À retenir : Points clés du jeu de données

📚 Références sémantiques & Citations d’autorité (E-E-A-T)