Décor illustratif : un réseau de sources en orbite symbolise les signaux mesurés par PropulGEO pour les principaux moteurs IA. Aucune donnée réelle.

Veille / Rubrique SEO

Les robots des IA peuvent-ils lire votre site ?

SEOLog 0018 minÉquipe PropulGEO
Sommaire

Avant de se demander comment convaincre une IA de vous citer, il faut vérifier qu'elle peut simplement lire votre site. Un moteur génératif qui reçoit une page vide, une erreur 403 ou une interdiction dans votre robots.txt ne vous cite pas : il cite quelqu'un d'autre, et vous n'en saurez rien. Ce contrôle d'accès est la partie la moins glamour du GEO, c'est aussi la seule qui se règle en une après-midi et qui conditionne tout le reste.

Le blocage le plus courant est aussi le plus bête

Beaucoup de sites français interdisent l'accès aux robots des IA sans que personne, dans l'entreprise, ne l'ait jamais décidé. La ligne se trouve dans le fichier robots.txt, à la racine du domaine, et elle a souvent été ajoutée par une extension, un thème, un prestataire précédent ou une case cochée dans un panneau d'administration.

Le résultat est net : quand le moteur va chercher votre page pour rédiger sa réponse, il lit d'abord robots.txt, voit qu'il n'a pas le droit, et n'ouvre pas la page. Votre contenu peut être excellent, il n'existe pas pour lui.

Ce blocage n'a aucun rapport avec la qualité de votre site, votre ancienneté ou votre budget. C'est une ligne de texte. Elle se corrige en quelques minutes, et c'est la première chose à regarder avant toute autre action de visibilité IA.

Tous les robots des IA ne font pas la même chose

L'erreur symétrique consiste à tout bloquer par réflexe défensif, ou à tout autoriser sans comprendre. Or les éditeurs d'IA n'envoient pas un seul robot : ils en envoient plusieurs, avec des rôles différents, et vous pouvez les traiter séparément.

La documentation publique d'OpenAI sur ses robots (« Overview of OpenAI crawlers ») distingue trois agents : GPTBot, qui collecte du contenu pouvant servir à l'entraînement des modèles ; OAI-SearchBot, qui alimente l'index de recherche utilisé pour afficher des liens dans ChatGPT ; et ChatGPT-User, qui va chercher une page parce qu'un utilisateur vient de poser une question qui l'exige.

Anthropic documente une répartition comparable pour Claude (page de support « Does Anthropic crawl data from the web ») : ClaudeBot pour la collecte, Claude-SearchBot et Claude-User pour la recherche et la visite déclenchée par un utilisateur. Perplexity documente de son côté PerplexityBot, qui alimente son index, et Perplexity-User, qui ouvre une page à la demande d'un utilisateur.

La conséquence pratique est celle-ci : bloquer l'agent d'entraînement ne vous retire pas des réponses, mais bloquer l'agent de recherche ou l'agent de visite, si. Une entreprise qui refuse que son contenu serve à entraîner un modèle tout en voulant être citée dans les réponses a donc un arbitrage réel à faire, robot par robot, plutôt qu'un interrupteur unique.

Le cas de Google mérite une mention à part. Google Search Central documente le jeton Google-Extended, qui contrôle l'usage de votre contenu pour l'entraînement des modèles Gemini, et précise explicitement qu'il n'a aucun effet sur l'inclusion de votre site dans la recherche Google. Refuser Google-Extended ne vous fait donc pas disparaître de Google, et ne suffit pas non plus à vous en protéger partout ailleurs.

Les blocages que vous n'avez pas écrits

Un robots.txt propre ne garantit pas l'accès. Le blocage le plus fréquent aujourd'hui se produit plus haut, au niveau du réseau, avant même que votre serveur ne voie la requête.

Cloudflare a annoncé le 1er juillet 2025 bloquer par défaut les robots des IA sur les nouveaux domaines qui passent par son réseau, le propriétaire devant explicitement autoriser ceux qu'il souhaite laisser entrer. Autrement dit, un site récent placé derrière ce type de service peut être invisible pour les moteurs IA sans qu'aucune ligne n'ait été écrite dans son robots.txt. La configuration du CDN ou du pare-feu applicatif fait alors la loi.

Deux autres causes reviennent souvent. Le pare-feu applicatif renvoie une erreur 403 aux visiteurs qu'il juge automatisés, ce qui inclut les robots des IA légitimes. Et le site ne rend son contenu qu'après exécution du JavaScript : le robot reçoit une coquille vide, sans texte à lire ni à citer.

Ces trois cas ont un point commun : personne ne les a voulus, et rien dans votre interface d'administration ne vous les signale. Ils se constatent uniquement en allant regarder ce que le serveur répond réellement.

Trois contrôles pour savoir où vous en êtes

Premier contrôle, le plus simple : ouvrez votre navigateur sur votre nom de domaine suivi de /robots.txt. Lisez les lignes User-agent et Disallow. Si vous y voyez GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot ou Perplexity-User suivis d'une interdiction, vous savez déjà pourquoi vous n'êtes pas cité. Notez que ce fichier est public : celui de vos concurrents l'est aussi.

Deuxième contrôle : demandez à votre hébergeur ou à votre développeur les journaux d'accès du serveur, et cherchez ces mêmes noms d'agents. Un robot qui passe et reçoit un code 200 lit votre page. Un robot qui reçoit un 403 ou un 429 se fait renvoyer. Un robot qui n'apparaît jamais dans les journaux ne vient pas du tout, ce qui pointe vers un blocage en amont, au niveau du CDN.

Troisième contrôle : regardez votre page telle qu'un robot la voit, c'est-à-dire sans JavaScript. Affichez le code source de la page dans le navigateur, avec un clic droit, et cherchez vos textes importants. S'ils n'y sont pas et n'apparaissent qu'une fois la page animée, un moteur qui ne rend pas le JavaScript n'a rien à citer.

Ces trois contrôles ne demandent aucun outil payant. Ils demandent juste qu'on les fasse, et ils font gagner un temps considérable avant d'engager le moindre effort éditorial.

Autoriser l'accès ne suffit pas à être cité

Rendre son site lisible par les robots des IA est une condition nécessaire, pas une condition suffisante. Aucune ligne de robots.txt ne fait apparaître votre nom dans une réponse : elle enlève seulement l'obstacle qui rendait cette apparition impossible.

L'ordre des opérations compte, et il est celui-ci. On vérifie d'abord que le moteur peut lire la page. On mesure ensuite s'il vous cite réellement, sur les questions que vos clients posent, au niveau de votre ville. On travaille enfin les signaux éditoriaux, la clarté, les données structurées, les mentions par des tiers. Commencer par le troisième point quand le premier est cassé revient à repeindre une porte murée.

Une dernière précaution d'honnêteté : personne ne peut vous garantir qu'un moteur IA vous citera, même avec un accès parfait et un contenu irréprochable. Les réponses varient selon le moteur, la formulation de la question et le jour. Ce qu'on peut faire, c'est mesurer votre situation à une date donnée, retirer les obstacles vérifiables comme ceux décrits ici, puis re-mesurer et comparer.

Questions fréquentes

Comment savoir si mon site bloque les robots des IA ?

Ouvrez votre nom de domaine suivi de /robots.txt dans un navigateur et cherchez les noms d'agents des moteurs IA (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot, Perplexity-User) associés à une ligne Disallow. Vérifiez ensuite les journaux d'accès de votre serveur : un robot qui reçoit un code 403 ou qui n'apparaît jamais est bloqué en amont, souvent par le CDN ou le pare-feu applicatif, pas par le fichier robots.txt.

Bloquer GPTBot m'empêche-t-il d'être cité par ChatGPT ?

Pas directement. La documentation d'OpenAI distingue GPTBot, qui collecte du contenu pour l'entraînement, d'OAI-SearchBot, qui alimente l'index de recherche, et de ChatGPT-User, qui ouvre une page à la demande d'un utilisateur. Bloquer le seul agent d'entraînement ne vous retire pas des réponses. Bloquer les agents de recherche ou de visite, en revanche, empêche le moteur d'aller lire votre page au moment où il rédige sa réponse.

Mon site est derrière Cloudflare : suis-je bloqué sans le savoir ?

C'est possible. Cloudflare a annoncé le 1er juillet 2025 bloquer par défaut les robots des IA sur les nouveaux domaines de son réseau, le propriétaire devant autoriser explicitement ceux qu'il veut laisser passer. Un site récent peut donc être invisible pour les moteurs IA alors que son robots.txt est parfaitement permissif. Le réglage se fait dans le tableau de bord du CDN, pas dans le fichier robots.txt.

Refuser Google-Extended me fait-il sortir de Google ?

Non. La documentation de Google Search Central précise que le jeton Google-Extended contrôle l'usage de votre contenu pour l'entraînement des modèles Gemini, et qu'il n'a aucun effet sur l'inclusion de votre site dans la recherche Google. C'est un arbitrage sur l'entraînement, pas un interrupteur de visibilité.

Un site en JavaScript peut-il être cité par une IA ?

Cela dépend de ce que le serveur renvoie avant l'exécution du JavaScript. Si le texte de vos pages n'apparaît qu'une fois le script exécuté, un moteur qui ne rend pas le JavaScript reçoit une page vide et n'a rien à citer. Le contrôle est simple : affichez le code source de la page dans le navigateur et cherchez-y vos textes importants. S'ils n'y sont pas, il faut les rendre disponibles côté serveur.

Si j'autorise tous les robots des IA, vais-je être cité ?

Non, et personne ne peut le promettre. Autoriser l'accès est une condition nécessaire mais pas suffisante : cela retire l'obstacle qui rendait la citation impossible, sans la provoquer. Une fois l'accès rétabli, il faut mesurer si les moteurs vous citent réellement sur les questions de vos clients, améliorer les signaux, puis re-mesurer. La citation reste une photographie à l'instant T, jamais une garantie.

Recevez nos conseils sur la visibilité IA.

Des conseils concrets pour mieux apparaître dans les réponses de ChatGPT, Claude, Perplexity et Gemini. Quelques emails utiles, jamais de spam.

En vous inscrivant, vous consentez à recevoir nos conseils par email (double opt-in). Cette finalité est distincte de l'envoi de votre rapport d'audit. Désabonnement possible à tout moment.

Recevez nos conseils par email