Crawlers IA : rendre son site lisible par GPTBot, PerplexityBot et Google-Extended
Un site invisible pour les crawlers d'IA ne sera jamais cité par elles. Inventaire des robots qui comptent en 2026, arbitrages robots.txt, et méthode de vérification côté serveur.
01 août 2026 · Rédaction MindDeX · 10 min
- GPTBot
- PerplexityBot
- ClaudeBot
- Google-Extended
- robots.txt IA
- rendu serveur SSR
- analyse de logs
- crawl budget
Réponse courte
Pour être cité par les moteurs génératifs, un site doit être accessible aux crawlers concernés : Googlebot pour AI Overviews et AI Mode, GPTBot et OAI-SearchBot pour ChatGPT, PerplexityBot pour Perplexity, ClaudeBot pour Claude. Bloquer Google-Extended n'affecte pas l'affichage dans les AI Overviews mais retire le contenu de certains entraînements. La condition technique décisive reste un rendu serveur : un contenu injecté uniquement par JavaScript côté client est souvent invisible pour les crawlers non-Google.
La chaîne qui mène d'une page publiée à une citation dans une réponse générée comporte trois maillons : être atteint, être rendu, être compris. La plupart des sites qui se plaignent d'être absents des réponses IA échouent au premier ou au deuxième, jamais au troisième. C'est une bonne nouvelle : ce sont les deux plus faciles à corriger.
1. Être atteint : l'inventaire des crawlers
- Googlebot : alimente l'index Search, donc AI Overviews et AI Mode. Non négociable.
- Google-Extended : concerne l'entraînement de modèles, pas l'affichage en recherche.
- GPTBot et OAI-SearchBot : indexation et navigation en direct pour ChatGPT.
- PerplexityBot : récupération des sources pour Perplexity.
- ClaudeBot : récupération pour Claude.
- Bingbot : alimente encore une partie des réponses de plusieurs assistants.
L'arbitrage n'est pas technique mais éditorial : accepter d'être résumé pour être cité, ou refuser d'être résumé et disparaître des réponses. Un éditeur de presse et un site de services locaux n'ont pas le même intérêt. Ce qu'il faut éviter, c'est un blocage subi, hérité d'un modèle de robots.txt copié sans relecture.
2. Être rendu : la question du JavaScript
Un contenu injecté après hydratation existe pour l'utilisateur et pas nécessairement pour le crawler. Le test tient en une commande : récupérer la page sans exécuter de script et vérifier que le texte principal, les titres et les liens internes sont présents dans le HTML renvoyé. S'ils manquent, aucun travail éditorial ne compensera.
3. Être compris : structure et signaux
Une hiérarchie de titres cohérente, un titre unique par page, des liens internes descriptifs, des tableaux en HTML plutôt qu'en image, un balisage exact : rien de nouveau, mais chaque approximation coûte désormais plus cher, parce que l'extraction se fait au niveau du passage et non de la page.
Le contrôle à mettre en place une fois pour toutes
- Un relevé mensuel des hits par user-agent dans les logs, avec les codes de statut.
- Une alerte sur les 5xx et sur les pics de temps de réponse : un crawler qui rencontre des erreurs réduit sa fréquence.
- Un contrôle du sitemap : URL canoniques uniquement, pas de redirections, pas de pages bloquées.
- Une vérification trimestrielle du HTML brut sur les dix pages les plus stratégiques.
Ces contrôles ne produisent pas de citation à eux seuls. Ils suppriment simplement les raisons pour lesquelles un bon contenu reste invisible — et c'est, dans la majorité des audits, l'essentiel du problème.
FAQ · Réponses directes