Crawlers IA : rendre son site lisible par GPTBot, PerplexityBot et Google-Extended

La chaîne qui mène d'une page publiée à une citation dans une réponse générée comporte trois maillons : être atteint, être rendu, être compris. La plupart des sites qui se plaignent d'être absents des réponses IA échouent au premier ou au deuxième, jamais au troisième. C'est une bonne nouvelle : ce sont les deux plus faciles à corriger.

1. Être atteint : l'inventaire des crawlers

• Googlebot : alimente l'index Search, donc AI Overviews et AI Mode. Non négociable.
• Google-Extended : concerne l'entraînement de modèles, pas l'affichage en recherche.
• GPTBot et OAI-SearchBot : indexation et navigation en direct pour ChatGPT.
• PerplexityBot : récupération des sources pour Perplexity.
• ClaudeBot : récupération pour Claude.
• Bingbot : alimente encore une partie des réponses de plusieurs assistants.

L'arbitrage n'est pas technique mais éditorial : accepter d'être résumé pour être cité, ou refuser d'être résumé et disparaître des réponses. Un éditeur de presse et un site de services locaux n'ont pas le même intérêt. Ce qu'il faut éviter, c'est un blocage subi, hérité d'un modèle de robots.txt copié sans relecture.

2. Être rendu : la question du JavaScript

Un contenu injecté après hydratation existe pour l'utilisateur et pas nécessairement pour le crawler. Le test tient en une commande : récupérer la page sans exécuter de script et vérifier que le texte principal, les titres et les liens internes sont présents dans le HTML renvoyé. S'ils manquent, aucun travail éditorial ne compensera.

3. Être compris : structure et signaux

Une hiérarchie de titres cohérente, un titre unique par page, des liens internes descriptifs, des tableaux en HTML plutôt qu'en image, un balisage exact : rien de nouveau, mais chaque approximation coûte désormais plus cher, parce que l'extraction se fait au niveau du passage et non de la page.

Le contrôle à mettre en place une fois pour toutes

• Un relevé mensuel des hits par user-agent dans les logs, avec les codes de statut.
• Une alerte sur les 5xx et sur les pics de temps de réponse : un crawler qui rencontre des erreurs réduit sa fréquence.
• Un contrôle du sitemap : URL canoniques uniquement, pas de redirections, pas de pages bloquées.
• Une vérification trimestrielle du HTML brut sur les dix pages les plus stratégiques.

Ces contrôles ne produisent pas de citation à eux seuls. Ils suppriment simplement les raisons pour lesquelles un bon contenu reste invisible — et c'est, dans la majorité des audits, l'essentiel du problème.