Budget de crawl et indexation : lire ses logs plutôt que deviner

Quand une page n'apparaît nulle part, la première réaction consiste à réécrire son contenu. Dans une majorité de cas, le problème est en amont : la page n'a jamais été explorée, ou l'a été si rarement que le moteur n'en a qu'une version obsolète.

Ce que consomme réellement le budget

• Les URL générées par des paramètres de tri, de filtre ou de session, multipliées par combinaison.
• Les redirections en chaîne, qui coûtent plusieurs requêtes pour une seule page utile.
• Les pages d'erreur renvoyées avec un code 200, indistinguables d'un contenu valide.
• Les ressources lourdes servies sans cache, qui allongent chaque passage.

Lire les logs en quatre questions

• Quelles URL reçoivent le plus de passages, et correspondent-elles aux pages stratégiques ?
• Quelles pages stratégiques ne reçoivent aucun passage sur trente jours ?
• Quelle part des requêtes se termine en 3xx, 4xx ou 5xx ?
• Le temps de réponse moyen se dégrade-t-il aux heures de forte exploration ?

Corriger dans le bon ordre

On commence par supprimer le gaspillage, ensuite on raccourcit les chemins internes vers les pages importantes, enfin on améliore le temps de réponse. Réécrire le contenu vient après : un texte excellent sur une URL jamais visitée ne produit aucun résultat.

L'indexation n'est pas un droit acquis. C'est le résultat d'un arbitrage permanent entre le coût d'exploration d'un domaine et la valeur que le moteur en attend.