Le SEO, ou Search Engine Optimization, est un ensemble de techniques destiné à optimiser la visibilité d’un site web dans les pages de résultats de recherche (SERPs). Parmi ces techniques, la gestion du « budget de crawl » occupe une place importante, car elle influence directement la rapidité avec laquelle Google explore et indexe les nouvelles pages d’un site.
Or, cette question revêt une importance particulière pour les experts en SEO, à l’instar de notre agence Uplix.
Comprendre le budget de crawl de Google
Le « budget de crawl » est le nombre de pages qu’un robot d’exploration Google peut et veut explorer sur un site spécifique. De nombreux facteurs peuvent affecter le budget de crawl, notamment la taille du site, la fraîcheur du contenu, la structure du site, etc.
Impact du budget de crawl sur le référencement
Un site avec un budget de crawl élevé sera exploré plus fréquemment par Google, ce qui signifie que ses pages seront indexées plus rapidement. À l’inverse, un budget de crawl limité peut ralentir l’indexation de nouvelles pages, voire entraîner une indexation incomplète.
Pour que votre site maintienne un budget de crawl optimal, Illyes recommande de ne pas gaspiller de ressources sur des URL à faible valeur ajoutée qui peuvent détourner l’activité de crawl de votre contenu de haute qualité.
Illyes définit les URL à faible valeur ajoutée comme :
- La navigation à facettes et les identifiants de session
- Le contenu en double sur le site
- Les pages « Soft 404 »
- Les pages piratées
- Les espaces infinis et les proxies
- Le contenu de faible qualité et le spam
Réponse de Google à une question sur le budget de crawl
Il arrive que certaines questions sur le budget de crawl remontent à Google. Une récente question a mis en lumière un cas spécifique où Google a exploré de manière répétée une page à laquelle l’accès était bloqué. En réponse, Google a précisé que le budget de crawl est indépendant du fichier robots.txt d’un site, qui contrôle quelle page peut être explorée mais pas la fréquence à laquelle elle l’est.
Limiter le budget de crawl : une bonne idée ?
Lorsque Googlebot explore un site, il existe un nombre défini de connexions simultanées qu’il peut établir, ainsi qu’une durée d’attente fixée entre les récupérations. Cela s’appelle la « limite du taux de crawl », et chaque site a sa propre limite.
Cette limite est définie par deux facteurs. Le premier est la santé du crawl, signifiant que si le site répond rapidement, Googlebot peut utiliser davantage de connexions. Si le site commence à ralentir à cause d’un trop grand nombre d’explorations, alors Googlebot utilisera moins de connexions pour ne pas dégrader l’expérience utilisateur.
Le second facteur est la Search Console — les propriétaires de sites peuvent utiliser la Search Console pour définir manuellement une limite de taux de crawl dans la section des paramètres du site.
Comment optimiser votre budget de crawl?
Chez Uplix, nous recommandons plusieurs pratiques pour optimiser votre budget de crawl. Augmenter la vitesse de chargement de votre site, améliorer sa structure, supprimer le contenu obsolète et éviter les erreurs de serveur sont autant de techniques qui peuvent aider à augmenter votre budget de crawl.
- Plus le site est rapide, plus le taux de crawl est élevé.
- Surveillez le rapport d’erreurs de crawl dans la Search Console et gardez les erreurs serveur au minimum.
- L’exploration n’est pas un facteur de classement.
- Les URL alternatives, les URL AMP, le contenu intégré et les longues chaînes de redirection ont un impact négatif sur le budget de crawl.
- Les pages marquées comme nofollow peuvent toujours être explorées, et donc ne pas affecter le budget de crawl.
L’optimisation du budget de crawl fait partie intégrante d’une stratégie d’optimisation pour les moteurs de recherche. Pour maximiser la visibilité de votre site dans les SERPs et atteindre vos objectifs commerciaux, il est essentiel de comprendre cette notion et de savoir comment l’optimiser. Faites confiance à des experts comme l’agence Uplix pour vous aider à gérer efficacement votre budget de crawl.
