Le budget de crawl, c’est le temps que passe le robot de Google « GoogleBot » sur votre site. Ce temps est limité il faut donc l’optimiser pour éviter le passage de Google sur des pages inutiles !
Ce travail permet de comprendre le fonctionnement de Google pour référencer une page. Voici les critères qui le définissent.
Le Budget Crawl en SEO, une mesure d’indexation
Le budget crawl est un terme bien connu des référenceurs mais encore très obscur pour de nombreuses personnes.
Avant d’indexer et d’afficher des pages en résultats, les moteurs de recherche comme Google procèdent à une étape au préalable. Cette étape, essentielle au SEO et au bon fonctionnement des moteurs de recherche, est le crawl.
Le crawl consiste en l’exploration par des robots des pages web d’un site pour les référencer et les classer selon des critères de qualité définis par l’algorithme.
Le budget crawl représente la vitesse de l’exploration et la quantité de pages que Google va explorer sur un site. Si la plupart des sites web ne sont pas directement concernés par le budget crawl dans leur SEO, certains sites doivent y accorder une importance particulière dans des cas de figure spécifiques.
Qu’est-ce donc que le budget crawl et quels sont les sites concernés ? Quel impact le budget crawl a-t-il sur le référencement naturel et comment l’optimiser ?
Le budget crawl : définition et explications
Il existe de nombreuses définitions sur ce qu’est le budget crawl en SEO. Dans un post de Google Search Central de 2017, l’éditeur du moteur de recherche a apporté des précisions sur la définition du budget crawl. En résumé, le budget crawl est l’addition de deux éléments distincts :
Le taux limite de crawl
Le taux limite de crawl est la limite d’exploration maximale de pages pour un site donné. Elle représente le nombre maximum de connexions simultanées que Googlebot utilise pour explorer un site, ainsi que le temps d’attente entre deux récupérations de contenu. Ce taux peut varier en fonction de la performance du site ainsi que de la limite de crawl fixée par les développeurs dans la Search Console.
Le taux limite de crawl est la limite de pages crawlées que Google va imposer à ses robots pour un site donné afin de ne pas surcharger ce dernier et nuire à l’expérience utilisateur. Ce taux peut nuire à la quantité de pages indexées par Google.
La demande de crawl
L’exploration du Googlebot est aussi conditionnée par la demande de crawl. Cette dernière varie en fonction de la popularité des URLs explorées, mais aussi de la fraîcheur des URLs. Les systèmes chargés d’explorer essaient d’éviter de garder des URL obsolètes ou vieillissantes dans l’index du moteur de recherche. Alors, n’attendez plus pour actualiser votre contenu !
<h2> Quels sites doivent se préoccuper du Budget Crawl ? <h2>
La plupart des sites web n’ont, de manière générale, pas à se soucier du budget crawl pour le référencement de leurs pages. Il existe néanmoins deux exceptions notables :
- Les sites récents, qui, par définition, ne sont pas encore populaires. Les robots de Google peuvent dans un premier temps moins explorer ces sites et ne pas indexer toutes les pages et URLs indexables.
- Les sites web comportant plusieurs milliers d’URL : le taux limite de crawl peut dans certains cas empêcher l’exploration de certaines pages. Il faut donc impérativement pour les sites concernés optimiser le budget crawl pour permettre au contenu visant à être exploré par Googlebot de l’être.
S’il est nécessaire d’optimiser son budget crawl, cela est notamment lié à l’impact qu’a le budget crawl sur le SEO.
L’impact du budget crawl sur le SEO
Vous l’aurez compris : le budget crawl a un impact certain sur le SEO et influence grandement le référencement des pages d’un site web. Par exemple, un budget crawl insuffisant entraînera un retard dans l’actualisation du contenu d’un site. L’ajout de nouvelles pages peut être omis, conduisant à une exploration et une indexation tardives.
Une exploration efficace, et donc un référencement optimisé des pages web d’un site, passe donc nécessairement par un budget crawl lui aussi efficace. Les robots de Google doivent impérativement explorer le contenu et les liens qui apportent de la valeur ajoutée à un site web.
Une chose importante est également à prendre en considération lorsque l’on évoque le budget crawl dans le SEO : l’exploration en elle-même n’a pas d’impact sur votre positionnement Google. En effet, le positionnement est déterminé une fois que l’exploration est effectuée, en fonction du page rank notamment. Toutefois, une exploration insuffisante ou des erreurs d’exploration peuvent expliquer un moins bon positionnement voire une absence d’indexation pour les pages moins explorées.
Comment optimiser son budget crawl ?
Optimiser son budget crawl est donc une condition sine qua non pour faire perdurer sa stratégie SEO. Optimiser son budget crawl, c’est optimiser l’indexation de son site.
L’optimisation du budget crawl pour faciliter l’exploration des robots de Google passe par plusieurs facteurs :
- La vitesse de chargement
- La fraîcheur du contenu
- Le maillage des pages explorées.
Ces facteurs sont à considérer avec attention pour optimiser le budget crawl d’un site. Un site web arrivant à tisser des liens entre ces trois éléments verra ses pages mieux référencées.
Afin d’optimiser le budget crawl, l’amélioration de votre site web est de mise. Vous avez plusieurs possibilités pour cela :
Repensez la structure de votre site
Vous pouvez par exemple repenser la structure et l’architecture de votre site, afin de faciliter le travail du Googlebot. Bien implémenter les liens présents sur votre site est également primordial. Un bon maillage interne peut en effet permettre aux robots des moteurs de recherche d’atteindre plus rapidement les pages à explorer. Par conséquent, inspecter et corriger les liens non-fonctionnels régulièrement fait aussi partie de votre travail d’optimisation du budget crawl.
Actualisez votre contenu
En termes de contenu, là aussi, votre site doit être entretenu et mis à jour régulièrement pour qu’il paraisse qualitatif aux yeux de Google. L’ajout de nouvelles pages, et donc d’un contenu nouveau, augmentera la pertinence de votre site pour Googlebot. De plus, cela vous permet d’améliorer votre SEO de manière générale (en vous positionnant sur de nouveaux mots-clés, par exemple). Dans la même ligne, il vous faut faire attention au contenu dupliqué et le supprimer le cas échéant.
Enfin, comme souvent en SEO, privilégiez la qualité à la quantité. S’il est important d’avoir suffisamment de contenu pour la popularité d’un site, ce sont les pages avec du contenu qualitatif qui permettront à votre site de se démarquer. Le budget crawl sera mieux réparti avec du contenu qualitatif, et l’exploration des pages mieux effectuée.
