• Accueil
  • Blog
  • SEO : comment optimiser le Crawl budget - BETTERWEB
Qu'est-ce que le crawl budget?

Comment optimiser le crawl budget de son site ?

Le saviez-vous ? Seulement 40 % des pages de votre site web sont crawlées par Googlebot, le robot d’indexation de Google* ! Le « crawl budget » représente le nombre d’URL que Google peut et veut explorer. Comment optimiser le crawl budget pour améliorer le référencement naturel (SEO) de son site ?

 On vous dit tout dans cet article ! (qui provient d'une conférence donnée lors du SEO Camp 2017 à Paris)

Crawl budget : qu'est-ce-que c'est?


Le crawl budget (ou budget d’exploration) est le temps alloué par Google à l’exploration d’un site internet. Le crawl budget correspond au nombre d’URL que Googlebot, le robot d’indexation de Google, peut et veut explorer. Au plus un site web a de pages, au plus le crawl budget sera important.

Lorsqu’il crawle un site, Googlebot souhaite optimiser son temps de travail en crawlant ce qui est utile et pertinent.

Pour charmer Google et améliorer votre référencement naturel (SEO), favorisez donc un crawl rapide.

Vous avez envie d’en apprendre davantage sur la manière de plaire à Google ? N’hésitez pas à lire ou à relire cet article : « Appliquez ces 4 astuces et Google tombera instantanément amoureux de votre site ».

Optimisation du crawl budget : les gros sites sont concernés


Alors, à qui s’adresse cette notion d’optimisation de crawl budget ? Les sites très volumineux ou les sites plus modestes, ne contenant que quelques milliers de pages ?

Un site de 5000 pages est, en fait, très bien crawlé par Google. Pas besoin de se pencher sur la notion de crawl budget. De même, si Google indexe vos nouveaux contenus le jour même de leur publication, vous n’avez pas à vous préoccuper du crawl budget. Pour optimiser le crawl budget de petits sites, travaillez simplement sur l’analyse de page et la correction des erreurs HTTP.

Astuce : pour vérifier la propreté du code HTML de votre site, passez le test à cette adresse : http://validator.w3.org/. Si nécessaire, rectifiez les erreurs.

Le budget crawl ne concerne donc que les gros sites : ceux qui comportent plusieurs milliers de pages. Votre site fait 10 000 pages ou plus ? Penchez-vous sur l’optimisation du crawl budget de votre site web !

L'article de Google sur le crawl gudget (16 janvier 2017)


Le 16 janvier 2017, Google a publié sur son blog officiel pour les webmasters un article sur le crawl budget et a donné sa propre définition du crawl budget.

Dans cette communication, Google a indiqué que les URL à faible valeur SEO vont avoir un impact négatif sur le crawl budget. L’article de Google peut être résumé comme suit :

Google donne sa propre définition du crawl budgetGoogle a expliqué que pour optimiser son crawl budget, il convenait d’éviter les éléments suivants :

  • La navigation à facettes
  • Les identifiants de session
  • Le contenu en double sur le site
  • Les pages d’erreurs « soft 404 »
  • Les pages piratées Les espaces infinis et proxys
  • Le contenu de mauvaise qualité et le spam
  • La version AMP d’un site La version multilingue avec l’attribut « hreflang »
  • Le nombre de fichiers JavaScript et CSS

Comment mesurer son crawl budget?


Avant d’optimiser le crawl budget de votre site, calculez-le.

Comment procéder pour évaluer son crawl budget ?

  1. Rendez-vous dans la Search Console de Google. La Search Console vous indique combien de pages sont crawlées chaque jour. Mais attention ! Elle reste un outil limité pour mesurer son crawl budget. La Search Console permet de voir combien de pages sont crawlées chaque jour, mais pas de savoir lesquelles.
  2. Pour davantage de précision, procédez à une analyse de logs en segmentant les URL. L’analyse de logs permet de visualiser exactement quelles sont les pages crawlées par Google chaque jour.

Pour en apprendre davantage sur l’analyse de log, je vous conseille la lecture de cet article : « Qu’est-ce que l’analyse de logs ? »

Procédez à l’analyse de logs tous les 30 jours. Le reporting sur 30 jours est assez pratique.

Attention, Googlebot crawle aussi les pages orphelines. Pensez à mesurer le taux de crawl utile. Analyser le taux de crawl sur les pages compliants ou indexables uniquement permet d’analyser le pourcentage de pages utiles crawlées par Google.

COMMENT optimiser SON CRAWL BUDGET?


Alors concrètement, comment maximiser son crawl budget ?

Le temps de chargement 

Commencez par optimiser le temps de chargement de votre site.

Les erreurs de crawl 

Ensuite, prêtez une attention particulière aux pages qui ont de mauvais codes HTTP : elles vont avoir des impacts négatifs sur le crawl budget.

Que faire ?

Réduire au maximum les erreurs HTTP.

PageRank et crawl budget 

Sur un site web, Googlebot inspecte les pages par ordre de PageRank. Les pages qui possèdent le plus fort PageRank sont crawlées en priorité. En fonction des ressources qu’il a encore, Googlebot crawle ensuite le reste du site. Les pages qui disposent d’un PageRank beaucoup moins important sont donc beaucoup moins explorées. Pour maximiser le crawl budget, réduisez considérablement la distribution du PageRank sur votre site.

Les pages à faible valeur SEO 

Les pages à faible valeur SEO sont à éliminer. En supprimant ces contenus médiocres, les pages importantes recevront davantage de jus. Les pages non indexables et les facettes sans potentiel SEO contribuent à la dilution de PageRank.

Que faire ?

  • Analyser le pourcentage du PageRank interne
  • Réduire au maximum le nombre de pages à faible valeur SEO dans la structure du site.

Un site contient également des pages vides ou quasiment vides. Identifiez ces pages et sortez-les de la structure de votre site. Elles ont très peu de chance de générer du trafic organique et contribuent à la dilution du PageRank.

Que faire ?

  • Identifier les pages avec très peu de contenu
  • Ajoutez du contenu sur ces pages ou supprimez-les de la structure du site. Si ce sont des pages stratégiques, augmentez le texte. Par exemple, une page produit qui n’a pas de descriptif doit être mise à jour.
  • Bloquer les pages vides dans le robots.txt.

N’oubliez pas de retirer les liens hypertextes dans ces pages ainsi que tous les liens qui pointent vers les pages bloquées.

Les pages profondes

La profondeur d’une page est le nombre minimum de clics pour atteindre une page depuis la page d’accueil. Conséquence : plus une page est profonde, moins elle tendra à recevoir du PageRank. Le taux de crawl baisse avec l’augmentation de la profondeur. Plus les pages sont profondes dans la structure, moins il est facile pour Google de les crawler. Réduire la profondeur des pages importantes.

Les pages orphelines

Les pages orphelines ne sont pas linkées dans la structure du site, mais sont crawlées par Google.

Que faire ?

Si les pages orphelines ont du potentiel SEO, linkez-les dans la structure. Si elles n’ont pas de potentiel SEO, bloquez-les au crawl des moteurs de recherches (robots.txt). Identifiez, parmi les pages orphelines, celles qui ont du potentiel SEO. Celles qui n’ont pas de potentiel, bloquez-les en utilisant le fichier robots.txt.

Analyser et nettoyer ses sitemaps 

Des sitemaps « sales » contribuent à générer des pages orphelines. Que faire ? Identifier les pages des sitemaps non linkées dans la structure du site. Nettoyer les sitemaps si ces pages ne sont pas censées s’y trouver.

L’obsolescence des pages 

Estimez le temps de retenue dans l’index des pages. Google va garder les pages d’un site plus ou moins longtemps dans son index. Analyser l’obsolescence des pages permet de savoir à quelle fréquence optimale les pages d’un site devraient être crawlées par Google.

En conclusion


Pour optimiser votre crawl budget dans les règles de l’art, procédez par étape. Attaquez-vous d’abord à la mesure de votre crawl budget. Ensuite, optimisez le crawl budget.

Si vous souhaitez aller encore plus loin, prenez en compte l’obsolescence des pages. Cette analyse va nous permettre d’obtenir une mesure de taux de crawl encore plus pertinente.

Astuce : Par quoi commencer si l’on n’a pas beaucoup de temps ?

  • Travailler sur les erreurs de codes HTTP
  • Faire attention au linking interne. Les pages importantes doivent recevoir assez de liens internes.
  • Le linking horizontal est également négligé.

Voilà, il ne reste plus qu’à vous y mettre !

* Étude basée sur les clients de Botify

Cet article est tiré d’une conférence donnée au SEO Camp 2017 par Alpha Keita @_alphaKeita_

Betterweb

Rue Emile Francqui 6/3
1435 Mont-Saint Guibert
Belgique
TVA BE0630.618.081
IBAN BE68 1430 9330 7334




BETTERWEB@2015
Mentions légales et Conditions générales
Plan du site

Réalisation Web : Scarabee2d


Restez informé !



Contactez-nous

+32(0)475 30 94 83
info(at)betterweb.be