6 moyens pour augmenter la fréquence de crawl sur un site

La fréquence du crawl d’un moteur de recherche est un élément à prendre en compte lors du référencement d’un site web ou d’un ensemble de pages web. En effet, si celle-ci est quasi inexistante, cela risque de prendre beaucoup plus de temps avant d’indexer les contenus, et surtout, avant de les évaluer. Ce post, sous la forme d’un mémo, va juste rappeler quelques bons points à suivre :

  • Mettre à jour régulièrement son contenu : le référencement d’un site n’est pas ponctuel, il se fait en permanence, sur le moyen et le long terme. Montrez au moteur de recherche que votre site vit et est dynamique en rajoutant régulièrement du contenu éditorial non artificiel. Vous avez un site éditorial ? J’ai presque envie de vous dire de pondre 5 articles par jour… Et par catégorie. Oui, je sais, je suis un peu fou mais j’aime avoir de temps à autre une vision fortement utopiste. :)
  • S’assurer de ne pas avoir de contenus dupliqués en interne : observez bien votre structure de liens interne, afin de vérifier qu’il n’est pas possible d’accéder à un même contenu selon 3 urls différentes. Cela entraînerait juste une complexité supplémentaire dans la procédure de crawl du moteur de recherche et ce dernier déteste perdre du temps…
  • Obtenir des liens entrants : backlinks, liens permanents, commentaires en dofollow, plus vous aurez de liens entrants “propres et lisibles” vers votre site, plus le moteur se confrontera à une démultiplication des chemins d’accès étoffée vers un domaine spécifique. L’idéal est bien sûr d’obtenir des liens entrants provenant de sites pour lesquels le crawl vous semble régulier, sans pour autant que ces liens appartiennent à des pages de type “fermes de liens”.
  • Instaurer proprement les Metas : aussi bête que cela puisse paraître, si toutes vos pages ont des Meta Title et une Meta Description différentes, le robot aura plus de chance de crawler l’intégralité de vos pages… Evitez les descriptions similaires sur toutes les pages, ou pire encore, les Meta Title communes à un ensemble de pages *sigh*.
  • Ajuster (si possible) la fréquence du crawl Google depuis Google Webmaster Tools : cet outil de monitoring gratuit fourni par Google vous permet, entre autre, de surveiller les tendances du crawl de votre site : vous pouvez ainsi voir l’évolution du nombre de pages crawlées/jour, le nombre de kb téléchargés par jour, ainsi que le temps dépensé par le moteur pour télécharger vos pages (plus il est court, mieux c’est). Et si vous avez un peu de chance, vous pourrez donc accélérer la fréquence du crawl Google pendant 90 jours (pratique lors d’une refonte d’un site). Attention, cocher cette option entraîne une légère charge supplémentaire pour vos serveurs (et oui, Google fera plus de requêtes qu’avant sur votre site).
  • Avoir des pages légères et un serveur réactif : vérifiez que le temps de réponse du serveur est rapide, que le poids de la home n’est pas excessif (moins de 100ko), ainsi que le poids des pages du site en général. Plus une page sera lourde, moins le moteur voudra passer dessus. 100ko, ça peut paraître ridicule lorsque l’on se promène avec nos disques de 500go, mais pour un moteur qui doit crawler des milliards de pages web à travers le globe, ça peut jouer beaucoup…

11 réflexions au sujet de “6 moyens pour augmenter la fréquence de crawl sur un site”

  1. Pour s’assurer que le crawl se déroule normalement, rien ne vaut un petit test avec un outil comme XML Sitemap (http://www.auditmypc.com/xml-sitemap.asp).
    On peut aussi vérifier le temps de chargement des pages avec les outils recommandés ici : http://www.capitaine-commerce.com/index.php/2008/06/19/651-mon-site-est-lent-oui-mais-pourquoi

    Sinon, quelques autres trucs :
    – prévoir des remontées sur la homepage pour tous les nouveaux contenus. Ils seront visibles plus rapidement.
    – échelonner le link building dans le temps. Le but est l’obtention de liens d’une façon régulière en évitant les longues périodes où aucun lien nouveau n’est ajouté.
    – diminuer le nombre de niveaux de profondeur pour permettre aux robots de crawler un volume plus important de pages à chaque passage

  2. Concernant le niveau de profondeur, je ne pense pas que ce soit forcément un problème. Du contenu bien linké à un niveau 4 sera sans doute plus pertinent qu’un contenu indexé de manière linéaire à un niveau 3…

    Pour le sitemap, plus le temps, plus j’ai des doutes sur son efficacité.

  3. je suis un peu septique par rapport au #5, je n’ai pas encore vu d’impact notable sur la fréquence & le volume de page crawlé /jour en essayant d’isoler et en faisant varier cet élément seul.

    Sur des gros sites les bots restent presque constamment connecté. Ce n’est dès lors plus la fréquence mais bien l’efficacité du crawl qu’il faut monitorer. ça tombe bien les astuces que tu donnes vont dans ce sens.

  4. Merci pour ces conseils. :)

    A ce propos, j’aurai voulu savoir comment et où augmenter la fréquence de crawl de Google car je vais justement mettre en ligne une nouvelle version de mon site avec énormément de changements (présents d’ailleurs dans les conseils).

  5. Tu dois avant tout te créer un compte Google Webmaster Tools pour ton site (je l’ai évoqué dans le post). Une fois connect à ton tableau de bord, sélectionne ton site, va dans la partie “Outils” puis sélectionne “Définir la vitesse d’exploration”.

    Attention, ce n’est pas donné à tout le monde de pouvoir mettre sur plus rapide… :)

  6. Il est important d’avoir des Backlinks profonds pour que Google indexe un site correctement et en profondeur…

  7. Salut Ramenos,

    L’aspect “page légère” est souvent oublié, mais je crois réellement à sa puissance. Sur un site j’ai passé d’un code HTML4 (tableaux pour la mise en page) à du XHTML (tout dans un CSS), et j’ai noté une évolution significative des positions. Maintenant, il faudrait le prouver ;)

    On sait que le tps de chargement est utile pour les Adwords, donc on peut déjà y penser pour cela.

  8. Mon Googlebot à moi il fait comme les 4 premières lettres du mot ramenos :il ….
    111 Ko tout compris pour la page d’accueil c’est pourtant pas insurmontable. Ben nan : c’est quand il veut ce feignant.
    Mais il faut que je m’en prenne qu’à moi : je n’écris pas 5 articles par jour et j’ai peu de BL. :-)

  9. vous notez commentaires en dofollow et ne suivez pas l’exemple sur les commentaires de cette page !
    corinne

Laisser un commentaire