La fréquence du crawl d’un moteur de recherche est un élément à prendre en compte lors du référencement d’un site web ou d’un ensemble de pages web. En effet, si celle-ci est quasi inexistante, cela risque de prendre beaucoup plus de temps avant d’indexer les contenus, et surtout, avant de les évaluer. Ce post, sous la forme d’un mémo, va juste rappeler quelques bons points à suivre :

  • Mettre à jour régulièrement son contenu : le référencement d’un site n’est pas ponctuel, il se fait en permanence, sur le moyen et le long terme. Montrez au moteur de recherche que votre site vit et est dynamique en rajoutant régulièrement du contenu éditorial non artificiel. Vous avez un site éditorial ? J’ai presque envie de vous dire de pondre 5 articles par jour… Et par catégorie. Oui, je sais, je suis un peu fou mais j’aime avoir de temps à autre une vision fortement utopiste. :)
  • S’assurer de ne pas avoir de contenus dupliqués en interne : observez bien votre structure de liens interne, afin de vérifier qu’il n’est pas possible d’accéder à un même contenu selon 3 urls différentes. Cela entraînerait juste une complexité supplémentaire dans la procédure de crawl du moteur de recherche et ce dernier déteste perdre du temps…
  • Obtenir des liens entrants : backlinks, liens permanents, commentaires en dofollow, plus vous aurez de liens entrants « propres et lisibles » vers votre site, plus le moteur se confrontera à une démultiplication des chemins d’accès étoffée vers un domaine spécifique. L’idéal est bien sûr d’obtenir des liens entrants provenant de sites pour lesquels le crawl vous semble régulier, sans pour autant que ces liens appartiennent à des pages de type « fermes de liens ».
  • Instaurer proprement les Metas : aussi bête que cela puisse paraître, si toutes vos pages ont des Meta Title et une Meta Description différentes, le robot aura plus de chance de crawler l’intégralité de vos pages… Evitez les descriptions similaires sur toutes les pages, ou pire encore, les Meta Title communes à un ensemble de pages *sigh*.
  • Ajuster (si possible) la fréquence du crawl Google depuis Google Webmaster Tools : cet outil de monitoring gratuit fourni par Google vous permet, entre autre, de surveiller les tendances du crawl de votre site : vous pouvez ainsi voir l’évolution du nombre de pages crawlées/jour, le nombre de kb téléchargés par jour, ainsi que le temps dépensé par le moteur pour télécharger vos pages (plus il est court, mieux c’est). Et si vous avez un peu de chance, vous pourrez donc accélérer la fréquence du crawl Google pendant 90 jours (pratique lors d’une refonte d’un site). Attention, cocher cette option entraîne une légère charge supplémentaire pour vos serveurs (et oui, Google fera plus de requêtes qu’avant sur votre site).
  • Avoir des pages légères et un serveur réactif : vérifiez que le temps de réponse du serveur est rapide, que le poids de la home n’est pas excessif (moins de 100ko), ainsi que le poids des pages du site en général. Plus une page sera lourde, moins le moteur voudra passer dessus. 100ko, ça peut paraître ridicule lorsque l’on se promène avec nos disques de 500go, mais pour un moteur qui doit crawler des milliards de pages web à travers le globe, ça peut jouer beaucoup…