Gérer les accès au fichier Robots.txt pour votre site web

Envie de tout savoir pour bien gérer son fichier robots.txt ?

Dans ce cas, l’article intitulé “Managing Robots Access to your website” du blog Janeandrobot regroupe vraiment tout ce que vous devez savoir sur ce fameux fichier robots.txt, indispensable lors du référencement d’un site web.

La présentation est très complète et bourrée d’exemples. J’attire notamment votre attention sur les différents protocoles d’exclusions pouvant être utilisés dans le fichier robots, accompagnés des moteurs de recherche qui les supportent. Un bon point également sur le test de l’implémentation des protocoles dans le fichier avec des captures à l’appui. Pour le reste, c’est du déjà vu mais le tout est bien très bien structuré. Un article à garder sans ses bookmarks !

A lire aussi :

• Sitemap : concentrez vos efforts dans le fichier robots.txt
• Le bon, la brute et le truand
• 9 types de fichiers Sitemaps supportés par Google Webmaster Tools
• WordPress : mauvaise gestion du fichier robots.txt
• Génération d’un fichier robots.txt avec Google