80legs est un service de crawl en ligne. Si la majorité d’entre-nous connaît bien le célèbre Xenu et peut-être le (moins célèbre) Link Examiner, j’ai récemment mis la main sur 80legs.

Cependant, contrairement à ces logiciels, 80legs propose 3 formules dont 2 payantes. De mon côté, je suis en train de tester la formule gratuite, qui, selon moi suffit amplement pour un blog ou un site vitrine de taille moyenne. Effectivement, la formule gratuite permet de crawler jusqu’à 100 000 pages, ce qui est déjà pas si mal, surtout si vous ôtez les sous-domaines, liens images et liens externes :).

En outre, contrairement à Xenu, 80legs propose quelques options de configurations personnalisés avant de lancer le crawl tel que :

  • Choix de l’environnement de test (votre serveur ou ceux de 80legs).
  • Restrictions des zones de crawls (domaines, sous-domaines, liens externes).
  • Définition du niveau de profondeur maximum de crawl.
  • Vitesse de crawl : perso, j’ai choisi lent, histoire d’être sûr de ne pas rendre mon site indisponible.
  • Nombre maximal d’URL à crawler : dans la version gratuite, ce nombre se limite à 100 000.
  • Choix des pages à crawler selon le MIME (Internet Media Type) : selon le type de page, vous pouvez ordonner à 80legs de la crawler…ou pas.
  • Lister le nombre d’occurrences pour des mots-clés : entrez les expressions et des statistiques apparaîtront dans les résultats pour ces mots-clés.
  • Expression régulière : possibilité d’analyser des mots-clés ou des expressions régulières… A vous de voir !

Quelques heures auront suffit à crawler un blog de 1500 pages environ. Les résultats sont stockés en ligne 3 jours seulement mais vous pouvez les exporter pour les avoir en local.