80legs.com : un Xenu en ligne pour crawler votre site web

80legs est un service de crawl en ligne. Si la majorité d’entre-nous connaît bien le célèbre Xenu et peut-être le (moins célèbre) Link Examiner, j’ai récemment mis la main sur 80legs.

Cependant, contrairement à ces logiciels, 80legs propose 3 formules dont 2 payantes. De mon côté, je suis en train de tester la formule gratuite, qui, selon moi suffit amplement pour un blog ou un site vitrine de taille moyenne. Effectivement, la formule gratuite permet de crawler jusqu’à 100 000 pages, ce qui est déjà pas si mal, surtout si vous ôtez les sous-domaines, liens images et liens externes :).

En outre, contrairement à Xenu, 80legs propose quelques options de configurations personnalisés avant de lancer le crawl tel que :

  • Choix de l’environnement de test (votre serveur ou ceux de 80legs).
  • Restrictions des zones de crawls (domaines, sous-domaines, liens externes).
  • Définition du niveau de profondeur maximum de crawl.
  • Vitesse de crawl : perso, j’ai choisi lent, histoire d’être sûr de ne pas rendre mon site indisponible.
  • Nombre maximal d’URL à crawler : dans la version gratuite, ce nombre se limite à 100 000.
  • Choix des pages à crawler selon le MIME (Internet Media Type) : selon le type de page, vous pouvez ordonner à 80legs de la crawler…ou pas.
  • Lister le nombre d’occurrences pour des mots-clés : entrez les expressions et des statistiques apparaîtront dans les résultats pour ces mots-clés.
  • Expression régulière : possibilité d’analyser des mots-clés ou des expressions régulières… A vous de voir !

Quelques heures auront suffit à crawler un blog de 1500 pages environ. Les résultats sont stockés en ligne 3 jours seulement mais vous pouvez les exporter pour les avoir en local.

9 réflexions au sujet de “80legs.com : un Xenu en ligne pour crawler votre site web”

  1. Je vais le tester de suite.
    Pour les gens qui l’ont testé vous en pensez quoi par rapport à Xenu ?

  2. Pour moi, c’était un service de location de crawler web.
    L’utiliser pour vérifier les liens cassés, c’est pas taper sur une mouche avec une bombe atomique ?

  3. Pour moi, c’était un service (couteux) de location de crawler web.
    L’utiliser pour vérifier les liens cassés, c’est pas taper sur une mouche avec une bombe atomique ?

  4. Je préfère largement Xenu ou LinkExaminer à 80legs (ou à Link Tiger de LaurentB), car ils sont gratuits.

    Ils auront tendance aussi à faire un crawl plus rapide (Xenu met moins de 20 min à crawler plus de 1500 URLs), et les données sont stockées pour toujours sur l’ordinateur.

    Et Xenu permet aussi de restreindre des sections lors de crawl, ainsi que le niveau d’indexation.

    Pour ceux intéressé par Xenu, jetez donc un oeil à mon guide d’utilisation ici : Xenu Link Sleuth.

    J’en ferais un aussi pour LinkExaminer dès que j’aurais le temps.

  5. Xenu est le seul logiciel qui me fait garder Windows sur mon Mac ;) Super article, merci car je ne connaissais pas tous les trucs!

Les commentaires sont fermés.