Savoir lire un fichier Log pour le SEO

C’est le genre de fichier qui fait peur au premier abord. Pas très joli, pas très ergonomique et bourré d’informations en tout genre, on aimerait l’oublier rapidement pour se focaliser sur son outil d’analyse statistiques par tags. Et pourtant, il y a pas mal d’avantages à savoir lire ce fichier.

Le fichier log présente des avantages non-négligeables pour le SEO :

• A moins d’éteindre le serveur qui stocke ce fichier, il est toujours accessible (combien de fois j’ai eu le droit à des problèmes de lenteur ou de retard dans la génération de mes statistiques Xiti Expert).
• Le fichier log garde la trace de tout type de bot et autre spider de moteurs. On peut ainsi savoir qui a tracké quoi.
• On peut savoir quel type de réponse HTTP a eu lieu via x requêtes sur x pages.
• A moins de s’y connaître un minimum en langage terminal, c’est difficile d’effacer par inadvertance un fichier log.
• D’une manière globale, on sait tout ce qui se passe sur le site avec ce fichier :) .

Lecture d’un fichier log :

• Date : date à laquelle la requête a été effectuée.
• Heure : l’heure a laquelle la requête a démarré.
• CS-Method : la méthode utilisée pour la requête (GET, POST, HEAD).
• CS-uri-stem : l’adresse de la page requêtée (sans les attributs supplémentaires).
• CS-uri-query : tous les attributs supplémentaires de l’URL.
• C-ip : l’adresse IP du navigateur qui fait la requête.
• CS(User-Agent) : Le nom et la version du navigateur.
• CS(Cookie) : les données cookies dans le navigateur qui fait la requête.
• ES(Referer) : le site web d’où provient le navigateur.
• SC-status : la réponse délivrée par le serveur lors de la requête (code HTTP).
• Time-taken : le temps nécessaire au serveur pour répondre à la requête émise. Pratique pour voir s’il y a un souci lors du crawl de votre site par exemple ou si le site était inaccessible à un moment donné.