Lors du référencement d’un site web, il est vital de voir si celui-ci est bien pris en compte par les moteurs de recherche. De ce fait, il arrive parfois qu’aucune page d’un site n’apparaisse dans l’index Google. Avant de penser au blacklistage, il est important de vérifier quelques points :

Vous avez bloqué le spider dans votre fichier robots.txt :

Une erreur fréquente, qui se corrige rapidement mais dont l’impact est immédiat sur les moteurs de recherche. Si vous avez par erreur défini une règle de non-indexation de votre site dans ce fichier, n’espérez pas apparaître dans l’index de n’importe quel moteur de recherche. Si vous avez un fichier robots.txt dont le contenu ressemble à ce qui suit, vous risquez fortement de ne jamais voir votre site dans l’index Google.

user-agent : *
disallow : /

Votre serveur est beaucoup trop lent :

Google ne va pas pénaliser directement votre site dans ce cas. En fait, le problème va se poser si votre serveur ne peut répondre aux requêtes effectuées par le robot, afin que ce dernier puisse accéder à l’information. Si Google n’arrive pas à accéder à vos différentes pages, il ne va pas se mettre en pause et attendre que le serveur puisse lui réponde. Il va continuer sa route et aller crawler les autres sites concurrents alors que seules quelques pages de votre site auront été indexées. La faute ne revient pas ici à Google. Pour corriger cela, faites en sorte que votre serveur tienne la route, soit solide et puisse supporter les requêtes émises par les robots.

La navigation sur le site est problématique pour le moteur :

La navigation de votre site web est en flash ? 80% de vos liens sont cassés ? 90% des liens sont encodés dans une fonction javascript interminable ? Il va falloir penser à remettre à plat l’arborescence de votre site, toute en la rendant accessible pour le moteur. Vive le lien a href !

Vous êtes un spammeur :

Etes-vous le vilain canard ? Avez-vous un comportement vis-à-vis de votre site allant à l’encontre du professeur Google ? Vous cultivez les fermes de liens ou encore le contenu caché ? Il y a des chances pour Google s’en soit aperçu et ait décidé de classer votre site dans la rubrique des spammeurs. La solution ? Soyez honnête envers le moteur, effacez toutes les techniques pour le duper et faite auprès de Google une demande reconsidération (Google Webmastertools dispose du formulaire de contact). Encore une fois, il est possible de mixer design/validité w3C/recommandations référencement.

Votre site plante et vous êtes abonné aux erreurs 500 :

Si votre site repose sur un serveur instable, fabriqué avec des restes informatiques, il y a des chances pour que vous soyez un abonné des erreurs 500. Malheureusement, Google n’est pas trop fan de l’erreur 500. Si le problème revient très souvent, il finira par ne plus considérer votre site à cause de son état trop instable.

Vous avez un script javascript empoisonné :

Il s’agit d’un cas rare mais existant. Vous avez fait un magnifique site en prenant soin de suivre la plupart des recommandations en référencement (url rewriting, netlinking, balises des pages, titles différentes…) mais étrangement, aucune page de votre site n’est indexée sur les moteurs de recherche. Il se peut que vous ayez installé pour une quelconque raison un javascript en haut de votre page d’accueil (comme par exemple pour afficher le site dans la langue de votre navigateur). Malheureusement, les moteurs de recherche peinent à lire le javascript et lorsqu’ils sont bloqués, il s’arrêtent. De ce fait, impossible de crawler tout ce qui se situe après votre script (à savoir la page, le menu, les autres pages…).

Vous avez récupéré un nom de domaine avec un passé lourd :

Enfin ! Le nom de domaine que vous attendiez depuis des mois est disponibles, l’ancien propriétaire ne l’ayant pas racheté. Vous vous jetez dessus et mettez en ligne votre site web. Ce que le registar a oublié de vous dire, c’est que ce nom de domaine a été sujet de blacklistage avant votre rachat et Google ne souhaite plus jamais en entendre parler. Dans ce cas, la situation est plus compliquée. Vous devez être capable de déterminer ce qui a pu provoquer la pénalisation, en essayant par exemple de rentrer en contact avec l’ancien propriétaire… Dans tous les cas, il va y avoir du boulot car les vices cachés sont nombreux lors d’un blacklistage. Bien entendu, une fois les erreurs réparées, il faudra penser à faire une demande auprès de Google pour reconsidérer votre site.

Edit : dès la mise en ligne de votre nouveau site, il est nécessaire d’avoir au moins un lien pointant vers ce dernier afin que Google et les autres moteurs puissent le détecter naturellement. Sinon, vous resterez orphelin sur le web et aucune page ne sera indexée. Quant à la soumission manuelle Google, cette dernière n’est pas la solution que je recommande. Demandez à vos ami(e)s d’écrire un article sur votre site ou plus simple, de faire un lien. Les “sans amis” pourront toujours se rabbattre sur les annuaires de type Dmoz (sans en abuser).