Google a annoncé récemment la mise en ligne d’un nouveau User-Agent nommé Googlebot-News. Aussi, pour ceux et celles qui ne souhaitent pas (pour une raison ou une autre) que leur contenu se retrouve dans Google News, voici la ligne à ajouter dans le fichier robots.txt :
User-Agent: Googlebot-News
Disallow: /
Bien entendu, rien ne vous empêche d’avoir des règles personnalisées et différentes pour Googlebot et Googlebot-News. Tout dépend, encore une fois, de vos objectifs.