Testeur Robots.txt : URL Bloquée ou Non ?

Il cherche le groupe dont le User-agent est le préfixe le plus long de son propre nom : Googlebot-Image utilise le groupe « Googlebot-Image » s'il existe, sinon « Googlebot », sinon « * ». Un groupe dédié, même vide, remplace entièrement le groupe « * » — il ne s'y ajoute pas.

La règle au motif le plus long (le plus spécifique). À longueur égale, Allow l'emporte sur Disallow. « Disallow: /blog » bloque donc « /blog/article », sauf si « Allow: /blog/article » est présent.

« * » remplace n'importe quelle suite de caractères et « $ » marque la fin de l'URL. « Disallow: /*?sort= » bloque toute URL contenant ce paramètre ; « Disallow: /*.pdf$ » bloque les PDF mais pas « fichier.pdf?v=2 ».

Non : il empêche l'exploration. Une URL bloquée peut tout de même apparaître dans Google si d'autres pages la lient, mais sans extrait. Pour désindexer, laissez le robot accéder à la page et utilisez une balise meta robots noindex.

Un code 404 est traité comme « tout est permis ». En revanche, une erreur serveur (5xx) répétée peut amener Google à considérer le site entier comme interdit : surveillez la disponibilité du fichier.

Google les ignore. Bing et Yandex respectent Crawl-delay. La directive Noindex dans robots.txt n'est plus supportée depuis 2019 : utilisez la balise meta ou l'en-tête X-Robots-Tag.