Accès des Robots d'IA : GPTBot, ClaudeBot

Cela dépend de votre objectif. Bloquer les robots d'entraînement (GPTBot, ClaudeBot, Google-Extended…) protège vos contenus de l'apprentissage des modèles sans toucher à votre visibilité. Bloquer les robots de recherche (OAI-SearchBot, PerplexityBot, Claude-SearchBot) vous retire des réponses citées par ChatGPT Search, Perplexity ou Claude — une source de trafic croissante. Les robots « utilisateur » n'agissent que lorsqu'une personne demande à lire votre page.

Non. Google-Extended ne contrôle que l'utilisation de vos contenus pour entraîner Gemini. Googlebot reste responsable de la recherche et des AI Overviews : le bloquer vous retire des résultats classiques.

Un fichier texte proposé à la racine du site (/llms.txt) qui résume en Markdown ce que le site propose et liste ses pages essentielles, pour aider les assistants IA à le comprendre. Son adoption par les éditeurs de modèles reste partielle, mais il est peu coûteux à mettre en place.

« noai » et « noimageai » sont des valeurs de meta robots proposées par certains acteurs pour refuser l'entraînement ; leur respect n'est pas garanti. « max-snippet » limite la longueur de l'extrait que Google peut afficher, y compris dans ses AI Overviews.

Oui, techniquement. Les grands éditeurs (OpenAI, Anthropic, Google, Microsoft, Apple, Perplexity pour son robot déclaré) annoncent le respecter. Pour les autres, seuls un blocage au niveau du serveur ou du CDN (par User-agent ou par plage d'IP) est contraignant.

Les règles robots.txt s'appliquent par chemin : « Disallow: /blog/ » bloque les articles mais pas l'accueil. L'outil évalue l'URL exacte que vous indiquez ; testez plusieurs sections si vos règles sont fines.