robots.txt, llms.txt et robots des IA : que faut-il autoriser ?

Faut-il bloquer les robots des IA ? La question mélange deux sujets. Certains robots collectent des pages pour entraîner des modèles ; d’autres les explorent pour citer et lier des sources dans les réponses de ChatGPT, de Claude ou de Perplexity. Les bloquer n’a pas du tout le même effet.

Pour une entreprise qui veut être trouvée, la réponse courte : autorisez les robots de recherche (Googlebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot), puis décidez à part pour l’entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot). Le fichier llms.txt, lui, reste facultatif. Chaque nom de robot cité ici vient de la documentation officielle de son éditeur, consultée en octobre 2026.

Deux familles de robots : ceux qui apprennent, ceux qui citent

Les éditeurs d’IA distinguent désormais trois usages, avec un nom de robot pour chacun :

• L’entraînement : le robot collecte des pages qui pourront servir à entraîner de futurs modèles. Le bloquer indique que vos contenus ne doivent pas y être utilisés ; Anthropic précise que cela vaut pour vos contenus à venir.
• La recherche : le robot indexe des pages pour les faire apparaître, avec un lien, dans les réponses de l’assistant. Le bloquer réduit, voire supprime, votre présence dans ces réponses.
• Les visites à la demande : quand un utilisateur demande à l’assistant de consulter une page, un agent la récupère en direct. Ce n’est pas une exploration automatique, et robots.txt ne s’applique pas toujours.

Google et Apple fonctionnent autrement : un seul robot explore (Googlebot, Applebot), et un jeton de contrôle (Google-Extended, Applebot-Extended) indique seulement si vos contenus peuvent servir à leurs modèles d’IA.

Les robots IA à connaître, éditeur par éditeur

Le nom de la première colonne est celui à écrire après User-agent: dans robots.txt.

Ce que précise chaque éditeur

OpenAI

OpenAI indique que ses réglages sont indépendants : vous pouvez autoriser OAI-SearchBot pour apparaître dans la recherche de ChatGPT tout en refusant GPTBot. Comptez environ 24 heures pour qu’une modification de robots.txt soit prise en compte côté recherche. ChatGPT-User n’explore pas le web automatiquement ; ses visites étant déclenchées par un utilisateur, robots.txt peut ne pas s’appliquer. Un quatrième robot, OAI-AdsBot, vérifie la sécurité des pages soumises comme publicités sur ChatGPT ; ses données ne servent pas à l’entraînement.

Anthropic

Anthropic utilise trois robots : ClaudeBot (entraînement), Claude-SearchBot (recherche) et Claude-User (visites à la demande). Ils respectent robots.txt, y compris l’extension non standard Crawl-delay pour ralentir l’exploration. Deux précisions utiles : la règle doit être posée sur chaque sous-domaine concerné, et bloquer leurs adresses IP n’est pas fiable, car cela les empêche de lire votre robots.txt.

Perplexity

Perplexity indique que PerplexityBot sert à faire apparaître et à lier des sites dans ses résultats, et qu’il n’est pas utilisé pour entraîner des modèles. Perplexity-User, déclenché par la question d’un utilisateur, ignore généralement robots.txt. Les changements peuvent prendre jusqu’à 24 heures. Si votre site est derrière un pare-feu applicatif, Perplexity explique comment autoriser ses robots en combinant agent utilisateur et adresses IP.

Google

Pour Google, l’IA fait partie de la recherche : les AI Overviews et l’AI Mode dépendent de Googlebot, et il n’existe pas de robot dédié à ces réponses. Pour limiter ce qui y est repris, la documentation Search Central renvoie aux règles d’extrait (nosnippet, data-nosnippet, max-snippet), ou à noindex pour retirer une page de la recherche.

Google-Extended n’a pas d’agent utilisateur propre : c’est un jeton lu dans robots.txt. Il décide si vos contenus peuvent servir à entraîner les futurs modèles Gemini et à ancrer (« grounding ») les réponses des applications Gemini et de Vertex AI. Google précise qu’il n’a aucun effet sur l’inclusion ni sur le classement dans Google Search. Le bloquer a donc un coût à connaître : vos pages ne servent plus à ancrer les réponses de l’application Gemini.

Apple

Applebot alimente la recherche de Spotlight, Siri et Safari. Applebot-Extended n’explore rien : il indique seulement si les pages collectées par Applebot peuvent entraîner les modèles d’Apple, et une page qui le refuse reste dans les résultats de recherche. Un détail piège : si votre robots.txt ne mentionne pas Applebot mais contient des règles pour Googlebot, Applebot suit celles de Googlebot. Pour exclure un passage des réponses générées par Apple, Apple renvoie à la balise nosnippet.

Common Crawl

CCBot alimente Common Crawl, une fondation à but non lucratif qui publie un corpus ouvert du web. Ce corpus sert notamment à entraîner des modèles de langage : une version filtrée représentait 60 % du mélange d’entraînement de GPT-3. robots.txt ne règle que l’exploration : bloquer CCBot arrête les prochaines collectes, sans toucher à ce qui a déjà été publié.

Trois règles de robots.txt qui changent tout

1. Un robot ne suit qu’un seul groupe de règles : celui qui le nomme le plus précisément. Si vous créez un groupe User-agent: GPTBot, GPTBot ignore toutes les règles du groupe User-agent: *. C’est ce que prévoient le standard RFC 9309 et la spécification appliquée par Google. Répétez donc, dans chaque groupe, les interdictions qui doivent valoir pour tous.
2. robots.txt n’est pas une protection : le fichier est public, ce n’est pas un contrôle d’accès, et seuls les robots qui le veulent bien le respectent. Pour une page privée, il faut une authentification (voir la checklist sécurité). Pour sortir une page de Google, il faut une balise noindex, sur une page que robots.txt ne bloque pas, sinon Google ne la voit jamais.
3. Rien n’est instantané : Google garde généralement le fichier en cache jusqu’à 24 heures, OpenAI annonce environ 24 heures pour sa recherche et Perplexity jusqu’à 24 heures. Et chaque sous-domaine a son propre robots.txt.

Trois robots.txt commentés, selon votre choix

1. Tout autoriser (le choix de ce site)

# Tous les robots, tout le site
User-agent: *
Allow: /
# La liste des pages à explorer
Sitemap: https://exemple.fr/sitemap.xml

Ces trois directives suffisent : elles laissent passer les robots de recherche comme ceux d’entraînement. Pour un site vitrine qui veut être trouvé et cité, c’est le plus simple.

Le robots.txt de ce site fait le même choix, en plus explicite. Après la section User-agent: *, les robots importants sont nommés un par un, chacun dans sa section avec Allow: / et un commentaire sur son rôle, en trois blocs : moteurs de recherche, robots de recherche des assistants IA, robots d’apprentissage. Extrait :

User-agent: *
Allow: /
# OpenAI : pages proposées
# dans la recherche de ChatGPT.
User-agent: OAI-SearchBot
Allow: /
# OpenAI : modèles de fondation.
User-agent: GPTBot
Allow: /
Sitemap: https://yoan-oliveira.fr/sitemap.xml

Pourquoi répéter Allow: / dans chaque section ? Parce qu’un robot qui a sa propre section ignore la section * (voir la règle 1 ci-dessus). Nommer les robots un par un rend le choix lisible et vérifiable, et le fichier est régénéré à chaque mise à jour du site : un script de contrôle signale une erreur si l’un des principaux robots perd sa section, ou si un Disallow s’ajoute à la section générale ou à l’une des leurs.

2. Rester citable, refuser l’entraînement

# Règle générale : tout est permis
User-agent: *
Allow: /
# Entraînement : refusé.
# Un seul groupe pour cinq noms.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
Sitemap: https://exemple.fr/sitemap.xml

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot et Applebot suivent la règle générale et peuvent toujours vous citer. Le prix à connaître : Google-Extended retire aussi vos pages de l’ancrage des réponses des applications Gemini. Retirez sa ligne si vous tenez à y apparaître.

3. Fermer une zone, sans oublier les groupes dédiés

User-agent: *
Disallow: /compte/
# Ce groupe remplace la règle
# générale pour GPTBot :
# on y répète /compte/
User-agent: GPTBot
Disallow: /compte/
Disallow: /blog/

Sans la ligne répétée, GPTBot pourrait explorer /compte/, puisqu’il ne lit que son propre groupe. Et un espace client se protège par un mot de passe, pas par robots.txt.

llms.txt : une proposition utile, pas un passe-droit

llms.txt est un fichier au format Markdown, placé à la racine d’un site, qui présente le site et liste ses pages utiles pour les modèles de langage et les agents. Il a été proposé par Jeremy Howard le 3 septembre 2024, et la proposition a été révisée en août 2026. Seul un titre (H1) est obligatoire ; suivent en général un court résumé en citation, puis des sections de liens commentés. La proposition suggère aussi de publier une version Markdown des pages importantes.

Son statut réel, en octobre 2026 :

• Ce n’est pas un standard : c’est une proposition publique, sans organisme de normalisation derrière, contrairement à robots.txt.
• Google Search n’en a pas besoin : sa documentation indique qu’aucun fichier texte dédié à l’IA ni balisage spécial n’est nécessaire pour apparaître dans les AI Overviews ou l’AI Mode.
• Chrome le regarde : Lighthouse vérifie sa présence dans sa catégorie d’audit « agentic browsing », consacrée aux sites utilisés par des agents.
• Les éditeurs d’IA en publient pour leur documentation : OpenAI, Anthropic et Perplexity ont chacun un llms.txt pour leur documentation développeur. En revanche, la documentation de leurs robots ne dit pas qu’ils le lisent pour choisir les sources d’une réponse.

Mon avis : llms.txt ne remplace ni robots.txt, qui dit ce qui est permis, ni le sitemap, qui liste les pages. Il coûte peu s’il est généré automatiquement, et peut aider un agent à trouver la bonne page. Sur ce site, il est reconstruit à chaque mise à jour à partir des mêmes données que les pages (services, réalisations, guides), il est accompagné d’un llms-full.txt qui reprend leur texte complet en Markdown, et chaque page l’annonce par un lien rel="describedby", comme le prévoit la version 2 de la proposition. Évitez le fichier écrit à la main puis oublié : un résumé faux est pire que pas de résumé.

Ce que je recommande à une PME

• Vous voulez être trouvé et cité (site vitrine, commerce, prestataire) : autorisez tous les robots de recherche. L’entraînement est un choix de principe ; tout autoriser reste le plus simple.
• Vos contenus sont votre produit (formation, presse, documentation payante) : refusez les robots et jetons d’entraînement, gardez les robots de recherche, et posez nosnippet sur les passages à ne pas reprendre.
• Vous avez des données sensibles : robots.txt ne protège rien. Il faut une authentification, des droits d’accès, et des pages hors index.

Dans tous les cas, regardez ensuite les journaux de votre serveur ou de votre CDN : ils montrent quels robots passent vraiment. OpenAI, Anthropic, Perplexity, Apple et Common Crawl publient les adresses IP de leurs robots, ce qui permet de démasquer un faux robot qui emprunte leur nom.

En résumé : séparer la visibilité et l’entraînement

Les robots des IA ne se valent pas : les uns entraînent des modèles, les autres vous citent. Autorisez au minimum Googlebot, OAI-SearchBot, Claude-SearchBot et PerplexityBot si vous voulez apparaître dans les réponses, décidez à part pour GPTBot, ClaudeBot, Google-Extended, Applebot-Extended et CCBot, et vérifiez qu’un groupe dédié n’efface pas vos règles générales. llms.txt est un bonus, pas une condition. Pour la suite (contenus, preuves, mesure), lisez le guide GEO : être cité par ChatGPT et Perplexity ; pour un audit de votre site, c’est l’objet de mon accompagnement SEO, GEO et analytics.