robots.txt, llms.txt et robots des IA : que faut-il autoriser ?
GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended : quels robots IA autoriser dans robots.txt, et ce que vaut vraiment llms.txt.
9 min de lectureLire le guideGEO (Generative Engine Optimization) : comment ChatGPT, Perplexity et Google choisissent leurs sources, et les leviers réels pour être cité.

Une partie de vos clients ne tape plus seulement quelques mots dans Google. Ils posent une question complète à ChatGPT ou à Perplexity, ou lisent la réponse générée en haut de la page de résultats. Ces réponses s’appuient sur quelques sources, affichées avec un lien. Le GEO vise une chose : faire partie de ces sources.
Il n’y a pas de recette secrète. Ces moteurs cherchent d’abord des pages dans un index, puis reprennent les passages les plus clairs et les mieux étayés. Être accessible à leurs robots, répondre précisément, prouver ce que vous avancez et être identifiable sans ambiguïté : c’est l’essentiel du travail, et c’est aussi du bon SEO.
Le GEO, pour Generative Engine Optimization, est l’ensemble des actions qui augmentent les chances qu’un moteur génératif reprenne et cite vos contenus. Un moteur génératif est un outil qui cherche des sources sur le web, puis rédige une réponse avec un modèle de langage : la recherche de ChatGPT, Perplexity, les AI Overviews et l’AI Mode de Google, ou Claude avec la recherche web.
Le terme vient d’un article de recherche, « GEO: Generative Engine Optimization », signé par six chercheurs (université de Princeton, IIT Delhi et deux chercheurs indépendants), mis en ligne en novembre 2023 et accepté à la conférence KDD 2024. La différence avec le SEO tient en une phrase : le SEO cherche une place dans une liste de liens, le GEO cherche une place dans une réponse rédigée. Les deux se recouvrent largement, puisque la réponse est construite à partir de pages que le moteur a d’abord trouvées.
L’étude est souvent résumée par « jusqu’à 40 % de visibilité en plus ». Le chiffre est exact, mais il faut savoir ce qu’il mesure.
Les résultats sont nets. Sur leur moteur de test, citer des sources, ajouter des citations et des statistiques améliore la place dans la réponse de 30 à 40 % environ, et la note d’impression de 15 à 30 %. Le bourrage de mots-clés, réflexe du vieux SEO, n’apporte presque rien. Les pages moins bien classées en profitent le plus : citer ses sources a plus que doublé la visibilité des pages classées cinquièmes (+115 %), tandis que la même méthode a fait baisser d’environ 30 % celle des pages classées premières. Les chercheurs ont aussi testé Perplexity sur 200 requêtes, en lui fournissant les sources sous forme de fichiers : jusqu’à 22 % de gain sur la place dans la réponse et 37 % sur la note d’impression.
Ce que l’étude ne dit pas : elle part de pages déjà retenues parmi les cinq premiers résultats de Google. Elle mesure la place d’une source dans la réponse, pas la façon d’être choisi comme source. Pour être cité, il faut d’abord être trouvé : le GEO commence par le SEO.
Exemple de question posée à un moteur de réponse IA : « Quel prestataire choisir pour… ? »
Trouver
Il interroge un index de recherche, rempli par ses robots.
Ce qui aide
Choisir
Il retient les passages les plus clairs et les mieux étayés.
Ce qui aide
Citer
Il rédige sa réponse et affiche quelques sources, avec un lien.
Ce qui aide
Aucune citation n’est garantie : on travaille ces leviers, puis on mesure.
Les éditeurs ne publient pas leurs algorithmes, mais ils documentent leurs robots. Cela suffit à comprendre le mécanisme.
Ces robots de recherche sont distincts des robots qui collectent des contenus pour entraîner les modèles (GPTBot, ClaudeBot, Google-Extended…). Vous pouvez refuser l’entraînement tout en restant citable : le détail, robot par robot, est dans le guide robots.txt, llms.txt et robots des IA.
Vérifiez votre robots.txt, mais aussi votre hébergement et votre CDN : Google cite explicitement ces niveaux dans ses bonnes pratiques pour les fonctionnalités IA, et Perplexity explique même comment régler un pare-feu applicatif pour laisser passer ses robots. Une protection « anti-robots » activée par défaut peut vous retirer des réponses sans que personne ne s’en aperçoive. Le contenu important doit aussi exister en texte, pas seulement dans une image ou un PDF scanné.
Un moteur génératif cherche un passage qui répond à la question. Donnez-le-lui : la réponse dès les premières lignes, une définition nette (« X est… »), une section par question, des listes et des tableaux quand ils clarifient. Chaque section doit se comprendre seule, car elle peut être reprise seule.
Exemple type : une page « Nos services » qui liste dix prestations en une ligne chacune ne répond à aucune question. Une page par prestation, qui dit ce qui est inclus, pour qui, où, et comment se déroule l’intervention, devient citable.
C’est le résultat le plus solide de l’étude GEO : des chiffres précis, des citations et des sources rendent une page plus visible dans les réponses. C’est aussi ce que Google attend de toute page utile : des informations originales, des sources claires et un auteur identifiable. Citez vos sources primaires, datez vos chiffres, signez vos contenus. Inutile d’inventer des statistiques : vos propres données, si elles sont exactes, valent mieux qu’un chiffre recopié.
Pour vous citer, un moteur doit comprendre qui vous êtes : nom, activité, lieu, profils officiels. Les données structurées Organization ou Person aident Google à lever l’ambiguïté sur votre organisation, et la propriété sameAs relie votre site à vos profils sur d’autres sites. Elles ne sont pas un ticket d’entrée : Google précise qu’aucun balisage spécial n’est requis pour ses réponses IA, et que les données structurées doivent correspondre au texte visible (voir le guide données structurées). Surtout, gardez les mêmes informations partout : site, fiche Google, annuaires, réseaux.
Une réponse IA se construit à partir de plusieurs pages. À une question comme « quel prestataire choisir pour… », les pages trouvées sont souvent des comparatifs, des annuaires, des articles de presse ou des forums. Être mentionné correctement sur ces sites (annuaire professionnel, presse locale, partenaires, avis clients) vous donne d’autres occasions d’apparaître. Ce n’est pas un critère documenté par les éditeurs : c’est la conséquence logique d’un système qui résume ce qu’il trouve.
Une réponse qui reprend un tarif, un horaire ou une offre dépassés vous dessert. Affichez une date de mise à jour, corrigez les pages quand les faits changent, redirigez (301) ou retirez (410) ce qui n’existe plus.
La mesure reste imparfaite, mais trois sources se complètent :
Ce site me sert de terrain d’essai, avec des choix que vous pouvez vérifier :
robots.txt qui ouvre tout le site et nomme en plus, un par un, les robots des moteurs de recherche, des assistants IA et des modèles d’IA, chacun dans sa propre section avec Allow: /, avant d’indiquer le sitemap ;llms.txt et un llms-full.txt (texte complet en Markdown) régénérés à chaque mise à jour à partir des mêmes données que les pages, sans en attendre d’effet garanti : c’est une proposition, pas un standard ;sameAs ; chaque guide est signé par cette même personne ;Début octobre 2026, la Search Console a signalé une erreur sur une étude de cas déclarée en Product : « Il faut indiquer offers, review ou aggregateRating ». Je l’ai corrigée en retirant ce type, car une étude de cas ne vend rien. Des données structurées doivent décrire ce qu’est vraiment la page, pas ce qu’on aimerait qu’elle soit.
Le GEO n’est pas une discipline à part : c’est un SEO exigeant, tourné vers la réponse. Laissez entrer les robots de recherche, écrivez des pages qui répondent avec des preuves, rendez votre identité claire et cohérente partout, puis mesurez sans attendre de garantie. Pour un état des lieux de votre site sur Google et dans les réponses des IA, c’est l’objet de mon accompagnement SEO, GEO et analytics.
Le GEO, pour Generative Engine Optimization, regroupe les actions qui aident un moteur génératif (ChatGPT, Perplexity, les réponses IA de Google) à trouver, comprendre et citer vos pages. Il s’appuie sur le SEO, car une page absente de l’index de recherche ne peut pas être citée. Il y ajoute une exigence de clarté et de preuves.
Vérifiez d’abord que votre site laisse passer OAI-SearchBot, le robot de recherche d’OpenAI. Publiez ensuite des pages qui répondent précisément aux questions de vos clients, avec des faits vérifiables et un auteur identifié. Aucune méthode ne garantit une citation, mais un site bloqué ou vague n’a aucune chance.
Non. Les AI Overviews et l’AI Mode de Google s’appuient sur l’index de Google Search, et Google indique que les bonnes pratiques SEO s’appliquent telles quelles. Le GEO change l’objectif (être repris dans une réponse, pas seulement classé), pas les fondations.
Non. Google précise qu’aucun fichier spécial n’est nécessaire pour ses fonctionnalités IA, et OpenAI, Anthropic et Perplexity gèrent l’accès de leurs robots par robots.txt. llms.txt est une proposition qui peut aider des agents à parcourir un site, sans effet garanti sur les citations.
Testez chaque mois une liste fixe de questions dans Google, ChatGPT et Perplexity, et notez les sources citées. Dans GA4, suivez les visites venues des domaines des assistants. La Search Console compte le trafic des réponses IA de Google avec le reste du trafic Web, sans le distinguer.
GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended : quels robots IA autoriser dans robots.txt, et ce que vaut vraiment llms.txt.
9 min de lectureLire le guide
JSON-LD, types schema.org utiles selon votre site, règles de Product, fin des FAQ enrichies, outils de test : ajouter des données structurées sans erreur.
8 min de lectureLire le guide
Indexation, canonical, redirections, sitemap, hreflang, vitesse, données structurées : les 30 points d’un audit SEO technique, avec l’outil gratuit pour chacun.
10 min de lectureLire le guide