GPTBot, PerplexityBot & co : le guide des robots IA
Avant d’ouvrir ou de fermer votre robots.txt, encore faut-il savoir qui vient frapper à la porte. Une dizaine de robots IA parcourent le web avec des objectifs très différents : nourrir l’entraînement d’un modèle, alimenter une réponse en temps réel, ou récupérer une page à la demande d’un utilisateur. Confondre ces usages mène à des décisions hasardeuses.
Trois familles de robots
Robots d’entraînement (GPTBot, ClaudeBot) : les bloquer n’affecte pas votre visibilité actuelle, seulement l’usage futur de votre contenu comme donnée d’apprentissage. Robots de recherche/citation (OAI-SearchBot, Claude-SearchBot, PerplexityBot) : les bloquer = disparaître des réponses IA. Robots déclenchés par l’utilisateur (ChatGPT-User, Perplexity-User) : récupèrent une page à la demande.
| Robot | Éditeur | Fonction | robots.txt |
|---|---|---|---|
| GPTBot | OpenAI | Entraînement | Oui |
| OAI-SearchBot | OpenAI | Recherche ChatGPT | Oui |
| ChatGPT-User | OpenAI | Fetch utilisateur | Oui |
| ClaudeBot | Anthropic | Entraînement | Oui |
| Claude-SearchBot | Anthropic | Indexation réponses | Oui |
| PerplexityBot | Perplexity | Indexation | Déclaré, en pratique contesté |
| Google-Extended | Opt-out entraînement Gemini | Oui | |
| Bytespider | ByteDance | Non documenté | Non fiable |
Comment les identifier
Analyse des logs serveur (user-agent explicite : « GPTBot/1.0 »…) + vérification par DNS inverse via les plages d’IP officielles, pour écarter les usurpations de user-agent.
Avant tout blocage, passez 48h à auditer vos logs pour voir qui vous crawle. Trop de sites bloquent « toutes les IA » via un plugin générique et perdent leur visibilité dans ChatGPT ou Perplexity sans le savoir.
Une analyse Cloudflare (août 2025) a documenté l’usage par Perplexity de crawlers non déclarés pour contourner certaines directives robots.txt : une déclaration de conformité n’équivaut pas toujours à un comportement vérifié.
Ensuite, configurez votre robots.txt pour les IA. Chapitre technique, guide GEO, page référencement IA et GEO.
GPTBot et OAI-SearchBot, c’est pareil ?
Non. GPTBot sert à l’entraînement, OAI-SearchBot à la recherche temps réel. Les effets d’un blocage sont totalement différents.
Bloquer Google-Extended me retire-t-il des AI Overviews ?
Non : Google-Extended ne concerne que l’entraînement de Gemini. Les AI Overviews dépendent de l’indexation Googlebot.
Tous les robots respectent-ils le robots.txt ?
Les acteurs sérieux oui, selon leur doc. Perplexity a été pris en défaut par Cloudflare en 2025 ; ByteDance ne publie aucune doc fiable.
Poursuivre ce chapitre
Les articles de « La technique GEO »
- 01GPTBot, PerplexityBot & co : les robots IA
- 02robots.txt pour les IA : autoriser ou bloquer ?
- 03Données structurées (schema) et GEO
- 04llms.txt : le vrai du faux
- 05Crawlabilité et rendu : être lisible par les IA