Crawlabilité et rendu : être lisible par les IA
Aucun robots.txt bien réglé, aucun balisage soigné ne compense un site que les robots IA ne peuvent pas lire. Contrairement à Googlebot, la plupart des robots IA ne rendent pas le JavaScript : s’ils tombent sur une coquille vide en attendant que React ou Vue prenne le relais, ils repartent avec rien à citer.
Les robots IA n’exécutent (presque) jamais le JavaScript
Googlebot rend le JavaScript avant d’indexer. Ce n’est pas le cas des principaux robots IA : GPTBot, ClaudeBot et PerplexityBot fonctionnent comme des fetchers légers qui récupèrent le HTML brut. Tout contenu injecté après hydratation JavaScript leur est invisible.
Le rendu côté serveur : la base
Servez du HTML déjà construit au premier chargement (SSR ou génération statique). Les frameworks modernes (Next.js, Nuxt, Astro) le permettent nativement. Test simple : consultez le code source brut renvoyé par le serveur (pas le DOM de l’inspecteur). Si votre contenu n’y figure pas, il est probablement invisible pour les robots IA.
Auditez en priorité vos pages à fort enjeu (guides, comparatifs, FAQ). Sur un audit récent, tout le contenu éditorial était chargé via une requête JS au scroll : invisible pour tous les robots IA, alors qu’il portait l’essentiel de la valeur SEO.
Vitesse et budget de crawl
Les robots IA opèrent avec un budget de crawl limité : un temps de réponse élevé ou un maillage cassé réduit le nombre de pages récupérées.
| Facteur | Impact sur la lisibilité IA |
|---|---|
| Rendu 100% client (CSR) | Contenu invisible pour GPTBot, ClaudeBot, PerplexityBot |
| Rendu serveur (SSR/SSG) | Contenu visible dès la première requête |
| Temps de réponse élevé | Réduit le nombre de pages crawlées |
| HTML sémantique | Structure plus facile à extraire fidèlement |
HTML sémantique
Titres hiérarchisés (h1 unique, h2/h3 cohérents), balises sémantiques (article, section) plutôt que des div partout, réponse claire en tête de section : c’est ce qui permet à un robot IA d’extraire une réponse sans deviner la structure.
Inutile de multiplier les fichiers « magiques » (voir llms.txt) si le contenu n’est pas accessible. La crawlabilité est la condition préalable à tout le reste. Robots concernés : guide des robots IA. Chapitre technique, guide GEO, guide SEO technique.
Mon site React est-il invisible pour les IA ?
Non, si vous utilisez SSR ou génération statique. C’est le rendu 100% client sans pré-rendu qui pose problème.
Comment savoir si mon contenu est visible ?
Consultez le code source brut renvoyé par le serveur, avant JavaScript. Si le contenu n’y est pas, il est probablement invisible.
La vitesse influence-t-elle la citation ?
Indirectement : un temps de réponse élevé réduit le nombre de pages crawlées dans le budget alloué.
Poursuivre ce chapitre
Les articles de « La technique GEO »
- 01GPTBot, PerplexityBot & co : les robots IA
- 02robots.txt pour les IA : autoriser ou bloquer ?
- 03Données structurées (schema) et GEO
- 04llms.txt : le vrai du faux
- 05Crawlabilité et rendu : être lisible par les IA