Robot IA · Crawler de LLM · User-agent IA
Un crawler IA est le robot d’un fournisseur de LLM, comme GPTBot, ClaudeBot, PerplexityBot ou Google-Extended. Bloquer via robots.txt le robot qui alimente la recherche d’un moteur exclut le site des réponses génératives correspondantes, alors que bloquer un robot d’entraînement n’a pas le même effet.
Définition autonome · 45 mots
Comment fonctionnent les crawlers IA ?
Chaque fournisseur déclare un ou plusieurs user-agents aux finalités distinctes. OpenAI documente par exemple GPTBot pour l’entraînement, OAI-SearchBot pour la recherche dans ChatGPT et ChatGPT-User pour les requêtes déclenchées par un utilisateur. Google-Extended n’est pas un robot séparé : c’est un jeton de contrôle dans robots.txt, sans effet sur l’inclusion dans Google Search.
Quels risques à bloquer un crawler IA ?
Bloquer tous les robots IA par réflexe retire la marque de réponses où elle pourrait être citée. La décision se prend par finalité : refuser l’entraînement, autoriser les robots de recherche si la visibilité IA est un objectif. Le contrôle se fait dans robots.txt et se vérifie dans les logs serveur.
Comment vérifier ce que font les robots IA ?
Dans les logs serveur. Les user-agents peuvent être usurpés : confirmer avec les plages d’IP publiées par les fournisseurs. Un test robots.txt ne prouve ni la visite ni le respect de la règle.
Questions fréquentes
Les crawlers IA respectent-ils robots.txt ?
Les principaux fournisseurs documentent le respect de robots.txt pour leurs robots officiels. Pour un robot non officiel, rien ne le garantit.
Faut-il autoriser GPTBot ?
Cela dépend de l’objectif : GPTBot concerne l’entraînement, OAI-SearchBot la recherche. Autoriser le second sans le premier est une configuration possible.
Un crawler IA rend-il le JavaScript ?
La plupart ne le rendent pas, d’après l’étude Vercel et MERJ de décembre 2024. D’où l’intérêt du rendu côté serveur.
Termes liés
Approfondir
- GEO SEO : Microsoft Clarity et Bing Webmaster Tools, le seul écosystème qui documente vraiment votre visibilité IA
- Checklist GEO et LLM / IA 2026
- ← Retour au glossaire GEO (114 termes)