Comment fonctionne le robots.txt ?

Le fichier déclare des groupes par user-agent avec des règles Allow et Disallow, et peut référencer les sitemaps. Il est standardisé dans la RFC 9309. Un robot respectueux lit le fichier avant de crawler. Le respect repose sur la bonne foi du robot : ce n’est pas une barrière technique.

Comment gérer les crawlers IA dans le robots.txt ?

Un groupe par user-agent : par exemple GPTBot pour l’entraînement d’OpenAI, OAI-SearchBot pour la recherche ChatGPT, Google-Extended pour l’usage dans Gemini, PerplexityBot pour Perplexity. Décider par finalité, tester les règles et vérifier dans les logs que les robots les respectent.

Quelles erreurs éviter ?

Un Disallow général laissé après la préproduction, le blocage de ressources nécessaires au rendu, l’usage de robots.txt pour désindexer (utiliser noindex), des règles contradictoires entre groupes et un fichier renvoyant une erreur serveur, que Google traite avec prudence.

Questions fréquentes

robots.txt désindexe-t-il une page ?

Non. Il bloque le crawl. Une URL bloquée peut rester indexée sans contenu.

Faut-il bloquer les robots IA ?

Selon l’objectif : refuser l’entraînement tout en autorisant la recherche est possible.

Où placer le fichier ?

À la racine du domaine, par exemple /robots.txt, pour chaque sous-domaine.

Termes liés

Approfondir

• Search Central Live Deep Dive Barcelone 2026 : ce que Google a dit pendant les 3 jours
• GEO SEO : Microsoft Clarity et Bing Webmaster Tools, le seul écosystème qui documente vraiment votre visibilité IA
• Checklist GEO de Google : comment optimiser son site pour les agents IA
• ← Retour au glossaire GEO (114 termes)

Sources

• Google Search Central, Introduction to robots.txt
• IETF, RFC 9309, Robots Exclusion Protocol