Exploration · Crawling
Le crawl est le parcours automatisé d’un site par un robot pour en découvrir et récupérer les pages. C’est un prérequis absolu : une page non crawlée n’est ni indexée ni citée par les moteurs qui s’appuient sur le crawl pour récupérer leurs sources.
Définition autonome · 44 mots
Comment fonctionne le crawl ?
Le robot part d’URL connues (liens, sitemaps), les récupère, extrait les liens trouvés et planifie de nouvelles visites. Googlebot décide ensuite quoi rendre, indexer et revisiter. Les robots IA suivent un principe similaire, avec des politiques propres à chaque fournisseur.
Qu’est-ce qui bloque le crawl ?
Un robots.txt trop restrictif, des erreurs serveur (5xx), des temps de réponse élevés, des liens uniquement en JavaScript, des chaînes de redirections, des pages orphelines et des protections qui filtrent les robots (WAF, anti-bot). Chacun se vérifie dans les logs et dans le rapport Statistiques d’exploration.
Pourquoi surveiller le crawl en GEO ?
Les robots IA ont leur propre comportement et la plupart ne rendent pas le JavaScript. Vérifier dans les logs quels robots passent, quelles URL ils lisent et quels codes ils reçoivent est la seule manière de savoir si le contenu est réellement accessible.
Questions fréquentes
Crawl et indexation, quelle différence ?
Le crawl récupère la page. L’indexation l’enregistre dans l’index après rendu. Une page crawlée n’est pas forcément indexée.
Comment inciter à crawler une page ?
Lien interne depuis des pages crawlées, présence au sitemap, réponse rapide et contenu utile.
Peut-on contrôler le crawl d’un robot IA ?
Via robots.txt, avec les user-agents documentés par chaque fournisseur.
Termes liés
Approfondir
- Search Central Live Deep Dive Barcelone 2026 : ce que Google a dit pendant les 3 jours
- Google Search Central 2025 Zurich
- Google Search Central Live Paris 2026 recap : Google mise sur l’agentique
- ← Retour au glossaire GEO (114 termes)