Budget de crawl
Le crawl budget est le volume de pages qu’un moteur accepte de crawler sur un site dans un délai donné. Selon Google, il ne concerne que les très grands sites : plus d’un million de pages dont le contenu change modérément, ou plus de 10 000 pages mises à jour tous les jours.
Définition autonome · 53 mots
De quoi se compose le crawl budget ?
Deux éléments : la capacité de crawl (ce que le serveur supporte sans ralentir) et la demande de crawl (l’intérêt du moteur pour les URL, selon leur popularité et leur fraîcheur). Un serveur lent réduit la capacité, des URL de faible valeur réduisent la demande utile.
Quels gaspillages corriger ?
Facettes et paramètres d’URL infinis, pages dupliquées, chaînes de redirections, erreurs 4xx et 5xx récurrentes, pages soft 404 et sitemaps contenant des URL non indexables. Les rendre non crawlables avec robots.txt ou les supprimer concentre le crawl sur les pages utiles.
Crawl budget et robots IA
Les robots IA ajoutent une charge de requêtes sur le serveur. Les logs montrent leur volume et leur répartition. En cas de pression, on peut limiter leur accès par finalité plutôt que de tout bloquer.
Questions fréquentes
Mon site est-il concerné ?
Probablement pas s’il compte moins de quelques milliers de pages. Les seuils de Google visent les très grands sites.
Crawl-delay fonctionne-t-il ?
Googlebot ignore crawl-delay. D’autres robots peuvent le respecter.
Comment le mesurer ?
Rapport Statistiques d’exploration de Search Console et analyse des logs.
Termes liés
Approfondir
- Search Central Live Deep Dive Barcelone 2026 : ce que Google a dit pendant les 3 jours
- Checklist GEO et LLM / IA 2026
- ← Retour au glossaire GEO (114 termes)