Common Crawl · Corpus web ouvert
Common Crawl est une fondation à but non lucratif qui maintient un dépôt ouvert et gratuit de données d’exploration du web, utilisé comme source de données d’entraînement par de nombreux modèles de langage. Son robot s’appelle CCBot.
Définition autonome · 37 mots
Que contient-il ?
Le site indique plus de 300 milliards de pages sur 15 ans, entre 3 et 5 milliards de nouvelles pages chaque mois et plus de 10 000 articles de recherche qui le citent. Il propose aussi des index d’URL et des graphes web. Les données sont accessibles à tous.
Pourquoi est-ce un sujet GEO ?
LLMrefs soutient que Common Crawl choisit ce qu’il explore avec une mesure de centralité harmonique et que l’optimiser peut augmenter l’autorité dans les données d’entraînement. C’est une analyse d’éditeur à lire avec réserve. Ce que le corpus contient pèse sur la mémoire paramétrique d’un modèle, donc sur ce qu’il sait d’une marque sans recherche web.
Comment le gérer ?
Vérifier dans les logs la présence de CCBot, décider d’autoriser ou non son exploration dans robots.txt et suivre le registre d’opt-out de la fondation. Bloquer CCBot réduit la présence dans de futurs corpus, sans effet sur les citations issues de recherches en direct.
Questions fréquentes
Common Crawl est-il un moteur de recherche ?
Non. C’est un corpus de données utilisé par des chercheurs et des fournisseurs de modèles.
Être dans Common Crawl garantit-il d’être cité ?
Non. Cela peut influencer la connaissance du modèle, pas la sélection de sources lors d’une recherche en direct.