User-triggered fetcher · Robot déclenché par l’utilisateur
Un user-triggered fetcher est un robot qui ne visite une page que parce qu’un utilisateur l’a demandé dans un produit, par exemple un agent IA, un outil de vérification ou un lecteur de flux. Comme la visite est demandée par un humain, ces robots ignorent en général le robots.txt.
Définition autonome · 49 mots
Ce que Google appelle user-triggered fetchers
Google les sépare de ses crawlers communs comme Googlebot. Exemples de sa liste : Google Site Verifier, Feedfetcher, Gemini Notebook (ex-NotebookLM) et Google-Agent. Leurs IP sont publiées dans des fichiers JSON dédiés.
Les user-triggered fetchers des moteurs IA
Les autres acteurs ont la même logique : ChatGPT-User chez OpenAI ou Perplexity-User visitent une page quand un utilisateur pose une question qui la nécessite. Ils sont distincts des robots d’entraînement ou d’indexation comme GPTBot ou OAI-SearchBot.
Comment gérer les user-triggered fetchers sur son site
Le robots.txt ne suffit pas à les bloquer. Les repérer dans les logs, vérifier leurs IP, et s’assurer que les pages importantes se chargent vite et sans JavaScript bloquant, car ils lisent souvent la page à la volée.
Questions fréquentes sur User-triggered fetcher
Un user-triggered fetcher indexe-t-il ma page ?
Non. Il lit la page pour une demande précise. L’indexation est faite par d’autres robots.
Peut-on les bloquer ?
Au niveau serveur ou pare-feu, oui, mais vous perdez alors les visites demandées par des utilisateurs réels.