Agentes de IA · septiembre 2026
A qué agentes de IA bloquea la web
Nombrar a un rastreador de IA en el robots.txt casi siempre quiere decir bloquearlo: entre 54.0% y 96.8% de las webs que nombran a uno lo están rechazando. Pero estos agentes hacen trabajos distintos —unos entrenan modelos, otros te indexan para poder citarte, otros descargan una página porque alguien acaba de preguntar—, así que bloquearlos cuesta cosas muy diferentes. Medido sobre la misma muestra del 1% que el resto del censo, 166.024 webs.
| Agente | Qué hace | Webs que lo nombran | Webs que lo bloquean | Bloqueo, mes a mes |
|---|---|---|---|---|
| GPTBot GPTBot
Rastrea para entrenar los modelos de OpenAI. Bloquearlo no os quita de las respuestas de ChatGPT: eso son OAI-SearchBot y ChatGPT-User, que son tokens distintos. | Entrena modelos | 10.0% | 8.6% | ▲ +0.2 pp |
| ClaudeBot ClaudeBot
Rastrea para entrenar los modelos de Anthropic. | Entrena modelos | 9.2% | 8.0% | ▲ +0.5 pp |
| CCBot CCBot
Construye el corpus público de Common Crawl, que usan muchos entrenadores de modelos. Bloquearlo es una forma indirecta de salirse de varios modelos a la vez. | Entrena modelos | 8.5% | 8.0% | = +0.1 pp |
| Google-Extended Google-Extended
Controla si vuestro contenido se usa para entrenar los modelos generativos de Google. NO afecta a Google Search: eso lo rastrea Googlebot, que es otro token. | Entrena modelos | 8.4% | 7.5% | ▲ +0.3 pp |
| Bytespider Bytespider
Rastrea para entrenar los modelos de ByteDance. | Entrena modelos | 8.0% | 7.7% | = +0.1 pp |
| Amazonbot Amazonbot
Rastrea para las respuestas del asistente de Amazon. | Indexa para respuestas | 7.9% | 7.7% | ▲ +0.2 pp |
| meta-externalagent meta-externalagent
Rastrea para entrenar los modelos de Meta. | Entrena modelos | 7.6% | 7.1% | ▲ +0.5 pp |
| Applebot-Extended Applebot-Extended
Controla si vuestro contenido entrena los modelos generativos de Apple. Es distinto de Applebot, que es el que indexa para Siri y Spotlight. | Entrena modelos | 7.5% | 7.1% | ▲ +0.2 pp |
| anthropic-ai anthropic-ai
Un token más antiguo para el mismo rastreo. Todavía se escribe mucho en los robots.txt, así que sigue mereciendo la pena contarlo. | Entrena modelos | 3.6% | 3.1% | = −0.0 pp |
| cohere-ai cohere-ai
Rastrea para entrenar los modelos de Cohere. | Entrena modelos | 2.9% | 2.6% | = −0.1 pp |
| PerplexityBot PerplexityBot
Indexa páginas para que Perplexity pueda citarlas con un enlace de vuelta. | Indexa para respuestas | 2.9% | 1.6% | = −0.0 pp |
| YouBot YouBot
Indexa páginas para que You.com pueda citarlas. | Indexa para respuestas | 2.6% | 2.5% | = −0.1 pp |
| ChatGPT-User ChatGPT-User
Descarga una página porque alguien le ha preguntado a ChatGPT por ella. Bloquearlo rompe ese enlace para un lector que ya estaba interesado. | Descarga cuando se le pide | 2.5% | 1.6% | ▼ −0.1 pp |
| OAI-SearchBot OAI-SearchBot
Indexa páginas para que ChatGPT pueda citarlas. Este es el que hay que dejar abierto si queréis aparecer en sus respuestas. | Indexa para respuestas | 2.3% | 1.2% | ▲ +0.3 pp |
| Claude-Web Claude-Web
Un token más antiguo para descargar una página en nombre de un usuario. | Descarga cuando se le pide | 1.5% | 1.1% | = −0.1 pp |
| Claude-User Claude-User
Descarga una página porque alguien le ha preguntado a Claude por ella. | Descarga cuando se le pide | 0.9% | 0.6% | = +0.1 pp |
| Perplexity-User Perplexity-User
Descarga una página porque alguien ha preguntado por ella. | Descarga cuando se le pide | 0.8% | 0.5% | = +0.1 pp |