Agents d’IA · setembre 2026
A quins agents d’IA bloqueja el web
Anomenar un rastrejador d’IA al robots.txt gairebé sempre vol dir bloquejar-lo: entre 54.0% i 96.8% dels webs que n’anomenen un l’estan rebutjant. Però aquests agents fan feines diferents —uns entrenen models, altres t’indexen per poder-te citar, altres descarreguen una pàgina perquè algú acaba de preguntar—, així que bloquejar-los costa coses molt diferents. Mesurat sobre la mateixa mostra del 1% que la resta del cens, 166.024 webs.
| Agent | Què fa | Webs que l’anomenen | Webs que el bloquegen | Bloqueig, mes a mes |
|---|---|---|---|---|
| GPTBot GPTBot
Rastreja per entrenar els models d’OpenAI. Bloquejar-lo no et treu de les respostes de ChatGPT: això són OAI-SearchBot i ChatGPT-User, que són tokens diferents. | Entrena models | 10.0% | 8.6% | ▲ +0.2 pp |
| ClaudeBot ClaudeBot
Rastreja per entrenar els models d’Anthropic. | Entrena models | 9.2% | 8.0% | ▲ +0.5 pp |
| CCBot CCBot
Construeix el corpus públic de Common Crawl, que fan servir molts entrenadors de models. Bloquejar-lo és una manera indirecta de sortir de diversos models de cop. | Entrena models | 8.5% | 8.0% | = +0.1 pp |
| Google-Extended Google-Extended
Controla si el teu contingut es fa servir per entrenar els models generatius de Google. NO afecta Google Search: bloquejar-lo deixa el teu posicionament en pau. | Entrena models | 8.4% | 7.5% | ▲ +0.3 pp |
| Bytespider Bytespider
Rastreja per entrenar els models de ByteDance. | Entrena models | 8.0% | 7.7% | = +0.1 pp |
| Amazonbot Amazonbot
Rastreja per a les respostes de l’assistent d’Amazon. | Indexa per a respostes | 7.9% | 7.7% | ▲ +0.2 pp |
| meta-externalagent meta-externalagent
Rastreja per entrenar els models de Meta. | Entrena models | 7.6% | 7.1% | ▲ +0.5 pp |
| Applebot-Extended Applebot-Extended
Controla si el teu contingut entrena els models generatius d’Apple. És diferent d’Applebot, que indexa per a Siri i Spotlight i no queda afectat. | Entrena models | 7.5% | 7.1% | ▲ +0.2 pp |
| anthropic-ai anthropic-ai
Un token més antic per al mateix rastreig. Encara s’escriu molt als robots.txt, així que continua valent la pena comptar-lo. | Entrena models | 3.6% | 3.1% | = −0.0 pp |
| cohere-ai cohere-ai
Rastreja per entrenar els models de Cohere. | Entrena models | 2.9% | 2.6% | = −0.1 pp |
| PerplexityBot PerplexityBot
Indexa pàgines perquè Perplexity les pugui citar amb un enllaç de tornada. | Indexa per a respostes | 2.9% | 1.6% | = −0.0 pp |
| YouBot YouBot
Indexa pàgines perquè You.com les pugui citar. | Indexa per a respostes | 2.6% | 2.5% | = −0.1 pp |
| ChatGPT-User ChatGPT-User
Descarrega una pàgina perquè algú ha preguntat a ChatGPT per ella. Bloquejar-lo trenca aquest enllaç per a un lector que ja hi estava interessat. | Descarrega quan se li demana | 2.5% | 1.6% | ▼ −0.1 pp |
| OAI-SearchBot OAI-SearchBot
Indexa pàgines perquè ChatGPT les pugui citar. Aquest és el que cal deixar obert si vols sortir a les seves respostes. | Indexa per a respostes | 2.3% | 1.2% | ▲ +0.3 pp |
| Claude-Web Claude-Web
Un token més antic per descarregar una pàgina en nom d’un usuari. | Descarrega quan se li demana | 1.5% | 1.1% | = −0.1 pp |
| Claude-User Claude-User
Descarrega una pàgina perquè algú ha preguntat a Claude per ella. | Descarrega quan se li demana | 0.9% | 0.6% | = +0.1 pp |
| Perplexity-User Perplexity-User
Descarrega una pàgina perquè algú ha preguntat per ella. | Descarrega quan se li demana | 0.8% | 0.5% | = +0.1 pp |