Tendències · Agents que poden arribar al web
Agents que poden arribar al web a tot el web
Quina part dels agents d’IA que seguim pot arribar al web. Ha anat cap avall des de maig 2026, i per més del que el marge ens deixa dir sacsejada, tot i que l’últim mes per si sol no s’ha mogut.
Excel·lent95.5%
Agents que poden arribar al web en setembre 2026
= −0.1 pp96.4%95.5%
Què mesura això
Qui s’ha mogut
| Segment | agost 2026 | setembre 2026 | Moviment |
|---|---|---|---|
| .click | 99.3% | 76.4% | ▼ −23.0 pp |
| Vuetify | 97.2% | 83.8% | ▼ −13.5 pp |
| Substack | 98.4% | 85.7% | ▼ −12.7 pp |
| Mustache 4 | 88.7% | 77.6% | ▼ −11.0 pp |
| PubSubJS | 84.8% | 95.7% | ▲ +10.9 pp |
| Wunderkind | 86.5% | 75.9% | ▼ −10.6 pp |
| SweetAlert2 11 | 83.3% | 93.6% | ▲ +10.3 pp |
| MediaWiki 1 | 87.3% | 77.0% | ▼ −10.3 pp |
| Bootstrap 0 | 71.0% | 81.3% | ▲ +10.3 pp |
| Integral Ad Science | 82.6% | 72.7% | ▼ −10.0 pp |
| MediaWiki | 87.3% | 77.6% | ▼ −9.7 pp |
| Recent Posts Widget With Thumbnails 7 | 88.4% | 97.9% | ▲ +9.5 pp |
| Font Awesome 3 | 80.5% | 71.1% | ▼ −9.4 pp |
| Uploadcare | 87.5% | 96.4% | ▲ +9.0 pp |
| Tengine | 81.9% | 90.7% | ▲ +8.8 pp |
Com moure-la al teu propi web
4 · Reachable
multiplica la resta
El teu robots.txt no fa fora els agents d’IA que vols que t’arribin.
Aquesta multiplica la resta de la teva puntuació en lloc de sumar-s’hi, perquè és la condició prèvia: un agent prohibit no descarrega mai la pàgina, així que com de llegible sigui deixa d’importar. Es mesura agent per agent i de manera gradual: fer fora un dels disset que seguim et costa un dissetè, fer-los fora tots et costa tot. I és l’únic lloc on una puntuació baixa pot ser exactament el que vols: si has decidit que els rastrejadors d’IA no llegeixin el teu web, una xifra baixa aquí és aquesta decisió funcionant, no un defecte. El que no és, és estar preparat.
What to do
- Mira el teu robots.txt abans de donar res per fet: molts constructors de webs i connectors de seguretat afegeixen blocatges de rastrejadors d’IA per defecte, i qui porta el web sovint no ho sap. Als webs de Squarespace del nostre cens només hi arriba el 35% dels agents que seguim.
- Decideix agent per agent, perquè fan feines diferents: un rastreja per entrenar un model, l’altre descarrega una pàgina perquè una persona acaba de preguntar per ella. Fer fora el segon et costa el trànsit de referència que ve amb la resposta.
- Treu el Disallow dels agents que vols que t’arribin, o redueix-lo a les rutes que de debò cal protegir en lloc de tot el web.
- Recorda què és un robots.txt: una preferència publicada que els rastrejadors educats respecten. No obliga a res, així que blocar no és protegir. Si necessites que es compleixi, aquesta és una altra feina.
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow: /basket/
Disallow: /account/Deu minuts d’edició, un cop presa la decisió. El més barat de canviar d’aquesta llista, i el que més et pot costar si està malament.