Agent d’IA · setembre 2026
Bytespider en robots.txt: qui el bloqueja
8.0% dels 166.024 webs del cens anomenen Bytespider al seu robots.txt, i 96.6% d’ells el bloquegen.
Webs que l’anomenen
- Sample
- n=166.024
- Coverage
- 100.0%
El rastreig de setembre 2026, analitzat buscant una regla de robots.txt que anomeni aquest user-agent, sobre la mateixa mostra del 1% del corpus que qualsevol altra xifra d’aquest web: 166.024 webs. Abans es mesurava sobre el corpus sencer i aquesta nota ho deia; va passar a la mostra mensual quan l’eix va guanyar una sèrie, així que ara porta el mateix marge que tota la resta.
Webs que el bloquegen
- Sample
- n=166.024
- Coverage
- 100.0%
Què fa Bytespider realment
El porta ByteDance. Rastreja per entrenar els models de ByteDance. Bloquejar-lo no et costa trànsit: aquest rastrejador no t’envia ningú.
Què escriure al teu robots.txt
Posa la regla al seu propi grup. Un Disallow sota User-agent: * és anterior a aquests agents i uns quants no el consideren aplicable, que és també per què aquest cens no el compta.
User-agent: Bytespider
Disallow: /User-agent: Bytespider
Allow: /