Última actualització: 7 d’octubre del 2026
AgenticWebCensusBot
AgenticWebCensusBot és la sonda de l’Agentic Web Census, l’observatori que mesura com de preparada està la web per als agents d’IA. Només visita un lloc quan algú ens demana mesurar una de les seves pàgines, fa unes poques peticions i les signa totes perquè el lloc sàpiga que som nosaltres.
Quan visita
Només quan algú mesura una pàgina d’aquest lloc, gratis o comprant un informe, i un cop més quan s’escriu un informe comprat. No rastreja, no segueix enllaços i mai no torna pel seu compte.
Les xifres mensuals del cens no surten d’aquest bot: surten del rastreig públic d’HTTP Archive.
Què demana
Sis peticions alhora a l’origen de la pàgina que es mesura. Segueix fins a cinc redireccions, i signa cadascuna per al seu propi host.
- La pàgina mateixa.
- /robots.txt, per explicar a quins agents d’IA deixa entrar.
- /llms.txt i /sitemap.xml, per explicar si existeixen.
- /.well-known/ard.json, per explicar si el lloc es descriu davant dels registres d’agents.
- /agentic-web-census-probe-404, una ruta que no existeix, per veure com respon el servidor a una pàgina que falta.
Com reconèixer-lo
El seu User-Agent és AgenticWebCensusBot/1 (+https://agenticwebcensus.com/about). No es fa passar per un navegador, no executa JavaScript i no intenta resoldre cap repte.
Cada petició porta una signatura Web Bot Auth: HTTP Message Signatures amb una clau Ed25519, la capçalera Signature-Agent: "https://agenticwebcensus.com" i la clau pública publicada a https://agenticwebcensus.com/.well-known/http-message-signatures-directory.
Què guarda
L’estat de cada resposta, una llista curta de capçaleres que llegeix l’informe (tipus de contingut, memòria cau, servidor, la tecnologia que anuncia i la capçalera de repte de Cloudflare) i els primers 512 KiB de la pàgina i del robots.txt. No guarda galetes.
Com aturar-lo o escriure’ns
Pots rebutjar-lo pel seu User-Agent al teu servidor o a la teva CDN. Per a qualsevol cosa sobre ell, escriu a [email protected].