Quan arriben els agents

Què passa en realitat

Un cercador rastreja amb educació i de manera previsible: porta vint anys aprenent a no fer mal als llocs que indexa. La generació actual de rastrejadors d’IA no, i són molts — disset agents amb nom només en aquest cens, cadascun amb el seu ritme, i darrere els que demanen una pàgina perquè algú acaba de preguntar per ella.

El resultat no és un pic que es veu en un gràfic i s’oblida. És un terra que puja: més peticions, per rutes que ningú va optimitzar, a hores que ningú va cobrir, des d’adreces que cap memòria cau escalfa.

• Es demanen pàgines que ningú visita, així que la teva taxa d’encert de memòria cau baixa i la teva base de dades fa feina que cap lector va demanar.
• Les URL de cerca i de filtres — les cares — es rastregen combinatòriament, perquè un rastrejador no té cap raó per no fer-ho.
• Un rastrejador que rep una resposta lenta no s’aparta com ho faria una persona. Reintenta.
• La teva factura puja abans que el teu trànsit, perquè l’amplada de banda i el càlcul es mesuren i l’atenció no.

Per què bloquejar-ho tot és la resposta equivocada

És el primer que prova tothom, i costa més del que estalvia. Els agents que entrenen models no t’envien res; els que responen preguntes t’envien lectors, amb un enllaç. Bloquejar-los tots amb una regla és com un web desapareix del lloc on la gent està començant a preguntar, a canvi d’un problema de càrrega que es resolia d’una altra manera.

El cens existeix en part per fer visible aquesta distinció: mesura cada agent per separat, perquè què et costa bloquejar depèn completament de qui bloqueges.

Què fem de veritat

Comença per mirar, no per comprar res. Els teus registres diuen quins agents t’estan colpejant, amb quina freqüència i en quines URL s’estan gastant el teu servidor — i aquesta llista és diferent a cada web.

• Separar els agents que et tornen alguna cosa dels que no, i escriure un robots.txt que ho digui per agent i no per lloc.
• Posar les rutes cares darrere de regles que un rastrejador respecta: límits de freqüència per agent, i un crawl-delay on es faci cas.
• Desar en memòria cau el que es demana repetidament, que normalment no és allò per què es va dissenyar la teva memòria cau.
• Servir el barat on el car no calia: una resposta estàtica per a una pàgina el codi HTML de la qual no canvia per visitant.
• I mesurar-ho després, perquè la factura i els temps de resposta diguin si va funcionar.

Com saber si això va amb tu

Dos senyals, i cap necessita una auditoria per veure’s. El primer és un servidor més ocupat del que diu la teva analítica — perquè l’analítica compta persones i els agents no executen JavaScript. El segon són respostes lentes a hores sense lectors a dins.

Si alguna de les dues et sona, el primer missatge útil no és una petició de pressupost. Són els teus registres i una frase sobre què estàs veient.