Agente de IA · septiembre 2026
OAI-SearchBot en robots.txt: quién lo bloquea
2.3% de las 166.024 webs del censo nombran a OAI-SearchBot en su robots.txt, y 54.0% de ellas lo bloquean.
Webs que lo nombran
- Sample
- n=166.024
- Coverage
- 100.0%
El rastreo de septiembre 2026, analizado buscando una regla de robots.txt que nombre a este user-agent, sobre la misma muestra del 1% del corpus que cualquier otra cifra de esta web: 166.024 webs. Antes se medía sobre el corpus entero y esta nota lo decía; pasó a la muestra mensual cuando el eje ganó una serie, así que ahora lleva el mismo margen que todo lo demás.
Webs que lo bloquean
- Sample
- n=166.024
- Coverage
- 100.0%
Qué hace OAI-SearchBot en realidad
Lo lleva OpenAI. Indexa páginas para que ChatGPT pueda citarlas. Este es el que hay que dejar abierto si queréis aparecer en sus respuestas. Bloquearlo os saca de las respuestas de ese producto, y con ellas del enlace de vuelta a vosotros.
Qué escribir en tu robots.txt
Pon la regla en su propio grupo. Un Disallow bajo User-agent: * es anterior a estos agentes y varios de ellos no lo consideran aplicable, que es también por lo que este censo no lo cuenta.
User-agent: OAI-SearchBot
Disallow: /User-agent: OAI-SearchBot
Allow: /