El archivo robots.txt fue ideado como un libro de reglas para regular el rastreo de la web. Casi cuatro años después del lanzamiento de GPTBot, un análisis del top 10.000 sitios revela que ese libro de reglas se quedó fijo en la guerra de 2023: la del crawler de entrenamiento de OpenAI. Del 38% de sitios que bloquearon a GPTBot en el último trimestre de 2023, el 87% volvió para añadir más reglas, pero casi todas iban dirigidas a nuevos rastreadores de entrenamiento (ClaudeBot, PerplexityBot). El verdadero agujero está en los bots de respuesta en tiempo real, los que el proveedor de IA envía cuando un usuario hace una pregunta y la página entra a formar parte de la respuesta en directo. Es justo ese momento el que Cloudflare quiere empezar a tarificar, y sobre el que se están construyendo los rails de pago abiertos x402.
Los datos muestran el desfase: entre los sitios que bloquearon al crawler de entrenamiento de Anthropic, el 71% no dice nada sobre Claude-User o Claude-SearchBot; con OpenAI, el 53% ignora OAI-SearchBot o ChatGPT-User; con Perplexity, el 50% no menciona a Perplexity-User. La postura “sin entrenamiento, sí respuestas”, la que más sentido tiene para un editor que quiere tráfico de referencia sin alimentar al modelo, apenas existe: menos del 2% en Anthropic, alrededor del 4% en OpenAI. The Economist y Forbes son ejemplos explícitos de esa decisión consciente.
El estudio también detectó 883 sitios cuyo robots.txt devuelve un challenge o un bloqueo al propio bot que intenta leerlo, y 144 que han escrito un Allow activo invitando a un bot de respuesta. La conclusión es clara: el libro de reglas existe, se mantiene con esmero, y casi todo su mantenimiento re-litiga una sola batalla.