Cloudflare ha anunciado que el 15 de septiembre de 2026 su configuración predeterminada bloqueará a los rastreadores web de uso mixto (los que combinan funciones de búsqueda tradicional, agentes de IA y entrenamiento de modelos) en todas las páginas que alojen publicidad, salvo que el propietario del sitio lo modifique expresamente. La medida se aplicará a nuevos clientes de Cloudflare, a nuevos sitios de clientes actuales y a todos los usuarios gratuitos existentes.
La empresa argumenta que la mayoría de los editores quieren aparecer en buscadores y servicios de IA, pero rechazan que su contenido se ceda gratis para entrenar modelos. Cloudflare señala además que el motor de búsqueda más grande del mundo, en clara referencia a Google, accede a aproximadamente el doble de información que otras compañías de IA, ya que resulta difícil para los sitios mantenerse visibles en Google sin ser explotados para IA.
Google ha respondido previamente que ofrece el bot Google Extended para que los editores excluyan su contenido del entrenamiento y de productos como Gemini Apps y Vertex API, sin que eso afecte al rastreo de Googlebot para búsqueda, AI Overviews o AI Mode.
El consejero delegado Matthew Prince justificó la medida señalando que la mayoría del tráfico en internet ya es no humano, un hito que no se esperaba hasta 2026. Paralelamente, Cloudflare amplía su herramienta Pay Per Crawl hacia un modelo de Pay Per Use, que permitirá cobrar a las compañías de IA cuando el contenido genere valor real. Los primeros socios son Ceramic.ai y You.com.