Un año combatiendo bots en un sitio de 1,5 millones de páginas: qué funcionó
Nick Gray, creador de PatronView, una base de datos de filántropos estadounidenses construida a partir de formularios fiscales IRS 990 y documentos públicos, ha documentado durante un año una batalla silenciosa contra una avalancha de bots que amenaza con colapsar su sitio. Los números que reporta resultan alarmantes: por cada visitante humano real, su servidor responde 214 solicitudes automatizadas, aunque las herramientas de analítica convencionales como Plausible o Google Analytics registren apenas 500 visitas diarias.
El problema escaló abruptamente en noviembre de 2025, cuando 4.000 visitantes falsos llegaron durante unos días con una tasa de rebote del 99% y sin referrer, una señal típica de bot. Pero el verdadero punto de inflexión llegó el 22 de abril, cuando su sitio recibió 3,6 millones de peticiones en un solo día desde 361.844 direcciones IP únicas, casi todas procedentes de China. El sistema de desafío gestionado de Cloudflare absorbió 1,18 millones de esas peticiones en las primeras diez horas, pero un número significativo de bots las superaba. Gray decidió entonces aplicar el bloqueo geográfico en el borde de la red, primero China, luego Vietnam y Singapur, dado que su audiencia real es 95,9% estadounidense y 1,3% canadiense.
El fenómeno no es aislado. En respuestas a su tuit sobre la oleada, Matt Paulson, de MarketBeat, recomendó añadir Rusia a la lista; Jack Ellis, de Fathom Analytics, confirmó haber visto spam masivo desde China durante seis meses; Jeremy Brandt admitió tener una lista de países bloqueados "extensa" en Cloudflare; Chris Lewicki confesó haber abandonado la lucha por la complejidad que introducía; y Rodrigo Rocco alertó sobre el uso de miles de IP residenciales que realizan una sola llamada cada una, un patrón que, como señala Gray, terminaría afectándole después.
El caso de los rastreadores de inteligencia artificial resulta especialmente revelador. Cloudflare estima que los crawlers de Anthropic realizan unas 3.000 páginas rastreadas por cada visitante referido. Gray midió en junio un ratio de 35.000 a 1 en su sitio: Claude-SearchBot solicitó 420.680 páginas en una semana mientras Anthropic le enviaba únicamente 12 visitantes humanos. En ancho de banda, esa misma semana sirvió 4,63 GB al bot frente a 175 KB a los humanos referidos. Tras bloquear Claude-SearchBot en el firewall, las peticiones cayeron de 60.000 diarias a unos 25 intentos, lo que demuestra, según Gray, que las compañías de IA educadas respetan el código 403 de acceso denegado.
Mientras investigaba, descubrió que Amzn-SearchBot, el rastreador de búsqueda de Amazon que alimenta Rufus y Alexa, se había convertido en su principal crawler con 117.000 peticiones diarias, casi el doble del ritmo de Claude en junio. Como nunca enviará tráfico web ni atribución, lo bloqueó en dos minutos. En contraste, Google mantiene un ratio defendible, Bing es nueve veces peor pero tolerable porque sus referrals están creciendo, y los crawlers de entrenamiento como GPTBot, ClaudeBot, CCBot y Bytespider son bloqueados automáticamente por la función AI Crawl Control de Cloudflare.
En julio surgió una nueva oleada más sofisticada: navegadores headless Chrome ejecutándose desde centros de datos estadounidenses de AWS, que sí ejecutaban JavaScript y contaminaban las estadísticas con visitantes falsos. La solución más duradera fue retar a cualquier dirección IP de centro de datos, ya que los lectores reales navegan desde proveedores como Comcast o T-Mobile. Un humano con VPN supera el CAPTCHA tras un intento; una flota de navegadores automatizados encuentra un muro.
El hallazgo más preocupante es que estas tácticas requieren actualización constante. La lección, según Gray, es que las herramientas de analítica basadas en JavaScript ofrecen una visión peligrosamente incompleta del tráfico real, y que mantener un sitio web medianamente grande implica hoy una guerra de desgaste contra rastreadores, scrapers y redes de bots que poco tienen que ver con los motores de búsqueda legítimos.