Un año combatiendo bots en un sitio de 1,5 millones de páginas: qué funcionó

Fuentes: 99% of My Website Traffic Is Bots | PatronView

El creador de PatronView, una base de datos de filántropos estadounidenses con 1,5 millones de páginas, detalla un año entero борьбы contra el tráfico automatizado que, según sus mediciones, supera al de humanos en una proporción de 214 a 1. Durante la semana en que publicó el análisis, su servidor atendió 2,5 millones de peticiones externas y sirvió 1,28 millones de páginas completas, mientras que sus estadísticas de visitantes apenas registraron 5.977 páginas vistas.

El problema se intensificó en abril, cuando el sitio recibió 3,6 millones de peticiones en un solo día procedentes de 361.844 direcciones IP, casi todas en China. Tras bloquear el país en el perímetro de Cloudflare, olas similares llegaron desde Vietnam y Singapur, que también fueron bloqueados. Más adelante, en julio, una nueva oleada de navegadores headless desde centros de datos estadounidenses obligó a activar retos para todo el tráfico procedente de datacenters.

El autor también documenta el impacto de los rastreadores de inteligencia artificial. Cloudflare estima que los crawlers de Anthropic rastrean unas 3.000 páginas por cada visitante referido; en su caso, la proporción llega a 35.000 a 1. Claude-SearchBot solicitó 420.680 páginas en una semana y solo trajo 12 visitantes humanos. Amazon Rufus y Alexa, con 117.000 peticiones diarias y cero tráfico, fueron bloqueados. El texto cierra con una lista de reglas de firewall probadas por el autor.