Anubis: la prueba de trabajo que promete frenar el scraping masivo de inteligencia artificial
El ecosistema web enfrenta una presión sin precedentes por el auge de los modelos de inteligencia artificial, y un número creciente de administradores de sitios ha comenzado a desplegar Anubis, un sistema de protección basado en pruebas de trabajo inspirado en el esquema Hashcash, originalmente propuesto en los años noventa para combatir el correo no deseado. Documentado en sitios como lore.kernel.org, el blog de bschaatsbergen.com y los archivos de la lista de correo de Sourceware (inbox.sourceware.org), Anubis se presenta como una respuesta directa a lo que sus creadores describen sin rodeos como "la plaga de las empresas de IA que scrapean agresivamente los sitios web".
El problema de fondo no es nuevo, pero sí ha alcanzado una magnitud inédita. Los rastreadores automatizados desplegados por compañías de inteligencia artificial realizan peticiones masivas y sostenidas que, según advierte el texto publicado en las tres fuentes consultadas, "pueden y de hecho causan caídas en los sitios web, lo que vuelve sus recursos inaccesibles para todos". El fenómeno, conocido como scraping agresivo, no solo degrada el rendimiento de las páginas afectadas: cuando un servidor se sobrecarga, los usuarios legítimos pierden acceso a contenidos y servicios, lo que convierte una práctica comercial de recolección de datos en un problema de infraestructura compartido.
La mecánica de Anubis es deliberadamente sencilla en su concepto. Antes de permitir el acceso al contenido, el sistema presenta al visitante un desafío criptográfico: debe resolver una prueba de trabajo computacional antes de que su solicitud sea aceptada. Como explica el mensaje desplegado en lore.kernel.org, la lógica es asimétrica: "a escala individual, la carga adicional es ignorable, pero a escala de scrapeadores masivos, se acumula y vuelve el proceso mucho más caro". En otras palabras, un humano navegando de forma convencional apenas nota la diferencia, pero un bot que intenta descargar millones de páginas se encuentra con un muro económico y temporal.
El nombre Hashcash no es casual. El esquema, propuesto originalmente por Adam Back en 1997, pretendía que cada correo electrónico llevara consigo el coste computacional de ser enviado, encareciendo el spam hasta hacerlo inviable. Anubis recupera esa filosofía y la aplica al tráfico web moderno, donde el "spam" ha mutado hacia peticiones HTTP indiscriminadas orientadas a alimentar corpus de entrenamiento para grandes modelos de lenguaje. La elección revela una influencia clara de la cultura criptográfica y de las ideas de resistencia a la censura que caracterizaron los primeros debates sobre monedas digitales.
Sin embargo, los propios responsables del proyecto son transparentes sobre sus limitaciones. En el texto replicado en bschaatsbergen.com e inbox.sourceware.org se reconoce sin ambigüedades que Anubis "es en última instancia una solución provisional". El objetivo real, explican, es ganar tiempo mientras se desarrollan técnicas más sofisticadas de fingerprinting e identificación de navegadores headless, es decir, navegadores sin interfaz gráfica controlados por software. La idea es detectar automáticamente cuándo un visitante es probablemente un bot, por ejemplo analizando particularidades como el renderizado de fuentes tipográficas, y mostrar el desafío de prueba de trabajo solo a quienes realmente lo ameriten. De este modo, la experiencia del usuario legítimo mejoraría con el tiempo a medida que el sistema aprende a distinguir humanos de máquinas.
Un detalle práctico relevante para los usuarios es que Anubis requiere el uso de funciones modernas de JavaScript para ejecutar el desafío en el navegador. Esto genera fricción con extensiones de privacidad como JShelter, que precisamente desactivan parte de estas capacidades para proteger al usuario del rastreo. Las fuentes consultadas recomiendan explícitamente desactivar JShelter u otros plugins similares en los dominios protegidos por Anubis, lo que ilustra una tensión creciente entre las herramientas anti-seguimiento y los nuevos sistemas anti-scraping.
El análisis del fenómeno arroja varias implicaciones. En primer lugar, la reacción de la comunidad de administradores web sugiere que el modelo de relación entre los creadores de contenido y las empresas de IA está entrando en una fase de confrontación abierta. Hasta ahora, muchos scrapeadores operaban en una zona gris legal y técnica; la proliferación de sistemas como Anubis indica un cambio hacia medidas defensivas activas. En segundo lugar, el propio enfoque de "solución provisional" revela un problema más profundo: no existe todavía una forma fiable de distinguir a un humano de un bot sofisticado, y la investigación en fingerprinting de navegadores sigue siendo un campo en evolución.
Desde la perspectiva de las compañías de inteligencia artificial, el endurecimiento del entorno web podría encarecer y ralentizar la recolección de datos de entrenamiento, lo que a su vez podría afectar la competitividad de futuros modelos. Para los editores y administradores de sitios, en cambio, la adopción de herramientas como Anubis ofrece un respiro operativo y una forma de recuperar cierto control sobre sus recursos.
En conclusión, Anubis se ha consolidado como una de las respuestas técnicas más visibles a la presión del scraping masivo impulsado por la IA. Su diseño, basado en pruebas de trabajo, aprovecha una idea clásica de la criptografía para imponer costes asimétricos entre humanos y máquinas. Aunque sus propios creadores lo califican como un parche temporal, su expansión por sitios relevantes como los archivos de Sourceware y la bitácora personal de bschaatsbergen sugiere que, al menos a corto plazo, la navegación por internet podría toparse cada vez más con este tipo de desafíos. Lo que cabe esperar en los próximos meses es una escalada: sistemas de protección más sofisticados por un lado, y técnicas de evasión más avanzadas por otro, en una carrera cuya resolución definitiva sigue siendo, por ahora, una incógnita.