36 noticias
Un año combatiendo bots en un sitio de 1,5 millones de páginas: qué funcionó Nick Gray, creador de PatronView, una base de datos de filántropos estadounidenses construida a partir de formularios fiscales IRS 990 y documentos públicos, ha documentado durante un año una batalla silenciosa contra una
La Comisión de Bolsa y Valores de Estados Unidos (SEC) está limitando las solicitudes que llegan a SEC.gov desde herramientas automatizadas no declaradas. El organismo justifica la medida en la necesidad de garantizar un acceso equitativo a todos los usuarios y proteger el rendimiento del servicio p
ShieldFont: la tipografía que sabotea el entrenamiento de IA sin que el lector lo note En un contexto de creciente tensión entre creadores de contenido y empresas de inteligencia artificial, ShieldFont propone una solución técnica tan ingeniosa como controversial: alterar las palabras que ve una má
Draco es una herramienta de línea de comandos escrita en Rust para extraer contenido web y devolverlo en Markdown limpio junto con metadatos estructurados. Su propuesta de valor principal es funcionar como una alternativa más ligera a Firecrawl y Browserbase, ya que no depende de Node, ni de una flo
El contenido proporcionado no contiene el artículo periodístico, sino exclusivamente un aviso legal de The New York Times relativo a los términos de servicio del sitio. En él se prohíben la minería de datos, el raspado automatizado y el uso de cualquier material —incluidos textos, datos y archivos e
Un juez federal estadounidense rechazó en gran medida el viernes la solicitud de desestimación presentada por el raspador web SerpApi, acusado de conspirar con Perplexity AI para extraer de forma ilícita contenido protegido por derechos de autor de Reddit a través de los resultados de búsqueda de Go
Google confirmó que no abandonará su ofensiva legal para impedir que los bots de inteligencia artificial rastreen sus resultados de búsqueda, pese a la derrota judicial sufrida la semana pasada por su demanda contra el raspador web SerpApi. La compañía, respaldada en una maniobra poco habitual por R
Chats privados de usuarios de Claude, el chatbot de inteligencia artificial desarrollado por Anthropic, quedaron expuestos en los motores de búsqueda de Google y Bing durante el pasado fin de semana debido a un fallo en los controles de indexación de la compañía. El incidente, que reaviva el debate
Cuando un webmaster observa en sus registros una avalancha atribuida al rastreador Googlebot, lo habitual es confiar en la cabecera HTTP que dice ser ese bot. Sin embargo, esa cabecera es una identificación voluntaria que cualquiera puede falsificar. Un reciente hilo en Hacker News recoge testimonio
Varios editores estadounidenses están planteándose bloquear por completo el acceso de Google a sus sitios web ante el desplome del tráfico derivado de sus búsquedas. Según datos de Semrush recogidos por The Wall Street Journal, algunas publicaciones perdieron más del 40% del tráfico entre junio de 2
Reddit ha empezado a exigir iniciar sesión para usar old.reddit.com, su frontend clásico basado en HTML, según anunció en un mensaje a los moderadores. La compañía justifica la medida porque la experiencia sin login en esa versión es, según afirma, una fuente significativa de scraping abusivo y tráf
TheNumbers.com, una de las bases de datos más fiables de la industria cinematográfica con 78.000 películas y 236.000 personas registradas, cayó el 5 de marzo de 2026 tras un ataque combinado de tráfico automatizado. Fundada en 1997 por el ex desarrollador de IBM Bruce Nash, la web recibía alrededor
Patreon ha endurecido su postura frente al raspado de datos por parte de bots de inteligencia artificial y ha pasado de solicitar mediante archivos robots.txt que los rastreadores no accedieran a su contenido a bloquearlos activamente. La plataforma de suscripción para creadores anunció el jueves qu
El desarrollador a cargo de Anubis, un cortafuegos de aplicaciones web, ha publicado los datos recogidos durante meses por la función honeypot (trampa) integrada en su herramienta y los resultados dibujan un problema de alcance planetario. En total se analizaron 2.678.193 direcciones IP únicas que a
Anubis es un proxy HTTP con prueba de trabajo (proof-of-work) pensado para frenar a los bots de inteligencia artificial y a los raspadores web antes de servir el contenido. El programador Farid Zakaria lo describe como un «impuesto regresivo» que apenas incomoda a sus adversarios reales y, en cambio
Desde el 1 de julio de 2025, Cloudflare bloquea por defecto a los rastreadores de inteligencia artificial en cada dominio nuevo, y desde entonces ha rechazado cientos de miles de millones de peticiones automatizadas. El cambio, presentado como un enfrentamiento entre laboratorios de IA y editores po
LWN.net actualiza el balance sobre la oleada de scraping masivo que golpea sitios web en busca de datos para entrenar modelos de lenguaje. Más de un año después de su primer informe, el problema se ha intensificado: ataques coordinados desde millones de direcciones IP únicas en pocas horas, con user
Context.dev es una plataforma que ofrece, desde una misma API, acceso a datos web en tiempo real —contenido scraped, crawled, extracción estructurada e inteligencia de marca—pensada para alimentar agentes de inteligencia artificial y productos que necesitan información actualizada de sitios web y em
Fortress es un motor Chromium de código abierto que corrige la huella digital del navegador desde el propio núcleo C++ —canvas, WebGL, audio, fuentes, navigator y unas treinta superficies más— en lugar de parchear JavaScript por encima, donde cualquier página puede detectar la superposición. El resu
El archivo robots.txt fue ideado como un libro de reglas para regular el rastreo de la web. Casi cuatro años después del lanzamiento de GPTBot, un análisis del top 10.000 sitios revela que ese libro de reglas se quedó fijo en la guerra de 2023: la del crawler de entrenamiento de OpenAI. Del 38% de s
Anubis: el escudo con prueba de trabajo que se interpone entre los usuarios y el scraping masivo de IA Cada vez más administradores de sitios web están levantando una barrera digital ante el avance indiscriminado de los rastreadores de inteligencia artificial. Se llama Anubis y, a diferencia de los
El desarrollador detrás del generador web infinito bork.php detectó en sus registros de Apache un pico inusual de peticiones dirigidas al archivo /.git/config, asociado al sistema de control de versiones Git. El autor había modificado su programa en noviembre para devolver respuestas falsas y aleato
Cloudflare ha anunciado que el 15 de septiembre de 2026 su configuración predeterminada bloqueará a los rastreadores web de uso mixto (los que combinan funciones de búsqueda tradicional, agentes de IA y entrenamiento de modelos) en todas las páginas que alojen publicidad, salvo que el propietario de
La corrección estructural es un enfoque que modela un dominio como un grafo de nodos y aristas tipadas, donde la estructura que describe el sistema es el propio sistema. Sistemas de tipos, herramientas de construcción como Bazel, lenguajes de descripción de interfaces y bases de datos con claves for
Los proxies residenciales —redes de dispositivos domésticos usados como nodos de salida para enrutar tráfico web— se han convertido en una pieza clave del ecosistema de scraping, del entrenamiento de modelos de IA y, cada vez más, de la ciberdelincuencia. Funcionan porque los sitios web bloquean con
Selector Forge es una extensión de navegador (disponible para Chrome y Firefox, bajo el estándar Manifest V3) que ayuda a generar selectores CSS o XPath robustos directamente desde la página que se está visualizando. Su propósito es evitar la fragilidad habitual de los selectores cuando se escriben
Intuned es una plataforma orientada a eliminar la escritura manual de código en automatizaciones de navegador. Su componente principal, Intuned Agent, genera código de Playwright listo para producción a partir de una descripción en lenguaje natural, lo despliega en la nube y lo repara cuando los sit
Include Security ha publicado un informe que documenta el SDK de Bright Data, un software integrado en aplicaciones de terceros que convierte teléfonos y, sobre todo, televisores inteligentes en nodos de una red de proxy residenciales utilizada para alimentar el raspado web destinado al entrenamient
Un repositorio alojado en la plataforma de código abierto Codeberg funciona como cebadero (honeypot) dirigido a los rastreadores web empleados por sistemas de inteligencia artificial. Su propósito declarado es disuadir a los operadores de estos bots y contaminar los corpus de entrenamiento con datos
Amazon ha anunciado que su bot de rastreo web Amazonbot comenzará a respetar el archivo robots.txt a partir del lunes 15 de junio de 2026. La compañía envió una comunicación a editores informándoles que las preferencias de rastreo se gestionarán únicamente a través de las directivas estándar de la i
Una nueva técnica llamada 'Subrutinas' está automatizando tareas web al ejecutar scripts directamente dentro de las pestañas del navegador, resolviendo un problema común en la automatización con LLMs. La mayoría de los agentes de IA fallan al intentar realizar tareas repetitivas debido a los costos
Sitios web están implementando una nueva herramienta llamada 'Anubis' para combatir el scraping masivo de datos por parte de empresas de inteligencia artificial. La medida, que ya se está viendo en varios sitios, busca proteger los servidores de la sobrecarga que causan estos 'scrapers', lo que pued
## Hacker News: Un Explorador de Indultos Presidenciales con Playwright, SQLite y Astro El proyecto descrito es una aplicación web creada para facilitar la investigación y verificación de indultos presidenciales. Inspirado en el trabajo de Liz Oyer (probablemente una investigadora o periodista que
Anubis: la creciente batalla de los sitios web contra la extracción masiva de datos por parte de empresas de inteligencia artificial El fenómeno del scraping agresivo llevado a cabo por compañías de inteligencia artificial ha alcanzado niveles sin precedentes, provocando caídas de servicio en numer
El mensaje "We apologize for the inconvenience..." que aparece en iopscience.iop.org (la plataforma de publicación de la IOP Publishing, una importante editorial científica) es una medida de seguridad implementada para proteger el sitio web de ataques automatizados, específicamente de bots y crawler
Este artículo explora el uso de Redes de Petri Coloreadas (CPNs) como una herramienta prometedora para desarrollar aplicaciones distribuidas concurrentes, especialmente en el contexto de la inteligencia artificial generativa (LLMs) y el desarrollo de software. El objetivo principal es mejorar la ver
