7 noticias
Amazon ha anunciado que su bot de rastreo web Amazonbot comenzará a respetar el archivo robots.txt a partir del lunes 15 de junio de 2026. La compañía envió una comunicación a editores informándoles que las preferencias de rastreo se gestionarán únicamente a través de las directivas estándar de la i
Cloudflare ha lanzado una nueva herramienta llamada “isitagentready.com” que permite a los propietarios de sitios web evaluar la preparación de sus páginas para la interacción con agentes de inteligencia artificial (IA). La herramienta, disponible desde hoy, analiza los sitios web en función de múlt
Un desarrollador ha lanzado "Miasma", una herramienta de código abierto diseñada para ayudar a los sitios web a defenderse del scraping de datos por parte de empresas de inteligencia artificial. Miasma actúa como una trampa, redirigiendo el tráfico malicioso a un servidor que inyecta datos de entren
Un nuevo sistema de protección de contenido de código abierto llamado obscrd ha sido lanzado para combatir la extracción de datos por parte de scrapers y bots de inteligencia artificial. La herramienta, disponible en npm, busca proteger el contenido web al ofuscarlo para los bots mientras mantiene l
Cloudflare ha lanzado una versión beta abierta de una nueva funcionalidad que permite a los usuarios rastrear sitios web completos con una sola llamada a la API. La herramienta, integrada en su servicio de Renderizado con Navegador, permite especificar una URL inicial y el sistema descubre automátic
Meta (Facebook) ha estado realizando repetidas solicitudes al archivo `robots.txt` de una instancia auto-alojada de Forgejo desde hace al menos cuatro días. El propietario de la instancia, Mikko Ahlroth, ha observado que el agente de usuario es `facebookexternalhit/1.1`, y las solicitudes provienen
Este artículo de Andrew Chan detalla la construcción y ejecución de un rastreador web a gran escala, capaz de indexar mil millones de páginas web en poco más de 24 horas con un presupuesto de alrededor de $462. El objetivo era modernizar el conocimiento existente sobre rastreo web, que data principa
