15 noticias
Cloudflare ha anunciado la introducción de una nueva configuración llamada 'Disallow AI Training', que permite a los propietarios de sitios web mantener su contenido indexado para búsquedas tradicionales mientras se niegan a que los rastreadores de IA utilicen sus datos para entrenar modelos. Esta h
Known Agents, plataforma de analítica orientada a identificar agentes automatizados en la web, publica de forma recurrente su Agentic Web Index, un panel con métricas agregadas a partir de más de 5.000 sitios web que utilizan sus productos Agent Analytics y AI Chat Referral Tracking. Los datos, comp
El AI Visibility Index, elaborado por Website Auditor a partir de auditorías realizadas entre el 30 de marzo y el 2 de agosto de 2026, concluye que la inmensa mayoría de las pequeñas y medianas empresas permanece invisible cuando un usuario pregunta a un asistente de IA por un proveedor de su catego
Chats privados de usuarios de Claude, el chatbot de inteligencia artificial desarrollado por Anthropic, quedaron expuestos en los motores de búsqueda de Google y Bing durante el pasado fin de semana debido a un fallo en los controles de indexación de la compañía. El incidente, que reaviva el debate
Patreon ha endurecido su postura frente al raspado de datos por parte de bots de inteligencia artificial y ha pasado de solicitar mediante archivos robots.txt que los rastreadores no accedieran a su contenido a bloquearlos activamente. La plataforma de suscripción para creadores anunció el jueves qu
El archivo robots.txt fue ideado como un libro de reglas para regular el rastreo de la web. Casi cuatro años después del lanzamiento de GPTBot, un análisis del top 10.000 sitios revela que ese libro de reglas se quedó fijo en la guerra de 2023: la del crawler de entrenamiento de OpenAI. Del 38% de s
Definir un URI well-known es una decisión técnica con implicaciones operativas que conviene analizar antes de solicitar su registro. Los URIs well-known, formalizados en el RFC 8615, funcionan cuando un cliente —navegador, bot u otro software— conoce el sitio y necesita descubrir información sobre e
Más de 340 medios de comunicación locales en Estados Unidos han limitadosignificativamente el acceso del Internet Archive a sus contenidos digitales, segán un nuevo análisis de Nieman Lab publicado este martes. Los principales grupos editoriales detrás de estas restricciones incluyen USA Today Co.,
Amazon ha anunciado que su bot de rastreo web Amazonbot comenzará a respetar el archivo robots.txt a partir del lunes 15 de junio de 2026. La compañía envió una comunicación a editores informándoles que las preferencias de rastreo se gestionarán únicamente a través de las directivas estándar de la i
Cloudflare ha lanzado una nueva herramienta llamada “isitagentready.com” que permite a los propietarios de sitios web evaluar la preparación de sus páginas para la interacción con agentes de inteligencia artificial (IA). La herramienta, disponible desde hoy, analiza los sitios web en función de múlt
Un desarrollador ha lanzado "Miasma", una herramienta de código abierto diseñada para ayudar a los sitios web a defenderse del scraping de datos por parte de empresas de inteligencia artificial. Miasma actúa como una trampa, redirigiendo el tráfico malicioso a un servidor que inyecta datos de entren
Un nuevo sistema de protección de contenido de código abierto llamado obscrd ha sido lanzado para combatir la extracción de datos por parte de scrapers y bots de inteligencia artificial. La herramienta, disponible en npm, busca proteger el contenido web al ofuscarlo para los bots mientras mantiene l
Cloudflare ha lanzado una versión beta abierta de una nueva funcionalidad que permite a los usuarios rastrear sitios web completos con una sola llamada a la API. La herramienta, integrada en su servicio de Renderizado con Navegador, permite especificar una URL inicial y el sistema descubre automátic
Meta (Facebook) ha estado realizando repetidas solicitudes al archivo `robots.txt` de una instancia auto-alojada de Forgejo desde hace al menos cuatro días. El propietario de la instancia, Mikko Ahlroth, ha observado que el agente de usuario es `facebookexternalhit/1.1`, y las solicitudes provienen
Este artículo de Andrew Chan detalla la construcción y ejecución de un rastreador web a gran escala, capaz de indexar mil millones de páginas web en poco más de 24 horas con un presupuesto de alrededor de $462. El objetivo era modernizar el conocimiento existente sobre rastreo web, que data principa
