Noticias que mencionan robots.txt

Meta retrasa sus nuevas condiciones tras la oposición de editores

Meta ha decidido posponer la entrada en vigor de sus nuevas condiciones comerciales, inicialmente previstas para el 30 de octubre, hasta el 20 de noviembre. Esta decisión responde a la fuerte oposición de los editores de noticias y anunciantes digitales, quienes temen que las cláusulas permitan a la

Meta elimina cláusulas de raspado de noticias de sus términos

Meta ha actualizado sus términos comerciales para eliminar el lenguaje que permitía a la empresa rastrear y utilizar contenido de sitios web, incluidos los de noticias, con el fin de entrenar sus modelos de inteligencia artificial. Esta modificación responde a la fuerte crítica recibida por expertos

Cómo desindexar un sitio web de Google mediante robots.txt

La desindexación de un sitio web de motores de búsqueda como Google requiere una configuración técnica específica que a menudo se malinterpreta. Un usuario documentó su experiencia al intentar eliminar su blog de los índices de búsqueda debido a la preocupación por el scraping de contenido para inte

El 94,8% de los sitios web no aparece en las respuestas de los asistentes de IA

El AI Visibility Index, elaborado por Website Auditor a partir de auditorías realizadas entre el 30 de marzo y el 2 de agosto de 2026, concluye que la inmensa mayoría de las pequeñas y medianas empresas permanece invisible cuando un usuario pregunta a un asistente de IA por un proveedor de su catego

Guía práctica para definir un URI well-known en la web

Definir un URI well-known es una decisión técnica con implicaciones operativas que conviene analizar antes de solicitar su registro. Los URIs well-known, formalizados en el RFC 8615, funcionan cuando un cliente —navegador, bot u otro software— conoce el sitio y necesita descubrir información sobre e

Amazonbot comenzará a respetar robots.txt a partir de junio de 2026

Amazon ha anunciado que su bot de rastreo web Amazonbot comenzará a respetar el archivo robots.txt a partir del lunes 15 de junio de 2026. La compañía envió una comunicación a editores informándoles que las preferencias de rastreo se gestionarán únicamente a través de las directivas estándar de la i

Cloudflare evalúa sitios web para la era de la IA

Cloudflare ha lanzado una nueva herramienta llamada “isitagentready.com” que permite a los propietarios de sitios web evaluar la preparación de sus páginas para la interacción con agentes de inteligencia artificial (IA). La herramienta, disponible desde hoy, analiza los sitios web en función de múlt

Miasma: herramienta anti-scraping para sitios web

Un desarrollador ha lanzado "Miasma", una herramienta de código abierto diseñada para ayudar a los sitios web a defenderse del scraping de datos por parte de empresas de inteligencia artificial. Miasma actúa como una trampa, redirigiendo el tráfico malicioso a un servidor que inyecta datos de entren

Cloudflare: Rastreo web completo con una sola API

Cloudflare ha lanzado una versión beta abierta de una nueva funcionalidad que permite a los usuarios rastrear sitios web completos con una sola llamada a la API. La herramienta, integrada en su servicio de Renderizado con Navegador, permite especificar una URL inicial y el sistema descubre automátic

Rastreador web indexa mil millones de páginas en 24 horas

Este artículo de Andrew Chan detalla la construcción y ejecución de un rastreador web a gran escala, capaz de indexar mil millones de páginas web en poco más de 24 horas con un presupuesto de alrededor de $462. El objetivo era modernizar el conocimiento existente sobre rastreo web, que data principa