DreamHost protege sitios web con archivo agents.txt contra scrapeo de IA
DreamHost añade un archivo agents.txt a todos los sitios web alojados en sus servidores VPS. El archivo apareció automáticamente el 7 de mayo en la raíz de cada sitio, siendo una implementación similar al estándar robots.txt pero destinada a regular el comportamiento de agentes de IA. El contenido e
