Un usuario ha compartido su experiencia al configurar ROCm y Strix Halo para optimizar el uso de memoria en un sistema con 128GB de RAM compartida entre la CPU y la GPU. El proceso, realizado en Ubuntu 24.04 LTS, incluyó una actualización del BIOS (necesaria para la detección de la GPU) y ajustes en la configuración del BIOS para reservar una pequeña cantidad de memoria (512MB) y habilitar el uso de GTT (Graphics Address Remapping Table). Se modificaron parámetros en /etc/default/grub para controlar el tamaño de la memoria GTT, dejando una reserva para la estabilidad del kernel. La instalación de PyTorch y la ejecución de Llama.cpp con Qwen 3.6 se lograron utilizando uv para la gestión de dependencias y podman para la ejecución de contenedores. El usuario advierte que algunos programas antiguos podrían interpretar la memoria de la GPU como limitada a 512MB. Finalmente, se describe la configuración para integrar Llama.cpp con Opencode, permitiendo la ejecución de este último con el modelo Qwen-Coder local. La experiencia, aunque con algunos desafíos, resultó positiva, permitiendo el uso de PyTorch y la ejecución de modelos de lenguaje grandes con un contexto amplio.
Noticias agregadas con IA