13 noticias
La decodificación especulativa es una técnica que permite a vLLM verificar en una sola pasada del modelo objetivo varios tokens propuestos por un componente de borrador, con el fin de mantener el comportamiento de salida del modelo original mientras se reduce el número de rondas de decodificación es
El proyecto vLLM ha publicado la versión 0.28.0, una actualización que incorpora 584 contribuciones de 270 desarrolladores para mejorar significativamente el rendimiento y la compatibilidad de modelos de lenguaje avanzados. Esta liberación se centra en optimizaciones profundas para Kimi-K3, incluyen
Este artículo explica, desde una perspectiva práctica y accesible, cómo aprovechar varios GPU reciclados para ejecutar modelos de lenguaje de gran tamaño en un servidor doméstico. Tras una introducción al funcionamiento básico de los transformers y al concepto de token, el texto repasa por qué la ge
El repositorio ryanzhou/deepseek-v4-flash-mi300x reúne la configuración y los parches necesarios para ejecutar el modelo DeepSeek-V4-Flash-0731 (304B parámetros) en producción sobre una única GPU AMD Instinct MI300X. La MI300X dispone de 192 GiB de HBM3 y un ancho de banda de 5,3 TB/s, lo que permit
El equipo de PyTorch ha portado Monarch a GPUs AMD Instinct con ROCm, extendiendo su modelo de controlador único para entrenamiento distribuido más allá del ecosistema CUDA. Monarch permite orquestar clústeres completos de GPUs desde un único programa Python mediante un sistema basado en actores, ab
El desarrollador Taehee Yoo ha publicado este domingo en la lista de correo del kernel Linux una serie de parches bajo la etiqueta RFC que introducen KNOD, un mecanismo de descarga de red dentro del propio kernel (in-kernel) que ejecuta el procesamiento de paquetes directamente sobre la GPU, sin rec
AMD ultima el lanzamiento de su serie MI400 de aceleradores para centros de datos, que se presentará en su evento Advancing AI. Antes del anuncio, el análisis de los commits preliminares de LLVM —el compilador open source en el que se apoya ROCm— permite reconstruir la arquitectura del chip bautizad
El AMD Ryzen AI Halo es un mini-PC compacto (15 × 15 cm, menos de 5 cm de alto y 1,2 kg) diseñado para el desarrollo de modelos de inteligencia artificial en local. Se basa en el procesador AMD Ryzen AI Max+ 395 (Zen 5, 16 núcleos y 32 hilos) con gráficos Radeon 8060S integrados (40 unidades de cómp
ZLUDA es un proyecto de software que permite ejecutar aplicaciones CUDA sin modificar sobre GPUs que no son de NVIDIA, principalmente AMD. Tras varios meses sin actualizaciones, su desarrollador publica un resumen de novedades que culmina con la versión 6, una edición mayor que no introduce cambios
AMD anunció el 15 de junio de 2026 la adquisición del especialista en gestión de memoria MEXT, una operación sin precio revelado que refuerza su estrategia de software para centros de datos. La tecnología de MEXT, denominada Predictive Memory, integra unidades flash NVMe en un mismo pool de memoria
AMD presentó el 16 de junio de 2026 sus resultados en la ronda MLPerf Training 6.0, la participación más completa de la compañía hasta la fecha, con pruebas para las GPU Instinct MI325X, MI350X y MI355X. Por primera vez, AMD envió resultados de entrenamiento distribuido en varios servidores, incluid
La empresa Doubleword documenta el trabajo técnico realizado para ejecutar el modelo DeepSeek-V4-Flash sobre las tarjetas aceleradoras AMD MI300X, una tarea que, según la compañía, no funciona de forma predeterminada en vLLM a principios de mayo de 2026. La MI300X, lanzada en diciembre de 2023, ofr
Un usuario ha compartido su experiencia al configurar ROCm y Strix Halo para optimizar el uso de memoria en un sistema con 128GB de RAM compartida entre la CPU y la GPU. El proceso, realizado en Ubuntu 24.04 LTS, incluyó una actualización del BIOS (necesaria para la detección de la GPU) y ajustes en