hardware · 5 menciones
Las leyes de escalado clásicas (estilo Chinchilla) indican qué arquitectura entrenar fijando un presupuesto de FLOPs y minimizando la pérdida. Pero los clústeres no facturan FLOPs: facturan horas de GPU. Sheng Zha, junto con Soumajyoti Sarkar y Yuxin Tang, presenta en un nuevo artículo el marco MOSA
Montar un servidor propio de inferencia para agentes de codificación exige entender qué se compra realmente cuando se alquila o adquiere una GPU. A diferencia de las APIs por token de OpenAI o Anthropic, un nodo propio fija un techo de tokens por segundo que solo se alcanza bajo carga; un solo desar
AMD presentó el 16 de junio de 2026 sus resultados en la ronda MLPerf Training 6.0, la participación más completa de la compañía hasta la fecha, con pruebas para las GPU Instinct MI325X, MI350X y MI355X. Por primera vez, AMD envió resultados de entrenamiento distribuido en varios servidores, incluid
La decodificación especulativa es una técnica de optimización en inferencia de modelos de lenguaje que acelera la generación de tokens sin pérdida de calidad. Su principio es simple: el modelo predice varios tokens futuros de forma barata y luego verifica solo los aceptados, aprovechando el ancho de
El autor detalla un experimento personal de ajuste fino (fine-tuning) de un modelo de lenguaje para que genere documentación técnica al estilo de los años 80 y 90. La motivación es explorar la predicción de que los redactores técnicos del futuro trabajarán con modelos locales especializados, en luga
