hardware · 10 menciones
El autor detalla un experimento personal de ajuste fino (fine-tuning) de un modelo de lenguaje para que genere documentación técnica al estilo de los años 80 y 90. La motivación es explorar la predicción de que los redactores técnicos del futuro trabajarán con modelos locales especializados, en luga
La decodificación especulativa es una técnica de optimización en inferencia de modelos de lenguaje que acelera la generación de tokens sin pérdida de calidad. Su principio es simple: el modelo predice varios tokens futuros de forma barata y luego verifica solo los aceptados, aprovechando el ancho de
AMD presentó el 16 de junio de 2026 sus resultados en la ronda MLPerf Training 6.0, la participación más completa de la compañía hasta la fecha, con pruebas para las GPU Instinct MI325X, MI350X y MI355X. Por primera vez, AMD envió resultados de entrenamiento distribuido en varios servidores, incluid
Montar un servidor propio de inferencia para agentes de codificación exige entender qué se compra realmente cuando se alquila o adquiere una GPU. A diferencia de las APIs por token de OpenAI o Anthropic, un nodo propio fija un techo de tokens por segundo que solo se alcanza bajo carga; un solo desar
Las leyes de escalado clásicas (estilo Chinchilla) indican qué arquitectura entrenar fijando un presupuesto de FLOPs y minimizando la pérdida. Pero los clústeres no facturan FLOPs: facturan horas de GPU. Sheng Zha, junto con Soumajyoti Sarkar y Yuxin Tang, presenta en un nuevo artículo el marco MOSA
Este artículo técnico explica por qué la combinación de MLA (atención de latente múltiple) con MTP (decodificado especulativo o multi-token prediction) tiende a perjudicar el rendimiento en las GPUs actuales, partiendo de un comentario del investigador Su Jianlin. La clave está en la intensidad arit
Etched AI salió del modo stealth el 30 de junio de 2026 con un producto singular: Sohu, un ASIC (circuito integrado de aplicación específica) diseñado exclusivamente para ejecutar la atención de los modelos transformer. Frente a las GPU programables de NVIDIA, Sohu implementa esas operaciones como c
Un ingeniero publica una guía detallada para construir, partiendo de cero, un kernel denso de atención para la GPU Nvidia B200 (arquitectura Blackwell) en CUDA con algo de PTX. El recorrido, ilustrado con 60 diagramas, avanza a través de 14 kernels progresivos hasta alcanzar el 94,4 % del rendimient
El Gobierno surcoreano ha puesto en marcha la iniciativa "AI for All" para ofrecer a todos sus ciudadanos un chatbot de propósito general, gratuito y sin límites de uso, basado mayoritariamente en modelos nacionales. El proyecto, en marcha desde julio, lo desarrollan consorcios encabezados por SK Te
Un ingeniero independiente, Hugo Vergnes, ha entrenado desde cero un modelo de lenguaje de 3.848 millones de parámetros (llamado little-lm) que alcanza 0,384 en la prueba CORE, supera a GPT-2 por un margen amplio y se acerca a GPT-2 en cobertura de comprensión. El entrenamiento se completó en 43 hor
