protocol_standard · 6 menciones
La cuantización es una técnica de compresión que reduce el número de bits necesarios para representar los parámetros de un modelo de lenguaje grande (LLM), normalmente almacenados en punto flotante de 32 bits (FP32), a formatos de menor precisión como FP16, BF16 o enteros de 8 bits (INT8). El objeti
Cloudflare detalla en su blog de ingeniería cómo sirve modelos abiertos de gran tamaño —Kimi K2.6 de Moonshot y GLM 5.2 de Z.ai— en su plataforma Workers AI, sobre GPUs H200 en sus centros de datos, sin renunciar a precisión. El artículo explica tres técnicas que se apoyan en separar las fases de pr
La empresa ByteShape ha publicado una serie de tres artículos técnicos en los que propone un marco práctico para evaluar modelos de inteligencia artificial cuantizados de cara a su puesta en producción. El texto parte de una crítica a la forma habitual de comparar estos modelos: mediante una única c
El repositorio t-head/triton-for-sail es un fork del compilador y lenguaje Triton que añade un backend específico para los procesadores PPU desarrollados por T-Head Semiconductor, utilizados en su SDK SAIL. Está pensado para dos generaciones de Tensor Core: PPU0010, con instrucciones MMAv1, y PPU001
El equipo de humans& presenta una receta de aprendizaje por refuerzo (RL) en precisión NVFP4 de 4 bits, desarrollada en colaboración con RadixArk y NVIDIA, que logra mantener la dinámica de entrenamiento en alta precisión y, al mismo tiempo, aprovechar los aumentos de throughput que ofrece el hardwa
El redondeo al más cercano produce el mismo error cada vez, que se acumula linealmente con el número de pasos. En cambio, el redondeo estocástico genera errores de media cero que se cancelan parcialmente, creciendo solo como la raíz cuadrada del número de pasos. Un experimento con un MLP pequeño ent
