hardware · 5 menciones
El artículo técnico describe un paradigma de actualización de pesos optimizado para el aprendizaje por refuerzo (RL) a gran escala, diseñado para superar las limitaciones de la sincronización de pesos completa. A diferencia de la preentrenamiento o la inferencia, el RL requiere que los pesos del ent
La publicación GPU World ha abierto un concurso internacional de relatos dotado con 100.000 dólares en premios que invita a escritores y ensayistas a imaginar cómo sería la vida cotidiana si cada uno de los alrededor de 8.000 millones de habitantes del planeta dispusiera, en 2040, del equivalente a
Palantir Technologies y su socio de infraestructura Armada han presentado contenedores de transporte estándar convertidos en centros de datos de IA para uso militar, capaces de operar en zonas de combate sin depender de la nube pública. Cada unidad integra su propio hardware, almacenamiento, redes y
Wafer ha logrado ejecutar el modelo abierto Kimi K3, de 2,8 billones de parámetros, en un nodo de ocho GPUs AMD MI355X con 288 GB de VRAM cada una, alcanzando 952 tokens por segundo agregados y 118 tok/s en flujo único. El resultado multiplica por 3,8 el rendimiento agregado por nodo y por 1,3 el de
El optimizador Muon se ha consolidado como una herramienta clave para el entrenamiento de modelos de lenguaje de última generación como Kimi K2 o GLM-5, ya que requiere menos pasos que AdamW para alcanzar una misma pérdida. Sin embargo, cada paso de Muon es más costoso debido a su procedimiento de o