protocol_standard · 6 menciones
Biting the Bullet (BTB) es una técnica desarrollada por JW Labs Research para optimizar la inferencia de modelos de lenguaje de gran tamaño cuando se producen picos súbitos de peticiones que comparten un prefijo largo común, un patrón habitual en tareas de etiquetado de datos, agentes distribuidos o
El equipo de PyTorch ha portado Monarch a GPUs AMD Instinct con ROCm, extendiendo su modelo de controlador único para entrenamiento distribuido más allá del ecosistema CUDA. Monarch permite orquestar clústeres completos de GPUs desde un único programa Python mediante un sistema basado en actores, ab
Esta guía explica cómo configurar un clúster de dos nodos equipados con las placas base Framework Desktop Mainboard con AMD Ryzen AI MAX+ 'Strix Halo' y 128 GB de memoria unificada, conectados mediante tarjetas Intel E810-CQDA1 de 100 GbE sobre el protocolo RoCE v2, para ejecutar inferencia distribu
Este artículo técnico describe un recorrido de optimización de rendimiento en un sistema de almacenamiento de alto rendimiento ejecutado sobre Linux. El montaje es deliberadamente simple: un único hilo emite lecturas aleatorias de 1 MiB en E/S directa sobre 8 unidades NVMe y envía los datos a un hos
Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout
El proyecto thunderbolt-ibverbs, publicado por la organización hellas-ai, consiste en un módulo para el kernel de Linux y un shim en espacio de usuario que hacen que un enlace genérico USB4/Thunderbolt se presente ante las aplicaciones como un dispositivo InfiniBand de baja latencia y alto rendimien
