hardware · 7 menciones
El desarrollador Jmaczan ha lanzado en GitHub 'tiny-vllm', un motor de inferencia de alto rendimiento para modelos de lenguaje grande (LLM) desarrollado en C++ y CUDA. Esta iniciativa se presenta como una versión más compacta y educativa de vLLM, diseñada para derivar desde cero las matemáticas y ar
La optimización del rendimiento en modelos de aprendizaje profundo a menudo se reduce a una colección de trucos ad-hoc sin fundamento, como instalar versiones específicas de PyTorch o usar operaciones in-place. Sin embargo, para lograr un rendimiento óptimo y sostenible, es crucial entender los prin
Google DeepMind ha anunciado AlphaEvolve, un sistema de optimización impulsado por Gemini que está transformando la eficiencia de diversas operaciones internas y externas. Inicialmente utilizado para mejorar el diseño de las TPUs (Tensor Processing Units) de Google, AlphaEvolve ha acelerado el proce
Google ha anunciado el lanzamiento de TorchTPU, una nueva herramienta que permite a los desarrolladores utilizar de forma nativa y eficiente PyTorch en sus Tensor Processing Units (TPUs). TorchTPU aborda la creciente complejidad de construir modelos de IA a gran escala, que ahora requieren sistemas
Un análisis crítico examina la pérdida de competitividad manufacturera estadounidense y las políticas de control de exportaciones, particularmente en el sector de semiconductores. El autor argumenta que la deslocalización de la producción, impulsada por la búsqueda de mano de obra barata y la evitac
Una nueva herramienta de código abierto llamada `zml-smi` ha sido lanzada para monitorizar GPUs, TPUs y NPUs de forma universal. Desarrollada por ZML, esta utilidad combina funcionalidades de `nvidia-smi` y `nvtop`, ofreciendo información en tiempo real sobre el rendimiento y la salud del hardware.
El CERN, el laboratorio europeo de física de partículas, está utilizando modelos de inteligencia artificial (IA) extremadamente pequeños, grabados directamente en chips de silicio, para filtrar en tiempo real los enormes volúmenes de datos generados por el Gran Colisionador de Hadrones (LHC). El LHC
