software · 5 menciones
TornadoVM, el marco de programación heterogénea para Java, ha lanzado su versión 7.3, una actualización significativa que mejora la integración con GPUs de Nvidia mediante un backend CUDA optimizado. Esta versión elimina dependencias experimentales como la API JNI y el JVM Compiler Interface (JVMCI)
Este documento sirve como referencia técnica para comprender los componentes y modelos de programación de las unidades de procesamiento gráfico (GPU). La estructura se organiza en cuatro categorías principales: hardware de dispositivo, software de dispositivo, software de host y rendimiento. En la
vLLM es una biblioteca de código abierto diseñada para la inferencia y el servicio de modelos de lenguaje de gran escala (LLM). Desarrollada originalmente en el Sky Computing Lab de la Universidad de California en Berkeley, esta herramienta se ha convertido en uno de los proyectos de IA más activos,
Un ingeniero publica una guía detallada para construir, partiendo de cero, un kernel denso de atención para la GPU Nvidia B200 (arquitectura Blackwell) en CUDA con algo de PTX. El recorrido, ilustrado con 60 diagramas, avanza a través de 14 kernels progresivos hasta alcanzar el 94,4 % del rendimient
Un estudio reciente revela que las multiplicaciones de matrices en GPUs, específicamente en la Nvidia A100, se ejecutan más rápido cuando se utilizan datos 'predecibles' como ceros en lugar de datos aleatorios. Esta anomalía desafía la creencia tradicional de que el rendimiento de las operaciones de
