56 noticias
El proyecto vLLM ha publicado la versión 0.28.0, una actualización que incorpora 584 contribuciones de 270 desarrolladores para mejorar significativamente el rendimiento y la compatibilidad de modelos de lenguaje avanzados. Esta liberación se centra en optimizaciones profundas para Kimi-K3, incluyen
Nvidia trabaja en portar su plataforma de cómputo CUDA a sistemas con CPU RISC-V, según expuso en la conferencia Hot Chips 2026. Hasta ahora CUDA solo funcionaba con procesadores x86-64 y aarch64; el nuevo objetivo son CPUs RISC-V de grado servidor que cumplan con el perfil RVA23 y las especificacio
InferQuest es una aplicación web gratuita, abierta y sin ánimo de lucro orientada a formar ingenieros de inferencia y de entrenamiento de modelos de lenguaje grandes. Su diseño parte de un análisis del mercado laboral y se estructura en torno a dos itinerarios —despliegue rápido y económico de LLMs
Muchos usuarios instalan un modelo de lenguaje local, a menudo en una versión cuantizada, y comprueban decepcionados que rinde peor de lo prometido en los benchmarks originales. Esta brecha se explica porque cada combinación de hardware y software introduce pequeñas variaciones que alteran los cálcu
Este artículo técnico sigue paso a paso el viaje que realiza una instrucción de carga global (LDG.E) generada por un kernel CUDA de suma vectorial en una GPU NVIDIA RTX 4090, desde que se ejecuta en un warp hasta que llega —si llega— a la DRAM. El recorrido comienza cuando el planificador de una sub
Este artículo técnico sostiene que, en el código de programación, sustituir π por τ (2π) fue una mejora menor comparada con la posibilidad de eliminar directamente los radianes. El autor argumenta que la práctica habitual de multiplicar valores por π o τ para llamar a las funciones trigonométricas y
Un autor publica un writeup detallado del reto OSINT 'Gralhix #004', creado por Sofia Santos, en el que se pide identificar un resort situado en un islote tropical a partir de una sola fotografía aérea obtenida con un dron. En lugar de recurrir a Google Lens, el autor plantea una resolución basada í
Los kernels CUDA que usan memoria compartida pueden sufrir conflictos de banco, una penalización de rendimiento habitual cuando un warp accede simultáneamente a posiciones que caen en el mismo banco de la memoria compartida. Una solución sencilla es el padding, pero desperdicia memoria y tiene otros
Pantheon es una herramienta para evaluar el comportamiento de las GPU mediante cargas de trabajo enfocadas. El texto describe pruebas de cómputo, memoria, caché, interconexión y consumo energético, junto con la captura de telemetría y el almacenamiento de resultados para compararlos posteriormente.
Un equipo internacional de investigadores ha presentado un framework que permite ejecutar código Rust directamente sobre GPUs manteniendo las garantías de seguridad de memoria del lenguaje, sin sacrificar el rendimiento y con soporte multiplataforma. El trabajo, titulado "GPU Offload in Rust: Portab
El repositorio photonic-mesh-fng-router, alojado en GitHub bajo la cuenta PJHkorea, constituye una prueba de concepto (PoC) de un motor de plano de control óptico «congelado en tiempo» y nativo de hardware, concebido para investigar el enrutamiento fotónico entre aceleradores sin latencia por búfer
Un participante quedó en el puesto 12 de 183 en una competición de auto-research organizada por GPU Mode y Core Automation, en la que logró una aceleración de 232 veces sobre la solución de referencia al implementar la factorización QR de Householder por lotes en matrices cuadradas FP32 sobre GPU. L
La startup francesa Kog, fundada en solitario por Gaël Delalleau, asegura que es posible acelerar drásticamente la inferencia de modelos de inteligencia artificial en GPU estándar mediante optimización por software, frente a quienes consideran necesarias soluciones de hardware a medida como los chip
En mayo de 2025, el equipo de HazyResearch y de Cursor describió su trabajo con megakernels para acelerar el modelo Llama, una técnica que obliga a coordinar manualmente cientos de hilos y bloques de GPU. Para hacer manejable esa complejidad, desarrollaron una capa de abstracción en C++ publicada en
VectorWare ha anunciado que su toolchain permite ejecutar código Rust escrito con la API portable de SIMD (core::simd) directamente sobre la GPU, sin requerir anotaciones específicas de GPU en el código fuente. La compañía describe la técnica como una novedad sin precedentes que aprovecha el modelo
Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
El proyecto de código abierto nixos-dgx-spark, publicado en GitHub por el usuario graham33, ofrece una vía oficial para ejecutar Nix y NixOS en el superordenador personal NVIDIA DGX Spark, un equipo compacto orientado a cargas de inteligencia artificial que también se comercializa como Asus Ascent G
Infinity, una startup de infraestructura para inteligencia artificial, anunció el lunes una ronda de financiación de 15 millones de dólares con una valoración de 100 millones. Entre los inversores figuran Touring Capital, Principal VC e investigadores de OpenAI y Anthropic. La compañía desarrolla s
Primate Labs ha presentado Geekbench 7, la nueva versión de su benchmark multiplataforma, ya disponible para Android, iOS, Windows, macOS y Linux. La herramienta incorpora cargas de trabajo de medios inéditas que evalúan el rendimiento de la CPU en tareas de codificación, decodificación y procesamie
transcribe.cpp es una biblioteca de transcripción de voz a texto basada en ggml, presentada por el autor y mantenedor de Handy como un proyecto de código abierto en su versión 0.1.0. Su objetivo es simplificar la distribución de aplicaciones de reconocimiento automático del habla (ASR) multiplatafor
Los chiplets se han convertido en la solución habitual para seguir aumentando el rendimiento de las GPU, pero los modelos de programación actuales (CUDA y HIP) siguen ofreciendo una jerarquía de ejecución plana que no permite expresar la localidad ni la sincronización a nivel de chiplet. Esa brecha
Las GPU NVIDIA Tesla fuera de servicio —K80 con 24 GB de GDDR5 desde 60 dólares, P100 de 16 GB sobre los 75 dólares y V100 de 16 GB por debajo de los 200 dólares— se han convertido en una de las fuentes más accesibles de memoria de vídeo ociosa para entusiastas del hardware. Este proyecto documenta
Spectral Compute, una empresa londinense fundada en 2018 por cuatro ingenieros con 60 años de experiencia combinada en optimización para HPC, desarrolla SCALE, un compilador basado en CLang y LLVM que funciona como sustituto directo de NVCC, el compilador CUDA de Nvidia. La herramienta permite recom
Doubleword publica un análisis técnico detallado de cuda-checkpoint, una utilidad poco documentada del driver propietario de NVIDIA que permite congelar un proceso CUDA en ejecución, serializar el estado de la GPU en memoria del host y restaurarlo después en el mismo punto. En un artículo anterior,
Cerebrium presenta un sistema de checkpointing que captura el estado completo de un contenedor —memoria CPU, memoria GPU, pesos del modelo y kernels CUDA ya compilados— para restaurarlo en cuestión de segundos en lugar de esperar varios minutos al arranque en frío. La técnica, integrada en su runtim
tenferro-rs es una pila de tensores densos escrita en Rust que combina álgebra lineal, autodiferenciación al estilo de PyTorch y JAX, transformaciones trazadas, einsum, FFT y backends explícitos de CPU y CUDA. El proyecto, desarrollado por Hiroshi Shinaoka (Universidad de Saitama) para el equipo ten
ZLUDA es un proyecto de software que permite ejecutar aplicaciones CUDA sin modificar sobre GPUs que no son de NVIDIA, principalmente AMD. Tras varios meses sin actualizaciones, su desarrollador publica un resumen de novedades que culmina con la versión 6, una edición mayor que no introduce cambios
Ejecutar un kernel aparentemente trivial —sumar dos vectores de un millón de floats— esconde una cadena de traducciones y movimientos de datos que este artículo recorre paso a paso. El programa fuente, escrito en CUDA C, se divide en dos ramas: el código del host lo compila el compilador habitual de
El equipo de Moondream analiza en profundidad un problema frecuente en la inferencia de modelos de IA: las llamadas burbujas de GPU, periodos en los que el procesador gráfico permanece inactivo porque la CPU aún no le ha indicado la siguiente tarea. El artículo explica por qué aparecen durante el bu
nanoeuler es un proyecto educativo e investigador que implementa un modelo de lenguaje tipo GPT-2 desde cero, sin recurrir a PyTorch, autograd ni librerías de aprendizaje automático. Todo el pipeline de entrenamiento —el forward, el backward, un tokenizador byte-level BPE escrito a mano, el preentre
Construir un bucle de entrenamiento en PyTorch parece sencillo, pero colocar cada instrucción en el orden correcto resulta sorprendentemente frágil: los entrenamientos fallan al converger, arrojan resultados incorrectos o consumen memoria excesiva cuando una línea está mal ubicada. Este artículo des
Polar Signals ha incorporado soporte de muestreo de contador de programa (PC) sobre NVIDIA CUDA a su perfilador continuo de código abierto, publicado en la versión v0.48.0 de Parca Agent. La técnica, basada en CUPTI y disponible desde la arquitectura Maxwell, registra en hardware la posición de inst
El bloqueo de la arquitectura x86 en servidores es real, pero su influencia se debilita conforme nos acercamos a la GPU. Este análisis examina cinco sockets o posiciones que orbitan el procesador gráfico en los sistemas de IA, y evalúa en cuáles la elección entre x86 y Arm resulta determinante y en
NVIDIA Labs ha presentado cuTile-rs, un proyecto de investigación que lleva el modelo de propiedad y seguridad de memoria de Rust a la programación de kernels para GPU. La herramienta, publicada en el repositorio NVlabs/cutile-rs, ofrece un lenguaje específico de dominio (DSL) en Rust para escribir
TorchCodec, la biblioteca de PyTorch para decodificar audio y vídeo, ha lanzado su versión 0.14, compatible con torch 2.11 y superiores. La actualización incorpora dos novedades principales: un decodificador específico para archivos WAV y soporte para decodificación de vídeo HDR (alto rango dinámico
El usuario describe cómo configurar dos GPUs NVIDIA, una RTX 5080 (16 GB) y una RTX 3090 (24 GB), para ejecutar modelos de lenguaje locales de gran tamaño, específicamente Qwen 3.6 27B en cuantización Q8. La combinación alcanza más de 80 tokens por segundo en inferencia al distribuir el trabajo entr
El artículo, quinta entrega de la serie "Democratizing AI Compute", escrito por Chris Lattner (cofundador de Modular), analiza por qué OpenCL y otros modelos de programación de GPU portátiles (como SYCL, oneAPI) fracasaron en convertirse en plataformas dominantes para la inteligencia artificial, a p
El repositorio markusheimerl/gpt contiene una implementación desde cero de un modelo de lenguaje autorregresivo basado en la arquitectura transformer. A diferencia de las versiones tokenizadas habituales, este proyecto trabaja directamente con bytes (8 bits), lo que le permite modelar cualquier secu
Esta entrada del blog explica cómo implementar operaciones personalizadas en PyTorch utilizando C++ y CUDA, y cómo integrarlas tanto en modelos de PyTorch como en programas de inferencia compilados con AOTInductor. El ejemplo guía es una convolución identidad mínima que ilustra el ciclo completo: de
nbd-vram es una herramienta de código abierto que convierte la VRAM de una GPU NVIDIA en espacio de swap para Linux, pensada para portátiles con memoria soldada y sin posibilidad de ampliación. El proyecto, publicado por Sean Lobjoit bajo licencia MIT, se dirige a usuarios que cuentan con una tarjet
NVIDIA entra de lleno en la carrera por la IA personal con el RTX Spark, un superchip que promete convertir a los ordenadores Windows en verdaderas máquinas de inteligencia artificial local. El anuncio fue realizado por el consejero delegado de la compañía, Jensen Huang, durante una conferencia pron
Microsoft presenta el Surface Laptop Ultra: la apuesta más ambiciosa de la línea Surface para creadores, desarrolladores y profesionales de la inteligencia artificial. Anunciado en el marco del Computex 2026, el nuevo equipo es fruto de una colaboración profunda entre Microsoft, NVIDIA y, según repo
El desarrollador Jmaczan ha lanzado en GitHub 'tiny-vllm', un motor de inferencia de alto rendimiento para modelos de lenguaje grande (LLM) desarrollado en C++ y CUDA. Esta iniciativa se presenta como una versión más compacta y educativa de vLLM, diseñada para derivar desde cero las matemáticas y ar
Modal Labs ha logrado reducir hasta 40 veces los tiempos de inicio en frío de aplicaciones de inferencia de inteligencia artificial sobre GPUs, pasando de varios minutos a apenas decenas de segundos. La compañía implementó cuatro optimizaciones clave: buffers de nube que mantienen GPUs inactivas dis
Esta lista curada reúne los mejores libros de programación CUDA, la plataforma de NVIDIA para computación paralela en GPUs. CUDA permite aprovechar la enorme capacidad de procesamiento paralelo de las tarjetas gráficas para tareas de alto rendimiento que antes requerían clusters costosos. La colecci
El proyecto Data.Array.Accelerate, desarrollado por el equipo AccelerateHS, es una librería Haskell que define un lenguaje embebido especializado para cálculos de arrays de alto rendimiento. Esta herramienta permite expresar computaciones sobre arrays multidimensionales regulares mediante operacione
cuda-oxide es un compilador experimental que permite escribir kernels (fragmentos de código ejecutados en paralelo por miles de hilos) para GPUs NVIDIA utilizando Rust puro, sin necesidad de aprender un lenguaje específico de dominio ni usar extensiones externas. Este proyecto funciona como un backe
Este artículo reflexiona sobre los 30 años de evolución de la computación de alto rendimiento (HPC) y la programación asociada, basándose en datos del ranking TOP500 de sistemas HPC y la evolución de los lenguajes y modelos de programación utilizados.
El entrenamiento de modelos de lenguaje grandes (LLMs), como GPT-3 o LaMDA, es un desafío computacional enorme. Estos modelos pueden tener cientos de miles de millones de parámetros, lo que requiere una cantidad significativa de memoria y potencia de cálculo. Tradicionalmente, el entrenamiento de es
Un nuevo lenguaje de programación llamado Eyot ha sido desarrollado para simplificar el uso de GPUs y aceleradores en tareas computacionales. Creado por Steele Duncan de Cowley fornia Studios, Eyot busca eliminar la complejidad tradicional de la programación GPU, como la gestión de memoria y la comp
Un nuevo motor de inferencia para modelos de lenguaje grandes (LLM) llamado ZSE ha sido desarrollado para reducir drásticamente los requisitos de memoria, según un anuncio reciente en GitHub. Creado por Zyora-Dev, ZSE permite ejecutar modelos de lenguaje de gran tamaño con una huella de memoria sign
Un equipo de desarrolladores ha creado un nuevo motor de inferencia de alto rendimiento para modelos de lenguaje grandes (LLM) que permite ejecutar el modelo Llama 70B en una sola tarjeta gráfica RTX 3090. El motor, basado en C++/CUDA, utiliza una técnica de streaming de capas del modelo a través de
Este documento es una crítica contundente a un artículo titulado "Microbenchmarking NVIDIA’s Blackwell Architecture: An in-depth Architectural Analysis", publicado en arXiv. La crítica, escrita por Sophia Wisdom, argumenta que el artículo es fundamentalmente defectuoso y carece de sentido técnico. E
Un desarrollador ha creado BarraCUDA, un compilador de código abierto que permite ejecutar código CUDA en GPUs de AMD. El proyecto, escrito en C99 sin dependencia de LLVM, traduce archivos .cu directamente a código máquina GFX11 para GPUs AMD RDNA 3. Esto elimina la necesidad de capas de traducción
El artículo de Bee Rosa Davis presenta una innovadora técnica llamada 'Curvature-Guided Wavefront Execution' (Ejecución de Frente de Onda Guiada por Curvatura) que revoluciona la resolución de problemas de satisfacción de restricciones (CSP) utilizando la potencia de las GPUs. En esencia, se trata d
