software · 40 menciones
El equipo de Moondream analiza en profundidad un problema frecuente en la inferencia de modelos de IA: las llamadas burbujas de GPU, periodos en los que el procesador gráfico permanece inactivo porque la CPU aún no le ha indicado la siguiente tarea. El artículo explica por qué aparecen durante el bu
Qualcom ha anunciado la adquisición de la startup de chips Modular por cerca de 4.000 millones de dólares, una operación que se materializará en la segunda mitad del año mediante la emisión de hasta 19,2 millones de acciones ordinarias. El acuerdo incluye 300 millones de dólares destinados a los apr
Ejecutar dos modelos de lenguaje grandes de forma coresidente en una sola GPU exige un cálculo de memoria preciso, algo que el parámetro gpu_memory_utilization de vLLM no resuelve por sí solo. Este artículo recoge la experiencia práctica de desplegar Qwen3-Next-80B-Instruct-FP8 y Qwen3-4B-Instruct-2
TorchCodec, la biblioteca de PyTorch para decodificar audio y vídeo, ha lanzado su versión 0.14, compatible con torch 2.11 y superiores. La actualización incorpora dos novedades principales: un decodificador específico para archivos WAV y soporte para decodificación de vídeo HDR (alto rango dinámico
El artículo, quinta entrega de la serie "Democratizing AI Compute", escrito por Chris Lattner (cofundador de Modular), analiza por qué OpenCL y otros modelos de programación de GPU portátiles (como SYCL, oneAPI) fracasaron en convertirse en plataformas dominantes para la inteligencia artificial, a p
La versión 5 de OpenCV, la biblioteca de referencia en visión por computador con más de 86.000 estrellas en GitHub y un millón de instalaciones diarias, se publicará el 8 de junio en PyPI. Se trata de la mayor revisión del proyecto en años, coordinada por la organización sin ánimo de lucro OpenCV.or
El repositorio markusheimerl/gpt contiene una implementación desde cero de un modelo de lenguaje autorregresivo basado en la arquitectura transformer. A diferencia de las versiones tokenizadas habituales, este proyecto trabaja directamente con bytes (8 bits), lo que le permite modelar cualquier secu
Esta entrada del blog explica cómo implementar operaciones personalizadas en PyTorch utilizando C++ y CUDA, y cómo integrarlas tanto en modelos de PyTorch como en programas de inferencia compilados con AOTInductor. El ejemplo guía es una convolución identidad mínima que ilustra el ciclo completo: de
# RTX Spark: el «superchip» de NVIDIA que promete revolucionar Windows ARM ## De Computex 2026 a tus manos: así es la nueva plataforma que enfrenta a NVIDIA con Intel, AMD, Qualcomm y Apple El Computex 2026 ha sido testigo de uno de los anuncios más importantes de los últimos años para el ecosiste
El asignador de caché de CUDA en PyTorch organiza la memoria de la GPU en dos niveles: segmentos (obtenidos mediante cudaMalloc) y bloques (subdivisiones dentro de los segmentos). Aunque la abstracción promete un manejo simple de memoria (asignar reduce la disponible, liberar la aumenta), la impleme
nbd-vram es una herramienta de código abierto que convierte la VRAM de una GPU NVIDIA en espacio de swap para Linux, pensada para portátiles con memoria soldada y sin posibilidad de ampliación. El proyecto, publicado por Sean Lobjoit bajo licencia MIT, se dirige a usuarios que cuentan con una tarjet
Microsoft presenta el Surface Laptop Ultra: la apuesta más ambiciosa de la línea Surface para creadores, desarrolladores y profesionales de la inteligencia artificial. Anunciado en el marco del Computex 2026, el nuevo equipo es fruto de una colaboración profunda entre Microsoft, NVIDIA y, según repo
El desarrollador Jmaczan ha lanzado en GitHub 'tiny-vllm', un motor de inferencia de alto rendimiento para modelos de lenguaje grande (LLM) desarrollado en C++ y CUDA. Esta iniciativa se presenta como una versión más compacta y educativa de vLLM, diseñada para derivar desde cero las matemáticas y ar
Este artículo detalla un experimento sorprendente sobre la búsqueda de errores en compiladores, utilizando modelos de lenguaje avanzados como ChatGPT y Claude. Justin Lebar, un experto en compiladores con experiencia en Google, Waymo y OpenAI, descubrió que podía encontrar una cantidad significativa
La optimización del rendimiento en modelos de aprendizaje profundo a menudo se reduce a una colección de trucos ad-hoc sin fundamento, como instalar versiones específicas de PyTorch o usar operaciones in-place. Sin embargo, para lograr un rendimiento óptimo y sostenible, es crucial entender los prin
KVBoost es una nueva librería de código abierto desarrollada por el repositorio Pythongiant que acelera significativamente la inferencia de grandes modelos de lenguaje (LLM) reduciendodrásticamente los requisitos de memoria VRAM. La herramienta解决los principales problemas de rendimiento: los modelos
Lance es un modelo de inteligencia artificial desarrollado por ByteDance que alcanza un hito importante en el campo de la IA multimodal: lograr capacidades de generación, edición y entendimiento de imágenes y videos dentro de un únicoframework unificado, utilizando únicamente 3 mil millones de parám
Este repositorio documenta el proceso para habilitar Resizable BAR (una tecnología PCIe que permite expandir la ventana de memoria direccionable por la CPU hacia la VRAM de la GPU) en una NVIDIA RTX 3080 de ASUS, realizándolo íntegramente desde Linux sin necesidad de Windows ni herramientas gráficas
Modal Labs ha logrado reducir hasta 40 veces los tiempos de inicio en frío de aplicaciones de inferencia de inteligencia artificial sobre GPUs, pasando de varios minutos a apenas decenas de segundos. La compañía implementó cuatro optimizaciones clave: buffers de nube que mantienen GPUs inactivas dis
Esta lista curada reúne los mejores libros de programación CUDA, la plataforma de NVIDIA para computación paralela en GPUs. CUDA permite aprovechar la enorme capacidad de procesamiento paralelo de las tarjetas gráficas para tareas de alto rendimiento que antes requerían clusters costosos. La colecci
El proyecto Data.Array.Accelerate, desarrollado por el equipo AccelerateHS, es una librería Haskell que define un lenguaje embebido especializado para cálculos de arrays de alto rendimiento. Esta herramienta permite expresar computaciones sobre arrays multidimensionales regulares mediante operacione
cuda-oxide es un compilador experimental que permite escribir kernels (fragmentos de código ejecutados en paralelo por miles de hilos) para GPUs NVIDIA utilizando Rust puro, sin necesidad de aprender un lenguaje específico de dominio ni usar extensiones externas. Este proyecto funciona como un backe
La plataforma Modal ha logrado mejorar el rendimiento de inferencia multimodal en más de un 10% mediante la implementación de un simple diccionario Python en el motor de inferencia SGLang. El cambio, ya integrado en SGLang v0.5.10, aumentó el throughput de solicitudes de 22.2 a 25.7 req/s (un 16.2%
Un desarrollador ha creado un taller práctico para permitir a usuarios entrenar modelos GPT en laptops, incluso sin experiencia previa en aprendizaje automático. Inspirado por el proyecto 'nanoGPT' de Andrej Karpathy, el taller simplifica el proceso, reduciendo el tamaño del modelo a aproximadamente
Una nueva herramienta de código abierto llamada Utilyze, desarrollada por Systalyze, busca solucionar un problema generalizado en la industria de la inteligencia artificial: la medición engañosa de la utilización de las GPU. Las métricas estándar, proporcionadas por herramientas como nvidia-smi, nvt
DeepSeek-V4, un modelo de lenguaje de gran escala, ha recibido soporte inmediato (Día 0) para inferencia y entrenamiento de refuerzo gracias a SGLang y Miles, una plataforma de código abierto. Esta novedad es significativa porque permite aprovechar al máximo las capacidades del modelo desde su lanza
Este artículo, escrito por MohammadHossein Jamshidi (un estudiante de doctorado en Física/Cosmología y también ingeniero de animación con experiencia en la industria de los videojuegos), explora el uso innovador de Nodos de Geometría en Blender para aplicaciones cosmológicas. El objetivo principal e
Microsoft's vanguardia imagen-a-modelo 3D, TRELLIS.2, puede ahora ejecutarse de forma nativa en Macs con Apple Silicon sin necesidad de una GPU NVIDIA, gracias a una adaptación desarrollada por Shivampkumar y publicada en GitHub. Este desarrollo significativo aprovecha PyTorch MPS, permitiendo a los
Cloudflare ha lanzado una capa unificada de inferencia de IA para desarrolladores, denominada AI Gateway, que simplifica el acceso y la gestión de modelos de IA de múltiples proveedores. Esta nueva herramienta permite a los desarrolladores utilizar un único API para acceder a más de 70 modelos de 12
Este artículo de Evolve Benchmark detalla la evolución de su infraestructura para el procesamiento de redes neuronales (NN) en motores de renderizado, centrándose en la introducción y el uso de la tecnología Cooperative Vector en Vulkan y DirectX. Inicialmente, la empresa implementó su propia infrae
Un agente de codificación ha logrado optimizar el código de Flash Attention en llama.cpp en un 15% para x86 y un 5% para ARM, gracias a la incorporación de una fase de investigación previa a la codificación. El equipo de SkyPilot, utilizando la herramienta autoresearch (y su versión generalizada, pi
El entrenamiento de modelos de lenguaje grandes (LLMs), como GPT-3 o LaMDA, es un desafío computacional enorme. Estos modelos pueden tener cientos de miles de millones de parámetros, lo que requiere una cantidad significativa de memoria y potencia de cálculo. Tradicionalmente, el entrenamiento de es
Un desarrollador ha presentado una nueva técnica de compresión de modelos de lenguaje grandes (LLM) llamada TQ4_1S, diseñada específicamente para dispositivos Apple con chips Metal. Esta técnica reduce el tamaño de los modelos en un 27-38%, dependiendo del modelo, sin necesidad de reentrenamiento ni
Un nuevo lenguaje de programación llamado Eyot ha sido desarrollado para simplificar el uso de GPUs y aceleradores en tareas computacionales. Creado por Steele Duncan de Cowley fornia Studios, Eyot busca eliminar la complejidad tradicional de la programación GPU, como la gestión de memoria y la comp
Este artículo explora el concepto de 'monorepos' en el contexto del desarrollo de Python, un enfoque que organiza múltiples proyectos relacionados en un único repositorio. Tradicionalmente, los monorepos eran difíciles de mantener debido a la complejidad de gestionar dependencias y la necesidad de h
Un nuevo motor de inferencia para modelos de lenguaje grandes (LLM) llamado ZSE ha sido desarrollado para reducir drásticamente los requisitos de memoria, según un anuncio reciente en GitHub. Creado por Zyora-Dev, ZSE permite ejecutar modelos de lenguaje de gran tamaño con una huella de memoria sign
Este documento es una crítica contundente a un artículo titulado "Microbenchmarking NVIDIA’s Blackwell Architecture: An in-depth Architectural Analysis", publicado en arXiv. La crítica, escrita por Sophia Wisdom, argumenta que el artículo es fundamentalmente defectuoso y carece de sentido técnico. E
Un desarrollador ha creado BarraCUDA, un compilador de código abierto que permite ejecutar código CUDA en GPUs de AMD. El proyecto, escrito en C99 sin dependencia de LLVM, traduce archivos .cu directamente a código máquina GFX11 para GPUs AMD RDNA 3. Esto elimina la necesidad de capas de traducción
Un desarrollador ha creado un sistema de Reconocimiento Óptico de Caracteres (OCR) sin servidor utilizando un modelo de código abierto, DeepSeek OCR, en tan solo 40 líneas de código. La solución, implementada a través de la plataforma Modal, permite procesar documentos PDF, incluso aquellos con nota
El artículo de Bee Rosa Davis presenta una innovadora técnica llamada 'Curvature-Guided Wavefront Execution' (Ejecución de Frente de Onda Guiada por Curvatura) que revoluciona la resolución de problemas de satisfacción de restricciones (CSP) utilizando la potencia de las GPUs. En esencia, se trata d
