protocol_standard · 19 menciones
El repositorio vllm-sm70 proporciona una pila de producción para ejecutar modelos de lenguaje en tarjetas NVIDIA V100 (arquitectura sm_70). Su objetivo principal es resolver las limitaciones de rendimiento del vLLM original en hardware Volta, que suelen resultar en contextos cortos o tiempos de infe
La GeForce 8800 GTX, lanzada por NVIDIA el 8 de noviembre de 2005, marca un hito histórico en la evolución de las tarjetas gráficas para gaming. Aunque la celebración de su vigésimo aniversario es prematura, su impacto técnico fue inmediato y duradero, sentando las bases de la computación gráfica mo
TokenLift es una herramienta de software diseñada para optimizar la generación de texto en modelos de lenguaje grandes (LLM) que utilizan tokenizadores de nivel de byte, como los modelos Qwen3. Su objetivo principal es reducir la latencia en la generación de idiomas como el tamil y el hindi, donde l
La versión 0.22.0 de la librería de IA Burn introduce mejoras significativas en la velocidad de compilación y la facilidad de integración de extensiones personalizadas. El cambio principal elimina los parámetros de tipo de backend de la API visible al usuario, permitiendo que la selección de disposi
DwarfStar 4 (ds4) es un motor de inferencia escrito en C diseñado para ejecutar modelos de inteligencia artificial de frontera localmente en máquinas con alta memoria, como Mac, sistemas con CUDA y hardware con ROCm. A diferencia de los ejecutores genéricos, ds4 se centra en un conjunto selecto de f
DeepSeek y Huawei han presentado públicamente TileLang, un lenguaje de programación de alto nivel diseñado para los aceleradores Ascend 950 de Huawei, con el objetivo de ofrecer una alternativa viable al ecosistema de software de Nvidia. Esta iniciativa, que incluye bibliotecas de cálculo y comunica
vLLM es una biblioteca de código abierto diseñada para la inferencia y el servicio de modelos de lenguaje de gran escala (LLM). Desarrollada originalmente en el Sky Computing Lab de la Universidad de California en Berkeley, esta herramienta se ha convertido en uno de los proyectos de IA más activos,
NVIDIA Warp y MuJoCo Warp (MJWarp) permiten escalar la simulación de robótica de un solo mundo a miles de entornos paralelos, optimizando el aprendizaje por refuerzo. Mientras MuJoCo en CPU es ideal para el desarrollo y la inspección de un robot, MJWarp utiliza GPUs NVIDIA para ejecutar el pipeline
El proyecto agentic-cuda-optimizer presenta un sistema de optimización de kernels para GPU basado en un flujo de trabajo de LangGraph. Esta herramienta automatiza el ciclo de generación de código, verificación de corrección, benchmarking y refinamiento para mejorar el rendimiento de operaciones matr
Bend es un lenguaje de programación diseñado para eliminar la ambigüedad en la interacción con agentes de inteligencia artificial, garantizando que el código generado cumpla estrictamente con las especificaciones definidas por el usuario. A diferencia de los lenguajes tradicionales, Bend utiliza un
El proyecto Fly.exe presenta un simulador de cerebro de Drosophila que ejecuta el conectoma central de un macho de Drosophila, compuesto por 165.122 neuronas y 25.563.197 aristas, dentro de un cuerpo físico de mosca en un entorno de MuJoCo. La implementación utiliza una única GPU para gestionar un g
Un repositorio de software publicado en GitHub ofrece una solución técnica para ejecutar aplicaciones de CUDA en Windows sobre GPUs de AMD. El proyecto utiliza ZLUDA para compatibilidad con CUDA y AMD ROCm/HIP para la ejecución directa en hardware AMD. La integración se basa en la librería LibTorch,
El proyecto vLLM ha publicado la versión 0.28.0, una actualización que incorpora 584 contribuciones de 270 desarrolladores para mejorar significativamente el rendimiento y la compatibilidad de modelos de lenguaje avanzados. Esta liberación se centra en optimizaciones profundas para Kimi-K3, incluyen
Muchos usuarios instalan un modelo de lenguaje local, a menudo en una versión cuantizada, y comprueban decepcionados que rinde peor de lo prometido en los benchmarks originales. Esta brecha se explica porque cada combinación de hardware y software introduce pequeñas variaciones que alteran los cálcu
En mayo de 2025, el equipo de HazyResearch y de Cursor describió su trabajo con megakernels para acelerar el modelo Llama, una técnica que obliga a coordinar manualmente cientos de hilos y bloques de GPU. Para hacer manejable esa complejidad, desarrollaron una capa de abstracción en C++ publicada en
transcribe.cpp es una biblioteca de transcripción de voz a texto basada en ggml, presentada por el autor y mantenedor de Handy como un proyecto de código abierto en su versión 0.1.0. Su objetivo es simplificar la distribución de aplicaciones de reconocimiento automático del habla (ASR) multiplatafor
Cerebrium presenta un sistema de checkpointing que captura el estado completo de un contenedor —memoria CPU, memoria GPU, pesos del modelo y kernels CUDA ya compilados— para restaurarlo en cuestión de segundos en lugar de esperar varios minutos al arranque en frío. La técnica, integrada en su runtim
ZLUDA es un proyecto de software que permite ejecutar aplicaciones CUDA sin modificar sobre GPUs que no son de NVIDIA, principalmente AMD. Tras varios meses sin actualizaciones, su desarrollador publica un resumen de novedades que culmina con la versión 6, una edición mayor que no introduce cambios
Nightingale, una nueva aplicación de karaoke, ha lanzado una versión innovadora que utiliza inteligencia artificial para ofrecer una experiencia de canto mejorada. Disponible para Linux, macOS y Windows, la aplicación separa las voces de la instrumentación de las canciones utilizando modelos como UV