protocol_standard · 7 menciones
El proyecto vLLM ha publicado la versión 0.28.0, una actualización que incorpora 584 contribuciones de 270 desarrolladores para mejorar significativamente el rendimiento y la compatibilidad de modelos de lenguaje avanzados. Esta liberación se centra en optimizaciones profundas para Kimi-K3, incluyen
Muchos usuarios instalan un modelo de lenguaje local, a menudo en una versión cuantizada, y comprueban decepcionados que rinde peor de lo prometido en los benchmarks originales. Esta brecha se explica porque cada combinación de hardware y software introduce pequeñas variaciones que alteran los cálcu
En mayo de 2025, el equipo de HazyResearch y de Cursor describió su trabajo con megakernels para acelerar el modelo Llama, una técnica que obliga a coordinar manualmente cientos de hilos y bloques de GPU. Para hacer manejable esa complejidad, desarrollaron una capa de abstracción en C++ publicada en
transcribe.cpp es una biblioteca de transcripción de voz a texto basada en ggml, presentada por el autor y mantenedor de Handy como un proyecto de código abierto en su versión 0.1.0. Su objetivo es simplificar la distribución de aplicaciones de reconocimiento automático del habla (ASR) multiplatafor
Cerebrium presenta un sistema de checkpointing que captura el estado completo de un contenedor —memoria CPU, memoria GPU, pesos del modelo y kernels CUDA ya compilados— para restaurarlo en cuestión de segundos en lugar de esperar varios minutos al arranque en frío. La técnica, integrada en su runtim
ZLUDA es un proyecto de software que permite ejecutar aplicaciones CUDA sin modificar sobre GPUs que no son de NVIDIA, principalmente AMD. Tras varios meses sin actualizaciones, su desarrollador publica un resumen de novedades que culmina con la versión 6, una edición mayor que no introduce cambios
Nightingale, una nueva aplicación de karaoke, ha lanzado una versión innovadora que utiliza inteligencia artificial para ofrecer una experiencia de canto mejorada. Disponible para Linux, macOS y Windows, la aplicación separa las voces de la instrumentación de las canciones utilizando modelos como UV