46 noticias
El proyecto vLLM ha publicado la versión 0.28.0, una actualización que incorpora 584 contribuciones de 270 desarrolladores para mejorar significativamente el rendimiento y la compatibilidad de modelos de lenguaje avanzados. Esta liberación se centra en optimizaciones profundas para Kimi-K3, incluyen
Los grandes modelos de lenguaje (LLM) suelen ejecutar acciones en un ordenador mediante herramientas como Claude Code o Codex, pero sus respuestas se calculan en otro ordenador con GPU. Este ensayo analiza si un LLM malicioso podría tomar el control de la máquina anfitriona donde residen sus pesos,
InferQuest es una aplicación web gratuita, abierta y sin ánimo de lucro orientada a formar ingenieros de inferencia y de entrenamiento de modelos de lenguaje grandes. Su diseño parte de un análisis del mercado laboral y se estructura en torno a dos itinerarios —despliegue rápido y económico de LLMs
High Bandwidth Flash (HBF) es una propuesta que combina la memoria flash de las SSD con un empaquetado similar al de HBM (High Bandwidth Memory), apilando cubos de flash junto al chip de cómputo. Su objetivo es ofrecer mucha más capacidad que HBM manteniendo un ancho de banda aceptable. En la jornad
Muchos usuarios instalan un modelo de lenguaje local, a menudo en una versión cuantizada, y comprueban decepcionados que rinde peor de lo prometido en los benchmarks originales. Esta brecha se explica porque cada combinación de hardware y software introduce pequeñas variaciones que alteran los cálcu
Inco AI presenta DFlash 2, una evolución de su técnica de decodificación especulativa que aumenta en más de un 20% la producción de tokens por cada pasada de verificación del modelo objetivo, con apenas un 1% de latencia adicional y sin alterar la distribución de salida. En las pruebas internas, la
Netflix ha optado por ejecutar internamente la pila completa de servicio de modelos de lenguaje grandes (LLM), desde el despliegue hasta la inferencia, dentro de su entorno de producción habitual en lugar de un silo de aprendizaje automático separado. El artículo, firmado por los equipos Model Runti
Alibaba ha publicado en Hugging Face los pesos cuantizados en FP8 de Qwen3.8-27B, un modelo denso de lenguaje causal con codificador de visión integrado, sucesor de las series Qwen3.5 y Qwen3.6. La versión cuenta con 27.000 millones de parámetros, 64 capas, una dimensión oculta de 5.120 y un vocabul
Un desarrollador anónimo relata cómo, en una madrugada de insomnio, construyó un motor de búsqueda personal dirigido a creadores independientes: portfolios, fanzines, proyectos artísticos unipersonales y software de pequeños autores, frente al ruido documental y de SEO corporativo que domina los bus
El repositorio Qwen/Qwen3.8-2.4T-A95B-FP8 en Hugging Face distribuye los pesos cuantizados en FP8 de un modelo MoE de 2,4 billones de parámetros con 95.000 millones activos, pensado para ejecutarse en vLLM, SGLang, TokenSpeed o mediante Docker. El cuantificado utiliza granularidad fina con bloques d
Qwen3.8-2.4T-A95B es un modelo de lenguaje causal publicado en Hugging Face que supone la primera versión abierta de la familia con nivel Qwen-Max. Se trata de un modelo de Mezcla de Expertos (MoE) con 2,4 billones de parámetros totales, de los cuales 95.000 millones se activan por inferencia, organ
NVIDIA ha presentado Nemotron 3.5 Lightning 30B-A3B en cuantización NVFP4, una variante optimizada para inferencia de su familia de modelos de lenguaje abiertos. El lanzamiento, fechado el 11 de agosto de 2026 según la ficha técnica publicada en Hugging Face, supone un paso más en la estrategia de l
LFM2.5-2.6B es un modelo de lenguaje de la familia LFM2.5 desarrollada por Liquid AI, diseñado para ejecutarse en local sobre dispositivos con recursos limitados. La arquitectura híbrida combina 22 bloques de convolución de doble puerta con 8 capas de atención grouped-query (GQA), suma 2.690 millone
DeepSeek-V4-Flash-0731-Latent-Reasoning convierte un adaptador experimental de razonamiento en espacio latente en un modelo autosuficiente listo para producción. El autor publica en HuggingFace un único repositorio con todos los pesos necesarios: el backbone DeepSeek-V4-Flash-0731 cuantizado a NVFP4
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
Homebench es una herramienta de línea de comandos con interfaz TUI que evalúa de forma unificada los modelos de lenguaje grandes (LLMs) ejecutados en local. Detecta automáticamente los modelos instalados en runners como Ollama, LM Studio, llama.cpp, vLLM o cualquier servidor compatible con la API de
El repositorio ryanzhou/deepseek-v4-flash-mi300x reúne la configuración y los parches necesarios para ejecutar el modelo DeepSeek-V4-Flash-0731 (304B parámetros) en producción sobre una única GPU AMD Instinct MI300X. La MI300X dispone de 192 GiB de HBM3 y un ancho de banda de 5,3 TB/s, lo que permit
LocalAI sostiene que la mayoría de los backends de inferencia locales deberían limitarse a envolver motores ya existentes —llama.cpp, vLLM, whisper.cpp, stable-diffusion o MLX—, y precisamente por eso dieciocho de sus backends no envuelven nada: son puertos propios en C o C++ que la empresa escribe
vLLM-Kunlun es un plugin de hardware mantenido por la comunidad y publicado por Baidu que permite ejecutar el motor de inferencia vLLM sobre la XPU Kunlun (chip Kunlun3 P800). El proyecto se distribuye como un plugin estándar de la plataforma vLLM mediante entry points de Python, lo que evita modifi
Investigadores de Moonshot AI presentan Kimi Linear, una arquitectura híbrida de atención lineal que, según afirmam, supera por primera vez a la atención completa en comparaciones equitativas en contextos cortos, largos y en escenarios de escalado por aprendizaje por refuerzo. El núcleo del sistema
Investigadores proponen un sistema que mantiene un modelo de lenguaje congelado de 12.000 millones de parámetros y construye junto a él una memoria persistente de soluciones verificadas. En lugar de reentrenar el modelo, cada nueva instancia de una familia de problemas ya resuelta y validada por un
Los modelos de pesos abiertos se están convirtiendo en la base del próximo ecosistema de inteligencia artificial, y Estados Unidos debería competir dentro de él en lugar de aislarse. Tobi Knaup, cofundador de Mesosphere, traza un paralelismo con Kubernetes: cuando una plataforma abierta y portátil s
Mozilla presenta un mapa del ecosistema de IA de código abierto que combina informe de tendencias, datos de adopción, financiación y un repositorio interactivo de proyectos. El documento sostiene que los pesos abiertos ya no son una solución de compromiso: la mayoría de los tokens en producción circ
Los chiplets se han convertido en la solución habitual para seguir aumentando el rendimiento de las GPU, pero los modelos de programación actuales (CUDA y HIP) siguen ofreciendo una jerarquía de ejecución plana que no permite expresar la localidad ni la sincronización a nivel de chiplet. Esa brecha
Context-Stitcher es una pasarela de inferencia que permite a varios agentes de inteligencia artificial compartir, a nivel de memoria de la GPU, la caché de clave-valor (KV Cache) que se genera durante la fase de prefill de un modelo de lenguaje. Su objetivo es resolver un problema muy concreto de lo
Hugging Face ha anunciado una actualización del backend de modelado de transformers dentro de vLLM que permite ejecutar los modelos de Hugging Face a la misma velocidad —o superior— que las implementaciones nativas escritas a mano para vLLM, sin necesidad de portar el código. La mejora se valida con
El repositorio 'local-llm' del desarrollador James O'Beirne es una guía práctica y detallada para ejecutar modelos de lenguaje de gran tamaño en un equipo propio, sin depender de servicios en la nube como los de OpenAI o Anthropic. El documento describe dos niveles de inversión: con unos 2.000 dólar
Morph presenta Reflexes, un servicio basado en API que extrae señales semánticas —como bucles, filtraciones de razonamiento o frustración del usuario— a partir de las trazas generadas por agentes de IA en producción. La propuesta resuelve un cuello de botella operativo: revisar cada turno con un mod
Cerebrium presenta un sistema de checkpointing que captura el estado completo de un contenedor —memoria CPU, memoria GPU, pesos del modelo y kernels CUDA ya compilados— para restaurarlo en cuestión de segundos en lugar de esperar varios minutos al arranque en frío. La técnica, integrada en su runtim
vLLM Semantic Router plantea que la siguiente capa clave en la inferencia de IA no es el modelo frontera, sino el router que tiene delante. Un router puede reducir costes eligiendo el modelo adecuado para cada petición, aplicar políticas de seguridad enviando dominios sensibles a modelos más estrict
Ornith-1.0 es una familia de modelos de inteligencia artificial de código abierto orientada a la programación agéntica, es decir, a tareas de coding en las que el modelo no solo escribe código, sino que planifica, ejecuta comandos y opera herramientas de forma autónoma. La release incluye cuatro var
Wayfinder Router es una herramienta de línea de comandos (CLI) pensada para decidir, de forma determinista y offline, qué modelo de lenguaje debe responder cada consulta: uno local, pequeño y gratuito, o uno en la nube, más potente y caro. La decisión se toma en microsegundos analizando la estructur
Esta guía explica cómo configurar un clúster de dos nodos equipados con las placas base Framework Desktop Mainboard con AMD Ryzen AI MAX+ 'Strix Halo' y 128 GB de memoria unificada, conectados mediante tarjetas Intel E810-CQDA1 de 100 GbE sobre el protocolo RoCE v2, para ejecutar inferencia distribu
Ejecutar dos modelos de lenguaje grandes de forma coresidente en una sola GPU exige un cálculo de memoria preciso, algo que el parámetro gpu_memory_utilization de vLLM no resuelve por sí solo. Este artículo recoge la experiencia práctica de desplegar Qwen3-Next-80B-Instruct-FP8 y Qwen3-4B-Instruct-2
Dimensionar un clúster de GPUs para servir modelos de lenguaje no requiere simulaciones costosas: con unos pocos datos del hardware y de la arquitectura del modelo se puede estimar el coste por usuario con operaciones básicas. Esta guía didáctica recorre, paso a paso, los tres ejes que rigen la infe
Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout
Google ha presentado nuevos checkpoints de Gemma 4 optimizados con Quantization-Aware Training (QAT), una técnica que integra la cuantización durante el entrenamiento para reducir la pérdida de calidad al comprimir los modelos. La novedad permite ejecutar Gemma 4 en dispositivos móviles y GPUs de co
KVarN es un backend nativo de cuantización de KV-cache para vLLM, desarrollado por Huawei, que permite ampliar la capacidad del caché entre tres y cinco veces sin sacrificar el rendimiento ni la precisión. A diferencia de otros métodos como TurboQuant, que al aumentar la capacidad reducen significat
La empresa Doubleword documenta el trabajo técnico realizado para ejecutar el modelo DeepSeek-V4-Flash sobre las tarjetas aceleradoras AMD MI300X, una tarea que, según la compañía, no funciona de forma predeterminada en vLLM a principios de mayo de 2026. La MI300X, lanzada en diciembre de 2023, ofr
Google presenta Gemma 4 12B, un modelo multimodal unificado que se ejecuta en portátiles Google ha presentado Gemma 4 12B, un nuevo modelo de inteligencia artificial de código abierto que destaca por su arquitectura multimodal unificada y por su capacidad de ejecutarse en portátiles convencionales
FunASR es un toolkit de código abierto para reconocimiento automático del habla (ASR) desarrollado por ModelScope, la organización de Alibaba DAMO, orientado a escenarios industriales y de producción. La herramienta se posiciona como una alternativa a OpenAI Whisper y a las API de transcripción en l
Odiseo (Odysseus) es un proyecto de software que ofrece un espacio de trabajo autogestionado con inteligencia artificial, diseñado para ejecutarse en el propio hardware del usuario y priorizar la privacidad. Su objetivo es replicar la experiencia de interfaz de ChatGPT o Claude, pero de forma local
Liquid AI ha anunciado hoy el lanzamiento de LFM2.5-8B-A1B, una evolución de su modelo de 'Mixture-of-Experts' diseñada para ejecutarse de manera eficiente y privada en hardware de consumo. Esta nueva versión, disponible bajo licencia abierta, supera a su predecesor al expandir su ventana de context
Investigadores de seguridad de X41 D-Sec han descubierto una vulnerabilidad crítica (CVE-2026-48710) en Starlette y, por extensión, en aplicaciones FastAPI que la utilizan, afectando a miles de proyectos, incluyendo servidores de inferencia de LLM como vLLM y LiteLLM, así como frameworks de agentes
El equipo EAGLE, en colaboración con vLLM y TorchSpec, ha presentado EAGLE 3.1, una evolución clave en el algoritmo de *speculative decoding*. Esta tecnología, ampliamente utilizada en sistemas de producción, soluciona la fragilidad de sus predecesores ante variaciones en plantillas de chat y entrad
El uso de modelos de lenguaje grandes (LLM) de código abierto se enfrenta a un desafío significativo: la incompatibilidad en los formatos de llamada de herramientas. Mientras que los modelos cerrados como los de OpenAI ofrecen una integración fluida, los modelos de código abierto requieren que los d
