71 noticias
El repositorio vllm-sm70 proporciona una pila de producción para ejecutar modelos de lenguaje en tarjetas NVIDIA V100 (arquitectura sm_70). Su objetivo principal es resolver las limitaciones de rendimiento del vLLM original en hardware Volta, que suelen resultar en contextos cortos o tiempos de infe
Cohere ha presentado un motor de servicio para su modelo North Mini Code, basado en un megakernel de decodificación que logra velocidades de 292 tokens por segundo en un solo H100. Esta solución supera en un 1,58 veces a vLLM y alcanza el 62% de la velocidad de luz (SoL) en lotes de tamaño 1, elimin
Intel ha presentado la GPU D270, una unidad de procesamiento gráfico diseñada específicamente para la inferencia de modelos de inteligencia artificial en entornos de centros de datos. Este dispositivo se posiciona como una solución para la era de la IA agéntica, que exige manejar contextos más largo
Humanizer es un modelo de lenguaje de 12.000 millones de parámetros diseñado para reescribir borradores generados por inteligencia artificial, como correos electrónicos, ensayos o informes, para que lean como si fueran escritos por una persona. La herramienta se destaca por su capacidad para mantene
El modelo Venastine-Research/Xing4.0-29B-A4B-GGUF, identificado por el número de paper 2512.24157, ofrece una guía integral para su despliegue local y en la nube. Este documento técnico detalla las instrucciones precisas para integrar el modelo en entornos de desarrollo mediante diversas herramienta
El modelo autotrust/JEV-27B-VL se posiciona como el líder en la categoría de modelos de decisión de visión en el índice comunitario JEV Decision Index 0.3, actualizado en octubre de 2026. Con 27.000 millones de parámetros, supera a modelos de referencia de 397.000 millones, como Qwen3.5-397B-A17B, o
llm-gateway es un gateway de inferencia para modelos de lenguaje grandes (LLM) diseñado para ser agnóstico al motor de inferencia subyacente. Su objetivo principal es resolver las limitaciones de los routers existentes, que suelen depender de aproximaciones parciales del estado de la caché (KV-cache
La plataforma sciencemadereadable.com permite leer artículos de investigación científica reescritos en lenguaje claro y accesible, manteniendo la estructura original y las figuras. El proyecto, lanzado en octubre de 2026, utiliza un modelo de lenguaje pequeño (Qwen3.5 9B) fine-tuned con datos de 4.4
Un artículo interactivo explora las implicaciones de una velocidad de generación de texto de un millón de tokens por segundo en agentes de inteligencia artificial. A través de un experimento mental, el texto analiza cómo esta velocidad extrema afectaría a diferentes tareas, como la escritura de cuen
Red Hat ha publicado un análisis técnico que compara los modelos de decisión de TypeSafe AI, específicamente su modelo Jev, con las técnicas de seguridad tradicionales y los modelos de lenguaje grandes (LLM) como guardrails. El objetivo es determinar si la nueva arquitectura ofrece ventajas reales e
Cloudflare/clef es un modelo de lenguaje multimodal de 27.000 millones de parámetros diseñado para la toma de decisiones estructuradas. A diferencia de los modelos de generación de texto libre, Clef procesa estados y esquemas de preguntas tipadas para devolver probabilidades para cada opción permiti
Edge0 Audio8 ASR Infinite es un modelo de reconocimiento de voz nativo en streaming diseñado para ofrecer latencia mínima y transcripciones de audio de longitud ilimitada. Su arquitectura hereda la estructura Voxtral Realtime y combina un Decoder basado en Qwen2.5-3B-Instruct con un sistema de caché
MCDMA es un proyecto de código abierto que permite conectar un Mac Studio y una NVIDIA DGX Spark mediante un camino de memoria directa, utilizando el stack RDMA nativo de macOS. El objetivo es unificar el procesamiento de modelos de lenguaje, aprovechando la capacidad de prellenado de la GPU Blackwe
vLLM es una biblioteca de código abierto diseñada para la inferencia y el servicio de modelos de lenguaje de gran escala (LLM). Desarrollada originalmente en el Sky Computing Lab de la Universidad de California en Berkeley, esta herramienta se ha convertido en uno de los proyectos de IA más activos,
Xing4.0-29B-A4B es un modelo de lenguaje de gran escala (LLM) desarrollado por China Telecom Artificial Intelligence Technology Co., Ltd., que se distingue por su arquitectura de MoE (Mixture of Experts) optimizada para la plataforma Ascend NPU. Con 29.000 millones de parámetros totales y solo 4.000
El repositorio de Hugging Face para Qwen/Qwen3.8-27B ofrece una guía integral para el despliegue y uso de este modelo de lenguaje multimodal. El documento detalla las instrucciones para integrar la herramienta mediante librerías como Transformers, vLLM y SGLang, así como la configuración de entornos
La colección de Hugging Face para XiaomiMiMo/MiMo-V2.6-Pro-RL ofrece una guía integral para el despliegue y uso de este modelo de lenguaje de gran escala. El documento detalla las instrucciones para integrar el modelo mediante librerías de Python, como Transformers, y a través de entornos de inferen
Un equipo técnico ha desarrollado un método para transformar modelos de lenguaje de gran escala (LLM) comerciales en sistemas de decisión de alto rendimiento, similares a los modelos especializados 'System One' como Jev. El objetivo es permitir que un LLM tome decisiones tipadas con una probabilidad
El coste de utilizar la inteligencia artificial por tarea está disminuyendo drásticamente, lo que permite que los modelos de lenguaje de gran escala (LLM) funcionen localmente en hardware estándar en los próximos tres a seis años. Según un análisis de 2026, la eficiencia de las GPUs ha mejorado expo
La selección de un orquestador de inferencia autoalojado depende de la infraestructura disponible y los requisitos de escalabilidad. En septiembre de 2026, herramientas como Ollama y llama.cpp son ideales para un solo dispositivo, ofreciendo compatibilidad con la API de OpenAI y una interfaz de usua
Un estudio técnico demuestra que los optimizadores de consultas tradicionales, como el de Postgres, pueden ser superados por modelos de lenguaje pequeños mediante técnicas de entrenamiento avanzado. Aunque la optimización de consultas es un problema NP-hard, la verificación de la calidad de un plan
Un análisis técnico basado en 68.266 solicitudes de 393 sesiones reales de Claude Code y 23.608 de Mooncake demuestra que la política LRU (Least Recently Used) es más difícil de superar en cachés KV agénticas de lo que sugieren los papers teóricos. El estudio, reproducible mediante un simulador de e
El repositorio dealignai/DeepSeek-V4.1-Flash-UNCENSORED-FP8 documenta un modelo de lenguaje de 552 parámetros que ha sido modificado mediante una técnica de abliteración a nivel de pesos para eliminar sus guardrails de seguridad. Este proceso, desarrollado por el equipo de investigación de dealignai
La decodificación especulativa es una técnica que permite a vLLM verificar en una sola pasada del modelo objetivo varios tokens propuestos por un componente de borrador, con el fin de mantener el comportamiento de salida del modelo original mientras se reduce el número de rondas de decodificación es
NVIDIA ha presentado en IFA 2026 una batería de novedades para reforzar la inteligencia artificial ejecutada en local. La compañía busca simplificar el despliegue de agentes, acelerar la inferencia, ampliar el catálogo de modelos optimizados y llevar aplicaciones creativas y de productividad a equip
El proyecto vLLM ha publicado la versión 0.28.0, una actualización que incorpora 584 contribuciones de 270 desarrolladores para mejorar significativamente el rendimiento y la compatibilidad de modelos de lenguaje avanzados. Esta liberación se centra en optimizaciones profundas para Kimi-K3, incluyen
Los grandes modelos de lenguaje (LLM) suelen ejecutar acciones en un ordenador mediante herramientas como Claude Code o Codex, pero sus respuestas se calculan en otro ordenador con GPU. Este ensayo analiza si un LLM malicioso podría tomar el control de la máquina anfitriona donde residen sus pesos,
InferQuest es una aplicación web gratuita, abierta y sin ánimo de lucro orientada a formar ingenieros de inferencia y de entrenamiento de modelos de lenguaje grandes. Su diseño parte de un análisis del mercado laboral y se estructura en torno a dos itinerarios —despliegue rápido y económico de LLMs
High Bandwidth Flash (HBF) es una propuesta que combina la memoria flash de las SSD con un empaquetado similar al de HBM (High Bandwidth Memory), apilando cubos de flash junto al chip de cómputo. Su objetivo es ofrecer mucha más capacidad que HBM manteniendo un ancho de banda aceptable. En la jornad
Muchos usuarios instalan un modelo de lenguaje local, a menudo en una versión cuantizada, y comprueban decepcionados que rinde peor de lo prometido en los benchmarks originales. Esta brecha se explica porque cada combinación de hardware y software introduce pequeñas variaciones que alteran los cálcu
Inco AI presenta DFlash 2, una evolución de su técnica de decodificación especulativa que aumenta en más de un 20% la producción de tokens por cada pasada de verificación del modelo objetivo, con apenas un 1% de latencia adicional y sin alterar la distribución de salida. En las pruebas internas, la
Netflix ha optado por ejecutar internamente la pila completa de servicio de modelos de lenguaje grandes (LLM), desde el despliegue hasta la inferencia, dentro de su entorno de producción habitual en lugar de un silo de aprendizaje automático separado. El artículo, firmado por los equipos Model Runti
Alibaba ha publicado en Hugging Face los pesos cuantizados en FP8 de Qwen3.8-27B, un modelo denso de lenguaje causal con codificador de visión integrado, sucesor de las series Qwen3.5 y Qwen3.6. La versión cuenta con 27.000 millones de parámetros, 64 capas, una dimensión oculta de 5.120 y un vocabul
Un desarrollador anónimo relata cómo, en una madrugada de insomnio, construyó un motor de búsqueda personal dirigido a creadores independientes: portfolios, fanzines, proyectos artísticos unipersonales y software de pequeños autores, frente al ruido documental y de SEO corporativo que domina los bus
El repositorio Qwen/Qwen3.8-2.4T-A95B-FP8 en Hugging Face distribuye los pesos cuantizados en FP8 de un modelo MoE de 2,4 billones de parámetros con 95.000 millones activos, pensado para ejecutarse en vLLM, SGLang, TokenSpeed o mediante Docker. El cuantificado utiliza granularidad fina con bloques d
Qwen3.8-2.4T-A95B es un modelo de lenguaje causal publicado en Hugging Face que supone la primera versión abierta de la familia con nivel Qwen-Max. Se trata de un modelo de Mezcla de Expertos (MoE) con 2,4 billones de parámetros totales, de los cuales 95.000 millones se activan por inferencia, organ
NVIDIA ha presentado Nemotron 3.5 Lightning 30B-A3B en cuantización NVFP4, una variante optimizada para inferencia de su familia de modelos de lenguaje abiertos. El lanzamiento, fechado el 11 de agosto de 2026 según la ficha técnica publicada en Hugging Face, supone un paso más en la estrategia de l
LFM2.5-2.6B es un modelo de lenguaje de la familia LFM2.5 desarrollada por Liquid AI, diseñado para ejecutarse en local sobre dispositivos con recursos limitados. La arquitectura híbrida combina 22 bloques de convolución de doble puerta con 8 capas de atención grouped-query (GQA), suma 2.690 millone
DeepSeek-V4-Flash-0731-Latent-Reasoning convierte un adaptador experimental de razonamiento en espacio latente en un modelo autosuficiente listo para producción. El autor publica en HuggingFace un único repositorio con todos los pesos necesarios: el backbone DeepSeek-V4-Flash-0731 cuantizado a NVFP4
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
Homebench es una herramienta de línea de comandos con interfaz TUI que evalúa de forma unificada los modelos de lenguaje grandes (LLMs) ejecutados en local. Detecta automáticamente los modelos instalados en runners como Ollama, LM Studio, llama.cpp, vLLM o cualquier servidor compatible con la API de
El repositorio ryanzhou/deepseek-v4-flash-mi300x reúne la configuración y los parches necesarios para ejecutar el modelo DeepSeek-V4-Flash-0731 (304B parámetros) en producción sobre una única GPU AMD Instinct MI300X. La MI300X dispone de 192 GiB de HBM3 y un ancho de banda de 5,3 TB/s, lo que permit
LocalAI sostiene que la mayoría de los backends de inferencia locales deberían limitarse a envolver motores ya existentes —llama.cpp, vLLM, whisper.cpp, stable-diffusion o MLX—, y precisamente por eso dieciocho de sus backends no envuelven nada: son puertos propios en C o C++ que la empresa escribe
vLLM-Kunlun es un plugin de hardware mantenido por la comunidad y publicado por Baidu que permite ejecutar el motor de inferencia vLLM sobre la XPU Kunlun (chip Kunlun3 P800). El proyecto se distribuye como un plugin estándar de la plataforma vLLM mediante entry points de Python, lo que evita modifi
Investigadores de Moonshot AI presentan Kimi Linear, una arquitectura híbrida de atención lineal que, según afirmam, supera por primera vez a la atención completa en comparaciones equitativas en contextos cortos, largos y en escenarios de escalado por aprendizaje por refuerzo. El núcleo del sistema
Investigadores proponen un sistema que mantiene un modelo de lenguaje congelado de 12.000 millones de parámetros y construye junto a él una memoria persistente de soluciones verificadas. En lugar de reentrenar el modelo, cada nueva instancia de una familia de problemas ya resuelta y validada por un
Los modelos de pesos abiertos se están convirtiendo en la base del próximo ecosistema de inteligencia artificial, y Estados Unidos debería competir dentro de él en lugar de aislarse. Tobi Knaup, cofundador de Mesosphere, traza un paralelismo con Kubernetes: cuando una plataforma abierta y portátil s
Mozilla presenta un mapa del ecosistema de IA de código abierto que combina informe de tendencias, datos de adopción, financiación y un repositorio interactivo de proyectos. El documento sostiene que los pesos abiertos ya no son una solución de compromiso: la mayoría de los tokens en producción circ
Los chiplets se han convertido en la solución habitual para seguir aumentando el rendimiento de las GPU, pero los modelos de programación actuales (CUDA y HIP) siguen ofreciendo una jerarquía de ejecución plana que no permite expresar la localidad ni la sincronización a nivel de chiplet. Esa brecha
Context-Stitcher es una pasarela de inferencia que permite a varios agentes de inteligencia artificial compartir, a nivel de memoria de la GPU, la caché de clave-valor (KV Cache) que se genera durante la fase de prefill de un modelo de lenguaje. Su objetivo es resolver un problema muy concreto de lo
Hugging Face ha anunciado una actualización del backend de modelado de transformers dentro de vLLM que permite ejecutar los modelos de Hugging Face a la misma velocidad —o superior— que las implementaciones nativas escritas a mano para vLLM, sin necesidad de portar el código. La mejora se valida con
El repositorio 'local-llm' del desarrollador James O'Beirne es una guía práctica y detallada para ejecutar modelos de lenguaje de gran tamaño en un equipo propio, sin depender de servicios en la nube como los de OpenAI o Anthropic. El documento describe dos niveles de inversión: con unos 2.000 dólar
Morph presenta Reflexes, un servicio basado en API que extrae señales semánticas —como bucles, filtraciones de razonamiento o frustración del usuario— a partir de las trazas generadas por agentes de IA en producción. La propuesta resuelve un cuello de botella operativo: revisar cada turno con un mod
Cerebrium presenta un sistema de checkpointing que captura el estado completo de un contenedor —memoria CPU, memoria GPU, pesos del modelo y kernels CUDA ya compilados— para restaurarlo en cuestión de segundos en lugar de esperar varios minutos al arranque en frío. La técnica, integrada en su runtim
vLLM Semantic Router plantea que la siguiente capa clave en la inferencia de IA no es el modelo frontera, sino el router que tiene delante. Un router puede reducir costes eligiendo el modelo adecuado para cada petición, aplicar políticas de seguridad enviando dominios sensibles a modelos más estrict
Ornith-1.0 es una familia de modelos de inteligencia artificial de código abierto orientada a la programación agéntica, es decir, a tareas de coding en las que el modelo no solo escribe código, sino que planifica, ejecuta comandos y opera herramientas de forma autónoma. La release incluye cuatro var
Wayfinder Router es una herramienta de línea de comandos (CLI) pensada para decidir, de forma determinista y offline, qué modelo de lenguaje debe responder cada consulta: uno local, pequeño y gratuito, o uno en la nube, más potente y caro. La decisión se toma en microsegundos analizando la estructur
Esta guía explica cómo configurar un clúster de dos nodos equipados con las placas base Framework Desktop Mainboard con AMD Ryzen AI MAX+ 'Strix Halo' y 128 GB de memoria unificada, conectados mediante tarjetas Intel E810-CQDA1 de 100 GbE sobre el protocolo RoCE v2, para ejecutar inferencia distribu
Ejecutar dos modelos de lenguaje grandes de forma coresidente en una sola GPU exige un cálculo de memoria preciso, algo que el parámetro gpu_memory_utilization de vLLM no resuelve por sí solo. Este artículo recoge la experiencia práctica de desplegar Qwen3-Next-80B-Instruct-FP8 y Qwen3-4B-Instruct-2
Dimensionar un clúster de GPUs para servir modelos de lenguaje no requiere simulaciones costosas: con unos pocos datos del hardware y de la arquitectura del modelo se puede estimar el coste por usuario con operaciones básicas. Esta guía didáctica recorre, paso a paso, los tres ejes que rigen la infe
Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout
Google ha presentado nuevos checkpoints de Gemma 4 optimizados con Quantization-Aware Training (QAT), una técnica que integra la cuantización durante el entrenamiento para reducir la pérdida de calidad al comprimir los modelos. La novedad permite ejecutar Gemma 4 en dispositivos móviles y GPUs de co
KVarN es un backend nativo de cuantización de KV-cache para vLLM, desarrollado por Huawei, que permite ampliar la capacidad del caché entre tres y cinco veces sin sacrificar el rendimiento ni la precisión. A diferencia de otros métodos como TurboQuant, que al aumentar la capacidad reducen significat
La empresa Doubleword documenta el trabajo técnico realizado para ejecutar el modelo DeepSeek-V4-Flash sobre las tarjetas aceleradoras AMD MI300X, una tarea que, según la compañía, no funciona de forma predeterminada en vLLM a principios de mayo de 2026. La MI300X, lanzada en diciembre de 2023, ofr
Google presenta Gemma 4 12B, un modelo multimodal unificado que se ejecuta en portátiles Google ha presentado Gemma 4 12B, un nuevo modelo de inteligencia artificial de código abierto que destaca por su arquitectura multimodal unificada y por su capacidad de ejecutarse en portátiles convencionales
FunASR es un toolkit de código abierto para reconocimiento automático del habla (ASR) desarrollado por ModelScope, la organización de Alibaba DAMO, orientado a escenarios industriales y de producción. La herramienta se posiciona como una alternativa a OpenAI Whisper y a las API de transcripción en l
Odiseo (Odysseus) es un proyecto de software que ofrece un espacio de trabajo autogestionado con inteligencia artificial, diseñado para ejecutarse en el propio hardware del usuario y priorizar la privacidad. Su objetivo es replicar la experiencia de interfaz de ChatGPT o Claude, pero de forma local
Liquid AI ha anunciado hoy el lanzamiento de LFM2.5-8B-A1B, una evolución de su modelo de 'Mixture-of-Experts' diseñada para ejecutarse de manera eficiente y privada en hardware de consumo. Esta nueva versión, disponible bajo licencia abierta, supera a su predecesor al expandir su ventana de context
Investigadores de seguridad de X41 D-Sec han descubierto una vulnerabilidad crítica (CVE-2026-48710) en Starlette y, por extensión, en aplicaciones FastAPI que la utilizan, afectando a miles de proyectos, incluyendo servidores de inferencia de LLM como vLLM y LiteLLM, así como frameworks de agentes
El equipo EAGLE, en colaboración con vLLM y TorchSpec, ha presentado EAGLE 3.1, una evolución clave en el algoritmo de *speculative decoding*. Esta tecnología, ampliamente utilizada en sistemas de producción, soluciona la fragilidad de sus predecesores ante variaciones en plantillas de chat y entrad
El uso de modelos de lenguaje grandes (LLM) de código abierto se enfrenta a un desafío significativo: la incompatibilidad en los formatos de llamada de herramientas. Mientras que los modelos cerrados como los de OpenAI ofrecen una integración fluida, los modelos de código abierto requieren que los d
