34 noticias
Specter es un sistema de inferencia diseñado para acelerar los modelos de mezcla de expertos (MoE) en hardware con una sola GPU. Su objetivo principal es resolver la limitación de memoria de estos modelos, que suelen exceder la capacidad de un solo acelerador, mediante la combinación de la decodific
La decodificación especulativa no acelera el procesamiento de modelos de lenguaje grandes (LLM) reduciendo la cantidad de operaciones de punto flotante (FLOPs) por token, sino al modificar el tipo de trabajo que realiza la GPU. Un error común es atribuir su velocidad a una menor carga computacional,
El proyecto Lowaltitudeflight/local-llm-tuning-guide ofrece una biblioteca de decisiones para desplegar modelos de lenguaje de gran escala (LLM) en máquinas multi-GPU sin conexión NVLink. La herramienta aborda la realidad de la mayoría de las inferencias autoalojadas, que utilizan GPUs como RTX 4090
Este proyecto técnico detalla la configuración y optimización de un agente de inferencia local para ejecutar el modelo Qwen3.8-27B en una laptop con RTX 5070 Ti y 12 GB de VRAM. La solución se basa en la combinación de NInfer, KVMem y técnicas de decodificación especulativa (MTP) para maximizar el r
Los modelos de lenguaje sin tokenizador, conocidos como modelos por bytes, eliminan los sesgos inductivos de los tokenizadores fijos al modelar el texto directamente como secuencias de bytes. Aunque esta aproximación genera secuencias más largas que aumentan la carga computacional, un estudio recien
TokenLift es una herramienta de software diseñada para optimizar la generación de texto en modelos de lenguaje grandes (LLM) que utilizan tokenizadores de nivel de byte, como los modelos Qwen3. Su objetivo principal es reducir la latencia en la generación de idiomas como el tamil y el hindi, donde l
MegaCapybara es un motor de inferencia optimizado para ejecutar el modelo Qwen3.8-27B en tarjetas gráficas NVIDIA GeForce RTX 5090, alcanzando velocidades de hasta 500 tokens por segundo para un solo agente y 2.000 tokens por segundo para equipos de agentes. La herramienta destaca por su uso de form
Liquid AI ha presentado LFM2.5-VL-DSpark, un modelo de decodificación especulativa diseñado para optimizar el rendimiento de los modelos de lenguaje de visión (VLM) de 3.000 millones de parámetros. Esta herramienta permite acelerar la inferencia mediante un mecanismo de decodificación especulativa q
La decodificación especulativa es una técnica que permite a vLLM verificar en una sola pasada del modelo objetivo varios tokens propuestos por un componente de borrador, con el fin de mantener el comportamiento de salida del modelo original mientras se reduce el número de rondas de decodificación es
La inferencia de modelos de lenguaje (LLM) se gobierna por una frontera eficiente que resume los compromisos entre latencia, rendimiento y coste, un concepto que la industria de la IA tomó prestado de la economía y que mide hasta dónde se puede llegar en capacidad a un coste dado. Este artículo expl
El proyecto vLLM ha publicado la versión 0.28.0, una actualización que incorpora 584 contribuciones de 270 desarrolladores para mejorar significativamente el rendimiento y la compatibilidad de modelos de lenguaje avanzados. Esta liberación se centra en optimizaciones profundas para Kimi-K3, incluyen
Este artículo técnico explica por qué la combinación de MLA (atención de latente múltiple) con MTP (decodificado especulativo o multi-token prediction) tiende a perjudicar el rendimiento en las GPUs actuales, partiendo de un comentario del investigador Su Jianlin. La clave está en la intensidad arit
DiffusionGemma es un modelo de lenguaje experimental de pesos abiertos que utiliza difusión discreta para generar texto a gran velocidad, evitando el cuello de botella del decodificado secuencial propio de los grandes modelos de lenguaje autorregresivos (AR). En lugar de producir un token por paso,
Inco AI presenta DFlash 2, una evolución de su técnica de decodificación especulativa que aumenta en más de un 20% la producción de tokens por cada pasada de verificación del modelo objetivo, con apenas un 1% de latencia adicional y sin alterar la distribución de salida. En las pruebas internas, la
El ingeniero Michał Piszczek documenta el proceso seguido para ejecutar el modelo denso Qwen3 27B con su contexto nativo completo de 262.144 tokens, entrada multimodal y decodificación especulativa MTP sobre una sola GPU NVIDIA RTX PRO 4000 Blackwell SFF de 24 GB. El sistema final, bautizado Qwen3.8
NVIDIA ha presentado Nemotron 3.5 Lightning 30B-A3B en cuantización NVFP4, una variante optimizada para inferencia de su familia de modelos de lenguaje abiertos. El lanzamiento, fechado el 11 de agosto de 2026 según la ficha técnica publicada en Hugging Face, supone un paso más en la estrategia de l
Meta Superintelligence Labs ha presentado Muse Glimmer, un modelo de inteligencia artificial de 30.000 millones de parámetros diseñado específicamente para ejecutarse de forma local en dispositivos personales, sin depender de la nube. El modelo ha sido publicado en código abierto bajo una licencia A
DeepSeek-V4-Flash-0731-Latent-Reasoning convierte un adaptador experimental de razonamiento en espacio latente en un modelo autosuficiente listo para producción. El autor publica en HuggingFace un único repositorio con todos los pesos necesarios: el backbone DeepSeek-V4-Flash-0731 cuantizado a NVFP4
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
Soup es una herramienta de línea de comandos pensada para simplificar el ajuste fino y el post-entrenamiento de modelos de lenguaje grandes (LLM). Su premisa es reducir entre el 30% y el 50% del tiempo que los equipos dedican a pelearse con la infraestructura, dedicándolo en su lugar a mejorar los m
Neutrino-1 8B: un único archivo de 3,88 GB para GPU, Mac y CPU La startup Fermion Research ha presentado Neutrino-1 8B, un modelo de inteligencia artificial de 8.000 millones de parámetros que destaca por una característica singular: se distribuye como un único archivo de 3,88 gigabytes capaz de ej
Reame es un servidor de inferencia de modelos de lenguaje abierto construido sobre llama.cpp con una premisa clara: tratar el hardware CPU barato —servidores VPS compartidos, máquinas ARM de dos núcleos o incluso el nivel gratuito de Oracle Cloud— como ciudadano de primera clase, no como un recurso
colibrì es un motor de inferencia escrito en un único archivo de C (~1.300 líneas) y sin dependencias externas que permite ejecutar el modelo GLM-5.2, una arquitectura MoE de 744.000 millones de parámetros, en una máquina doméstica con aproximadamente 25 GB de RAM. El truco reside en explotar una pr
Este análisis técnico de Doubleword examina un dilema habitual en la inferencia de modelos de lenguaje: cuando se busca aumentar el rendimiento por segundo en una sola GPU, ¿conviene aumentar el tamaño de lote (ancho) o apostar por la decodificación especulativa (profundidad)? El trabajo parte de un
Wafer, proveedor de inferencia, ha anunciado resultados de rendimiento del modelo GLM 5.2 sobre GPUs AMD Instinct MI355X, alcanzando 2.626 tokens por segundo por nodo en una carga agregada y 213 tokens por segundo en flujo único, con un coste por dólar más de dos veces inferior al de un sistema basa
Modal ha lanzado Modal Auto Endpoints, un servicio de inferencia de modelos de lenguaje de gran tamaño (LLM) compatible con la API de OpenAI y desplegable con una única instrucción de línea de comandos. La propuesta se dirige a equipos que quieren poseer de verdad su infraestructura de inferencia —e
El usuario describe cómo configurar dos GPUs NVIDIA, una RTX 5080 (16 GB) y una RTX 3090 (24 GB), para ejecutar modelos de lenguaje locales de gran tamaño, específicamente Qwen 3.6 27B en cuantización Q8. La combinación alcanza más de 80 tokens por segundo en inferencia al distribuir el trabajo entr
Montar un agente de codificación local en macOS permite ejecutar modelos de lenguaje de última generación sin depender de la nube. Este artículo explica cómo configurar una solución completa usando llama.cpp, Gemma 4 26B-A4B y el agente terminal Pi, tras la experiencia del autor con cortes de intern
La decodificación especulativa es una técnica de optimización en inferencia de modelos de lenguaje que acelera la generación de tokens sin pérdida de calidad. Su principio es simple: el modelo predice varios tokens futuros de forma barata y luego verifica solo los aceptados, aprovechando el ancho de
Xiaomi ha presentado MiMo-V2.5-Pro-UltraSpeed, un modelo de inteligencia artificial de un billón de parámetros (1T) que, según la compañía, supera por primera vez la barrera de los 1.000 tokens por segundo en velocidad de decodificación. El anuncio, realizado a través del blog oficial de Xiaomi MiMo
Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for
## Cómo ejecutar Gemma 4 en un Xeon de 2016 sin GPU: la hazaña técnica que desafía el 'memory wall' Un experimento publicado en el blog técnico point.free demuestra que es posible ejecutar un modelo de inteligencia artificial de última generación, concretamente Gemma 4 en su versión 26B con arquite
El equipo EAGLE, en colaboración con vLLM y TorchSpec, ha presentado EAGLE 3.1, una evolución clave en el algoritmo de *speculative decoding*. Esta tecnología, ampliamente utilizada en sistemas de producción, soluciona la fragilidad de sus predecesores ante variaciones en plantillas de chat y entrad
El campo de la inteligencia artificial, particularmente en modelos de lenguaje grandes (LLMs) como ChatGPT, se enfrenta a un desafío: la generación de texto es inherentemente lenta. El proceso de 'decodificación autoregresiva', que es la forma tradicional en que estos modelos generan texto, implica
