7 noticias
Montar un agente de codificación local en macOS permite ejecutar modelos de lenguaje de última generación sin depender de la nube. Este artículo explica cómo configurar una solución completa usando llama.cpp, Gemma 4 26B-A4B y el agente terminal Pi, tras la experiencia del autor con cortes de intern
La decodificación especulativa es una técnica de optimización en inferencia de modelos de lenguaje que acelera la generación de tokens sin pérdida de calidad. Su principio es simple: el modelo predice varios tokens futuros de forma barata y luego verifica solo los aceptados, aprovechando el ancho de
Xiaomi ha presentado MiMo-V2.5-Pro-UltraSpeed, un modelo de inteligencia artificial de un billón de parámetros (1T) que, según la compañía, supera por primera vez la barrera de los 1.000 tokens por segundo en velocidad de decodificación. El anuncio, realizado a través del blog oficial de Xiaomi MiMo
Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for
Un ingeniero logra ejecutar el modelo Gemma 4 con verificación especulativa en un servidor reciclado con un Intel Xeon E5-2620 v4 de ocho núcleos, 128 GB de RAM DDR3 y sin GPU. Explica paso a paso las optimizaciones necesarias para superar la 'barrera de la memoria' en inferencia de LLM. La clave es
El equipo EAGLE, en colaboración con vLLM y TorchSpec, ha presentado EAGLE 3.1, una evolución clave en el algoritmo de *speculative decoding*. Esta tecnología, ampliamente utilizada en sistemas de producción, soluciona la fragilidad de sus predecesores ante variaciones en plantillas de chat y entrad
El campo de la inteligencia artificial, particularmente en modelos de lenguaje grandes (LLMs) como ChatGPT, se enfrenta a un desafío: la generación de texto es inherentemente lenta. El proceso de 'decodificación autoregresiva', que es la forma tradicional en que estos modelos generan texto, implica
