22 noticias
Artificial Analysis ha lanzado un sistema de benchmarking especializado en la inferencia de modelos de inteligencia artificial a escala de bolsillo, diseñados específicamente para ejecutarse en teléfonos móviles. Esta iniciativa técnica busca medir el rendimiento real de los modelos pequeños, defini
High Bandwidth Flash (HBF) es una propuesta que combina la memoria flash de las SSD con un empaquetado similar al de HBM (High Bandwidth Memory), apilando cubos de flash junto al chip de cómputo. Su objetivo es ofrecer mucha más capacidad que HBM manteniendo un ancho de banda aceptable. En la jornad
Este artículo técnico explica por qué la combinación de MLA (atención de latente múltiple) con MTP (decodificado especulativo o multi-token prediction) tiende a perjudicar el rendimiento en las GPUs actuales, partiendo de un comentario del investigador Su Jianlin. La clave está en la intensidad arit
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
Mantener caliente la caché de prompts en flujos agénticos es una práctica extendida pero casi siempre mal calibrada. Un análisis experimental con cuatro proveedores (Anthropic, OpenAI, DeepSeek y Gemini) demuestra que el intervalo habitual de 30 segundos cuesta unas ocho veces más de lo necesario, y
Los modelos de lenguaje grandes (LLM) suelen recurrir a codificaciones posicionales para que el mecanismo de atención distinga la posición de cada token —o, más precisamente, de cada entrada del KV caché—. Las dos estrategias dominantes son RoPE, que rota por parejas las dimensiones de los vectores
Biting the Bullet (BTB) es una técnica desarrollada por JW Labs Research para optimizar la inferencia de modelos de lenguaje de gran tamaño cuando se producen picos súbitos de peticiones que comparten un prefijo largo común, un patrón habitual en tareas de etiquetado de datos, agentes distribuidos o
TokenTown es una visualización interactiva e isométrica que representa un modelo de lenguaje transformer como una ciudad, donde cada distrito corresponde a una etapa del proceso: tokenización, embeddings, codificación posicional sinusoidal, LayerNorm, atención multi-cabezal con máscara causal y cach
La caché de prompts es el mecanismo que hace económicamente viable el funcionamiento de los agentes de programación basados en modelos de lenguaje. En cada turno, el agente reenvía al modelo prácticamente el mismo contenido del turno anterior —prompt del sistema, definiciones de herramientas, instru
Artículo técnico que desmonta la convención habitual de hacer ping al caché de prompts cada 30 segundos y demuestra, con mediciones reales, que ese intervalo es entre 6 y 8 veces más caro de lo necesario. El autor probó el comportamiento del keepalive en cuatro proveedores principales —Anthropic, Op
Context-Stitcher es una pasarela de inferencia que permite a varios agentes de inteligencia artificial compartir, a nivel de memoria de la GPU, la caché de clave-valor (KV Cache) que se genera durante la fase de prefill de un modelo de lenguaje. Su objetivo es resolver un problema muy concreto de lo
qMLX es un fork de rapid-mlx creado por un desarrollador que buscaba ejecutar un modelo de frontera completamente en local sobre un Mac Studio Ultra M3 con 96 GB de memoria unificada. Tras probar primero DS4 Flash —basado en el trabajo de antirez—, descartó ese modelo por su prefill excesivamente le
Reame es un servidor de inferencia de modelos de lenguaje abierto construido sobre llama.cpp con una premisa clara: tratar el hardware CPU barato —servidores VPS compartidos, máquinas ARM de dos núcleos o incluso el nivel gratuito de Oracle Cloud— como ciudadano de primera clase, no como un recurso
El equipo de Moondream analiza en profundidad un problema frecuente en la inferencia de modelos de IA: las llamadas burbujas de GPU, periodos en los que el procesador gráfico permanece inactivo porque la CPU aún no le ha indicado la siguiente tarea. El artículo explica por qué aparecen durante el bu
Dimensionar un clúster de GPUs para servir modelos de lenguaje no requiere simulaciones costosas: con unos pocos datos del hardware y de la arquitectura del modelo se puede estimar el coste por usuario con operaciones básicas. Esta guía didáctica recorre, paso a paso, los tres ejes que rigen la infe
Un nuevo artículo académico propone una solución radical para uno de los problemas más ineficientes de la inteligencia artificial actual: el prefill redundante. Cada vez que un agente de IA procesa un documento, ejecuta desde cero la fase de prefill, la etapa computacionalmente más costosa de un mod
Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for
Los transformers autorregresivos son la arquitectura fundamental que permite a los modelos de lenguaje grande (LLMs) generar texto token a token, prediciendo cada siguiente palabra basándose en todo lo previamente generado. Este proceso se divide en dos fases: prefill (preparación) y decode (generac
El proyecto presentado explora una nueva arquitectura de atención llamada 'Atención Híbrida' para modelos de lenguaje, con un enfoque particular en la generación de código Rust. El objetivo principal es acelerar significativamente la inferencia sin comprometer la calidad del modelo. Tradicionalmente
La forma en que los modelos de lenguaje grandes (LLM) como ChatGPT gestionan la memoria de las conversaciones, conocida como 'KV cache', tiene un costo físico y económico significativo. Cada interacción, incluso una pregunta sencilla, se traduce en datos almacenados en la memoria de la GPU, con GPT-
El rápido avance de los modelos de lenguaje (LLMs) ha permitido crear sistemas capaces de procesar y generar texto con una coherencia y sofisticación impresionantes. Sin embargo, un cuello de botella crucial en su escalabilidad es la gestión de la memoria, específicamente el 'KV cache' (Key-Value ca
Hugging Face ha publicado un artículo técnico explicando 'continuous batching', una técnica para acelerar la respuesta de los modelos de lenguaje grandes (LLMs) como Qwen y Claude. El problema actual es que los LLMs, al generar texto, procesan la solicitud completa y luego añaden tokens uno por uno,
