37 noticias
Cloudflare ha corregido una vulnerabilidad de seguridad que permitía la exposición de datos entre solicitudes en el modelo de IA GLM-5.3 de Z.ai, afectando a 155 respuestas entre el 27 de agosto y el 9 de septiembre de 2026. El incidente, reportado por el investigador Gadi Evron de Knostic, se debió
Cerebras ha detallado su metodología para desplegar modelos de inteligencia artificial de trillones de parámetros en sus chips de escala de oblea WSE-3T. El proceso permite ejecutar modelos como Kimi K3, que cuenta con aproximadamente 3 billones de parámetros, a velocidades de entre 1.000 y 2.000 to
MemT-1.0 es una nueva generación de modelos de lenguaje de memoria que integra la memoria persistente y evolutiva como parte intrínseca del cálculo del modelo. A diferencia de los sistemas tradicionales que dependen del contexto original, esta arquitectura retiene y aprovecha información histórica s
La infraestructura para ejecutar modelos de lenguaje de gran escala (LLM) depende de tres factores clave: el tamaño del modelo, el volumen de tráfico y la estabilidad de la demanda. Este análisis técnico detalla cómo calcular el hardware necesario para evitar pagar por capacidad ociosa, comparando o
vramkit es una herramienta de código abierto diseñada para reducir el consumo de memoria VRAM durante la inferencia de modelos de lenguaje grandes (LLM). El proyecto, desarrollado y validado íntegramente en un MacBook con Apple Silicon, ofrece dos técnicas principales: un codificador de pesos sin pé
Agentic Soft-Token Compression (ASTC) es una técnica de compresión de contexto diseñada para agentes de modelos de lenguaje de gran escala (LLM) con horizontes temporales largos. A diferencia de los métodos tradicionales que requieren entrenamiento adicional, ASTC opera de forma nativa dentro del mo
TokenSpeed es un motor de inferencia para modelos de lenguaje de gran escala (LLM) de código abierto, diseñado específicamente para cargas de trabajo agénticas. Su objetivo es ofrecer un rendimiento comparable al de TensorRT-LLM, pero con la usabilidad y la facilidad de desarrollo de vLLM. La arquit
Slotpin es un proxy inverso de código abierto diseñado para servidores de inferencia de modelos de lenguaje locales (LLM), compatibles con llama.cpp y el motor Gufo. Su función principal es gestionar la memoria de cache (KV cache) mediante un mecanismo de 'slot pinning', lo que permite mantener las
SwaT (Swarm Telepathy) es un sistema que permite a agentes de modelos de lenguaje (LLM) de familias distintas comunicarse intercambiando sus cachés KV (Key-Value) en lugar de texto. Esta metodología elimina la necesidad de prellenar (prefill) el texto en el receptor, permitiendo que el modelo decodi
El modelo de inteligencia artificial DeepSeek 4.1 Flash ha transformado el flujo de trabajo de los desarrolladores al ofrecer capacidades de frontera a una fracción del coste de los modelos líderes de la industria. Tras un mes de uso intensivo en una docena de proyectos, los expertos señalan que su
El sistema de inteligencia artificial HeteroFold presenta una metodología para transferir la caché de clave-valor (KV) entre modelos de lenguaje de gran escala (LLM) de familias distintas sin necesidad de prellenar el contexto en el receptor. Esta técnica es crucial para los sistemas multiagente que
Los laboratorios de inteligencia artificial chinos han adoptado estrategias de optimización de caché KV que han reducido drásticamente los costes de inferencia para los modelos de contexto largo. Esta tendencia, impulsada por restricciones a la exportación de chips avanzados, ha permitido a empresas
El artículo 'Cache-to-Cache: Direct Semantic Communication Between Large Language Models' presenta un nuevo paradigma para mejorar la eficiencia y la precisión en sistemas que utilizan múltiples modelos de lenguaje de gran escala (LLM). A diferencia de los diseños actuales, que dependen de la genera
Un análisis técnico basado en 68.266 solicitudes de 393 sesiones reales de Claude Code y 23.608 de Mooncake demuestra que la política LRU (Least Recently Used) es más difícil de superar en cachés KV agénticas de lo que sugieren los papers teóricos. El estudio, reproducible mediante un simulador de e
DeepSeek ha lanzado V4.1 Flash, un modelo de IA de pesos abiertos que sustituye provisionalmente a V4-Pro. Este nuevo modelo ofrece un rendimiento superior en tareas agénticas y razonamiento de largo contexto, pero con un consumo de tokens inusualmente alto. A partir del 14 de septiembre, las solici
Artificial Analysis ha lanzado un sistema de benchmarking especializado en la inferencia de modelos de inteligencia artificial a escala de bolsillo, diseñados específicamente para ejecutarse en teléfonos móviles. Esta iniciativa técnica busca medir el rendimiento real de los modelos pequeños, defini
High Bandwidth Flash (HBF) es una propuesta que combina la memoria flash de las SSD con un empaquetado similar al de HBM (High Bandwidth Memory), apilando cubos de flash junto al chip de cómputo. Su objetivo es ofrecer mucha más capacidad que HBM manteniendo un ancho de banda aceptable. En la jornad
Este artículo técnico explica por qué la combinación de MLA (atención de latente múltiple) con MTP (decodificado especulativo o multi-token prediction) tiende a perjudicar el rendimiento en las GPUs actuales, partiendo de un comentario del investigador Su Jianlin. La clave está en la intensidad arit
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
Mantener caliente la caché de prompts en flujos agénticos es una práctica extendida pero casi siempre mal calibrada. Un análisis experimental con cuatro proveedores (Anthropic, OpenAI, DeepSeek y Gemini) demuestra que el intervalo habitual de 30 segundos cuesta unas ocho veces más de lo necesario, y
Los modelos de lenguaje grandes (LLM) suelen recurrir a codificaciones posicionales para que el mecanismo de atención distinga la posición de cada token —o, más precisamente, de cada entrada del KV caché—. Las dos estrategias dominantes son RoPE, que rota por parejas las dimensiones de los vectores
Biting the Bullet (BTB) es una técnica desarrollada por JW Labs Research para optimizar la inferencia de modelos de lenguaje de gran tamaño cuando se producen picos súbitos de peticiones que comparten un prefijo largo común, un patrón habitual en tareas de etiquetado de datos, agentes distribuidos o
TokenTown es una visualización interactiva e isométrica que representa un modelo de lenguaje transformer como una ciudad, donde cada distrito corresponde a una etapa del proceso: tokenización, embeddings, codificación posicional sinusoidal, LayerNorm, atención multi-cabezal con máscara causal y cach
La caché de prompts es el mecanismo que hace económicamente viable el funcionamiento de los agentes de programación basados en modelos de lenguaje. En cada turno, el agente reenvía al modelo prácticamente el mismo contenido del turno anterior —prompt del sistema, definiciones de herramientas, instru
Artículo técnico que desmonta la convención habitual de hacer ping al caché de prompts cada 30 segundos y demuestra, con mediciones reales, que ese intervalo es entre 6 y 8 veces más caro de lo necesario. El autor probó el comportamiento del keepalive en cuatro proveedores principales —Anthropic, Op
Context-Stitcher es una pasarela de inferencia que permite a varios agentes de inteligencia artificial compartir, a nivel de memoria de la GPU, la caché de clave-valor (KV Cache) que se genera durante la fase de prefill de un modelo de lenguaje. Su objetivo es resolver un problema muy concreto de lo
qMLX es un fork de rapid-mlx creado por un desarrollador que buscaba ejecutar un modelo de frontera completamente en local sobre un Mac Studio Ultra M3 con 96 GB de memoria unificada. Tras probar primero DS4 Flash —basado en el trabajo de antirez—, descartó ese modelo por su prefill excesivamente le
Reame es un servidor de inferencia de modelos de lenguaje abierto construido sobre llama.cpp con una premisa clara: tratar el hardware CPU barato —servidores VPS compartidos, máquinas ARM de dos núcleos o incluso el nivel gratuito de Oracle Cloud— como ciudadano de primera clase, no como un recurso
El equipo de Moondream analiza en profundidad un problema frecuente en la inferencia de modelos de IA: las llamadas burbujas de GPU, periodos en los que el procesador gráfico permanece inactivo porque la CPU aún no le ha indicado la siguiente tarea. El artículo explica por qué aparecen durante el bu
Dimensionar un clúster de GPUs para servir modelos de lenguaje no requiere simulaciones costosas: con unos pocos datos del hardware y de la arquitectura del modelo se puede estimar el coste por usuario con operaciones básicas. Esta guía didáctica recorre, paso a paso, los tres ejes que rigen la infe
Un nuevo artículo académico propone una solución radical para uno de los problemas más ineficientes de la inteligencia artificial actual: el prefill redundante. Cada vez que un agente de IA procesa un documento, ejecuta desde cero la fase de prefill, la etapa computacionalmente más costosa de un mod
Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for
Los transformers autorregresivos son la arquitectura fundamental que permite a los modelos de lenguaje grande (LLMs) generar texto token a token, prediciendo cada siguiente palabra basándose en todo lo previamente generado. Este proceso se divide en dos fases: prefill (preparación) y decode (generac
El proyecto presentado explora una nueva arquitectura de atención llamada 'Atención Híbrida' para modelos de lenguaje, con un enfoque particular en la generación de código Rust. El objetivo principal es acelerar significativamente la inferencia sin comprometer la calidad del modelo. Tradicionalmente
La forma en que los modelos de lenguaje grandes (LLM) como ChatGPT gestionan la memoria de las conversaciones, conocida como 'KV cache', tiene un costo físico y económico significativo. Cada interacción, incluso una pregunta sencilla, se traduce en datos almacenados en la memoria de la GPU, con GPT-
El rápido avance de los modelos de lenguaje (LLMs) ha permitido crear sistemas capaces de procesar y generar texto con una coherencia y sofisticación impresionantes. Sin embargo, un cuello de botella crucial en su escalabilidad es la gestión de la memoria, específicamente el 'KV cache' (Key-Value ca
Hugging Face ha publicado un artículo técnico explicando 'continuous batching', una técnica para acelerar la respuesta de los modelos de lenguaje grandes (LLMs) como Qwen y Claude. El problema actual es que los LLMs, al generar texto, procesan la solicitud completa y luego añaden tokens uno por uno,
