29 noticias
En los sistemas de Generación Aumentada por Recuperación (RAG), la cercanía física entre los datos y los recursos de cómputo —la llamada 'data locality'— puede ser determinante para el rendimiento y el coste, hasta el punto de superar a una GPU más rápida pero mal ubicada. Cuando los embeddings y el
La decodificación especulativa es una técnica que permite a vLLM verificar en una sola pasada del modelo objetivo varios tokens propuestos por un componente de borrador, con el fin de mantener el comportamiento de salida del modelo original mientras se reduce el número de rondas de decodificación es
WebLLM es un motor de inferencia de modelos de lenguaje de gran tamaño que ejecuta la carga de trabajo directamente en el navegador web, sin necesidad de servidor, gracias a la aceleración por hardware mediante WebGPU. El proyecto, publicado como repositorio de código abierto por MLC AI, ofrece una
La inferencia de modelos de lenguaje (LLM) se gobierna por una frontera eficiente que resume los compromisos entre latencia, rendimiento y coste, un concepto que la industria de la IA tomó prestado de la economía y que mide hasta dónde se puede llegar en capacidad a un coste dado. Este artículo expl
InferQuest es una aplicación web gratuita, abierta y sin ánimo de lucro orientada a formar ingenieros de inferencia y de entrenamiento de modelos de lenguaje grandes. Su diseño parte de un análisis del mercado laboral y se estructura en torno a dos itinerarios —despliegue rápido y económico de LLMs
Etched AI salió del modo stealth el 30 de junio de 2026 con un producto singular: Sohu, un ASIC (circuito integrado de aplicación específica) diseñado exclusivamente para ejecutar la atención de los modelos transformer. Frente a las GPU programables de NVIDIA, Sohu implementa esas operaciones como c
Este artículo técnico explica por qué la combinación de MLA (atención de latente múltiple) con MTP (decodificado especulativo o multi-token prediction) tiende a perjudicar el rendimiento en las GPUs actuales, partiendo de un comentario del investigador Su Jianlin. La clave está en la intensidad arit
Inco AI presenta DFlash 2, una evolución de su técnica de decodificación especulativa que aumenta en más de un 20% la producción de tokens por cada pasada de verificación del modelo objetivo, con apenas un 1% de latencia adicional y sin alterar la distribución de salida. En las pruebas internas, la
DigitalOcean presenta el precio estándar de entrada más bajo del comparativo para inferencia en tiempo real del modelo gpt-oss-120b, con 0,10 dólares por millón de tokens, frente a los 0,15 dólares por millón de tokens de entrada que cobran Together AI y Fireworks AI para el mismo modelo. Esos dos ú
La arquitectura tradicional de inferencia de modelos de lenguaje asigna a la GPU la mayor parte del cómputo y deja a la CPU en un papel secundario de coordinación. Sin embargo, la irrupción de la IA agéntica y el despliegue de modelos más pequeños y especializados está cuestionando esa división. En
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
El software contó durante décadas con una ventaja estructural única: producir el producto una vez y distribuirlo a un millón de usuarios costaba prácticamente lo mismo que a uno. Esa dinámica sustentó márgenes brutos del 75-85%, convirtió el crecimiento agresivo en gasto defendible y dio lugar al ma
La inferencia de modelos de lenguaje de gran tamaño entra en una nueva fase con las aplicaciones de IA agéntica: una sola petición puede alcanzar un millón de tokens al sumar instrucciones largas, llamadas a herramientas y resultados de recuperación. Durante la generación, cada token nuevo debe aten
Cloudflare detalla en su blog de ingeniería cómo sirve modelos abiertos de gran tamaño —Kimi K2.6 de Moonshot y GLM 5.2 de Z.ai— en su plataforma Workers AI, sobre GPUs H200 en sus centros de datos, sin renunciar a precisión. El artículo explica tres técnicas que se apoyan en separar las fases de pr
AirLLM es una biblioteca de Python de código abierto que reduce drásticamente el consumo de memoria durante la inferencia de modelos de lenguaje de gran tamaño, permitiendo ejecutar un modelo de 70B parámetros en una única GPU con apenas 4 GB de VRAM, sin recurrir a cuantización, destilación ni poda
Biting the Bullet (BTB) es una técnica desarrollada por JW Labs Research para optimizar la inferencia de modelos de lenguaje de gran tamaño cuando se producen picos súbitos de peticiones que comparten un prefijo largo común, un patrón habitual en tareas de etiquetado de datos, agentes distribuidos o
Los centros de datos absorbieron alrededor de 485 teravatios-hora (TWh) de electricidad en 2025, equivalentes a la generación anual de Alemania y a cerca del 1,5% del consumo eléctrico mundial, según la Agencia Internacional de la Energía (IEA). De ese total, dos tercios correspondieron a centros de
El NVIDIA DGX Spark es un ordenador compacto basado en ARM con una GPU equipada con el mismo número de núcleos CUDA que la RTX 5070, 128 GB de memoria unificada y un SSD de 4 TB. Funciona con DGX OS, una distribución basada en Ubuntu 24.04, aunque también puede instalarse Fedora u otras distribucion
Los chiplets se han convertido en la solución habitual para seguir aumentando el rendimiento de las GPU, pero los modelos de programación actuales (CUDA y HIP) siguen ofreciendo una jerarquía de ejecución plana que no permite expresar la localidad ni la sincronización a nivel de chiplet. Esa brecha
Los agentes autónomos no se construyen con un único bucle, sino con tres bucles entrelazados que el artículo desgrana de forma didáctica. El primero es el bucle de inferencia: el sistema envía al modelo de lenguaje (LLM) un historial de mensajes y herramientas disponibles a través del endpoint de ch
Los mini PC con memoria unificada, como los basados en AMD Strix Halo, NVIDIA DGX Spark o Apple Silicon, pueden cargar modelos de lenguaje de gran tamaño (LLM) que una tarjeta gráfica dedicada como la RTX 5090 no puede alojar, porque toda su RAM LPDDR5X soldada queda disponible como si fuera VRAM. U
Este análisis técnico de Doubleword examina un dilema habitual en la inferencia de modelos de lenguaje: cuando se busca aumentar el rendimiento por segundo en una sola GPU, ¿conviene aumentar el tamaño de lote (ancho) o apostar por la decodificación especulativa (profundidad)? El trabajo parte de un
OpenAI y Broadcom han anunciado el lanzamiento de Jalapeño, un chip ASIC diseñado desde cero para ejecutar inferencia de modelos de lenguaje de gran tamaño en centros de datos a gran escala. Ambas compañías sostienen que se trata de la primera generación de un proyecto a largo plazo, con sucesivas i
OpenAI y Broadcom han presentado Jalapeño, el primer procesador de inteligencia artificial de la compañía, un acelerador diseñado desde cero para optimizar la inferencia de modelos de lenguaje de gran tamaño (LLM). El chip fue entregado al consejero delegado de OpenAI, Sam Altman, y al presidente Gr
Modal ha lanzado Modal Auto Endpoints, un servicio de inferencia de modelos de lenguaje de gran tamaño (LLM) compatible con la API de OpenAI y desplegable con una única instrucción de línea de comandos. La propuesta se dirige a equipos que quieren poseer de verdad su infraestructura de inferencia —e
Dimensionar un clúster de GPUs para servir modelos de lenguaje no requiere simulaciones costosas: con unos pocos datos del hardware y de la arquitectura del modelo se puede estimar el coste por usuario con operaciones básicas. Esta guía didáctica recorre, paso a paso, los tres ejes que rigen la infe
El proyecto de código abierto mistral.rs, mantenido por Eric Buehler, ha añadido compatibilidad con Agent Skills de OpenAI mediante un nuevo endpoint /v1/skills, lo que permite ejecutar flujos de trabajo de agentes con modelos abiertos y en local. Hasta ahora esta funcionalidad estaba ligada en la p
Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout
Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for
