52 noticias
sFNX es un motor de inferencia para modelos de lenguaje grandes (LLM) de tipo MoE (Mixture of Experts) que optimiza el rendimiento en hardware específico: tres tarjetas NVIDIA Tesla V100-32GB conectadas por PCIe Gen3 sin NVLink. A diferencia de los enfoques tradicionales que asumen NVLink o dividen
Nanoserve es un motor de inferencia para modelos de lenguaje de gran escala (LLM) escrito desde cero en PyTorch, diseñado para ofrecer un rendimiento comparable al de vLLM. El proyecto, que cuenta con aproximadamente 1.600 líneas de código, sirve modelos como Qwen3-0.6B mediante una API compatible c
APUS es un runtime de inferencia diseñado para ejecutar modelos de lenguaje de mezcla de expertos (MoE) de gran escala, como GLM-5.2 de 744B parámetros y DeepSeek-V3, en equipos de consumo con 24 GB de RAM. La herramienta permite procesar estos modelos mediante el streaming de bloques de expertos al
vLLM TorchTPU es un plugin de plataforma para vLLM que permite ejecutar modelos definidos en PyTorch sobre Google Cloud TPUs mediante TorchTPU. Su objetivo principal es ofrecer la misma experiencia de usuario y funcionalidad que en otras plataformas, sin necesidad de modificar el código de los model
AirDrop-LLM es una herramienta de software diseñada para orquestar la inferencia de modelos de lenguaje de gran escala (LLM) en entornos locales sin conexión a internet. Su objetivo principal es resolver la limitación de memoria de los equipos de consumo, permitiendo ejecutar modelos de 32B y 70B pa
La infraestructura para ejecutar modelos de lenguaje de gran escala (LLM) depende de tres factores clave: el tamaño del modelo, el volumen de tráfico y la estabilidad de la demanda. Este análisis técnico detalla cómo calcular el hardware necesario para evitar pagar por capacidad ociosa, comparando o
vramkit es una herramienta de código abierto diseñada para reducir el consumo de memoria VRAM durante la inferencia de modelos de lenguaje grandes (LLM). El proyecto, desarrollado y validado íntegramente en un MacBook con Apple Silicon, ofrece dos técnicas principales: un codificador de pesos sin pé
El proyecto Lowaltitudeflight/local-llm-tuning-guide ofrece una biblioteca de decisiones para desplegar modelos de lenguaje de gran escala (LLM) en máquinas multi-GPU sin conexión NVLink. La herramienta aborda la realidad de la mayoría de las inferencias autoalojadas, que utilizan GPUs como RTX 4090
llm-inference-bench es una plataforma de código abierto diseñada para evaluar el rendimiento de modelos de lenguaje de gran escala (LLM) en entornos autoalojados. Su objetivo principal es proporcionar métricas técnicas precisas y reproducibles para demostrar la viabilidad de despliegues de producció
open_rknpu2_lm_infer es un motor de inferencia de modelos de lenguaje de gran escala (LLM) de código abierto diseñado específicamente para la unidad de procesamiento neuronal (NPU) RK3588. Su objetivo principal es superar las limitaciones de rendimiento y precisión de los SDK comerciales de los fabr
AIR-LLM es una arquitectura de inferencia para modelos de lenguaje grandes (LLM) diseñada para dispositivos de borde que carecen de memoria suficiente para almacenar los pesos de los modelos. El sistema elimina la necesidad de descargar o cargar los pesos en el dispositivo local, permitiendo que est
Cohere ha presentado un motor de servicio para su modelo North Mini Code, basado en un megakernel de decodificación que logra velocidades de 292 tokens por segundo en un solo H100. Esta solución supera en un 1,58 veces a vLLM y alcanza el 62% de la velocidad de luz (SoL) en lotes de tamaño 1, elimin
TokenSpeed es un motor de inferencia para modelos de lenguaje de gran escala (LLM) de código abierto, diseñado específicamente para cargas de trabajo agénticas. Su objetivo es ofrecer un rendimiento comparable al de TensorRT-LLM, pero con la usabilidad y la facilidad de desarrollo de vLLM. La arquit
LemonSeed Studio es una aplicación única para iPad que funciona como un entorno de desarrollo integrado (IDE) con capacidad de inferencia de modelos de lenguaje de gran escala (LLM) directamente en el dispositivo. El proyecto se distingue por su arquitectura técnica, que permite ejecutar modelos de
Slotpin es un proxy inverso de código abierto diseñado para servidores de inferencia de modelos de lenguaje locales (LLM), compatibles con llama.cpp y el motor Gufo. Su función principal es gestionar la memoria de cache (KV cache) mediante un mecanismo de 'slot pinning', lo que permite mantener las
Arf es un motor de inferencia de modelos de lenguaje grandes (LLM) escrito en Rust, diseñado específicamente para hardware Apple Silicon. A diferencia de las soluciones comerciales, Arf no utiliza frameworks de aprendizaje automático preexistentes; en su lugar, implementa desde cero las operaciones
Alpaca es un motor de inferencia de modelos de lenguaje nativo para Apple Silicon, desarrollado en Swift y diseñado para ejecutarse en macOS y iOS sin depender de librerías externas como llama.cpp, MLX o Core ML. El proyecto, creado por Torin Etheridge, ofrece una implementación independiente de tod
Superfluid es un demonio de servicio unificado diseñado para la inferencia local de modelos de lenguaje de gran escala (LLM), capaz de gestionar múltiples agentes y máquinas mediante una única interfaz de API. La herramienta centraliza el control sobre llama.cpp, MLX y baseRT, permitiendo que varios
Este documento técnico detalla el proceso de tuning para la inferencia local de modelos de lenguaje en la GPU AMD Instinct MI50 (gfx906), un dispositivo de 32 GB con refrigeración pasiva. El objetivo principal es maximizar el rendimiento en cargas de trabajo específicas, como nodos de n8n, mediante
llm-gateway es un gateway de inferencia para modelos de lenguaje grandes (LLM) diseñado para ser agnóstico al motor de inferencia subyacente. Su objetivo principal es resolver las limitaciones de los routers existentes, que suelen depender de aproximaciones parciales del estado de la caché (KV-cache
WHIRL es un motor de inferencia para modelos de lenguaje (LLM) escrito en C++ puro y HIP, diseñado específicamente para la GPU AMD Radeon AI PRO R9700 (arquitectura RDNA 4). A diferencia de otras soluciones que dependen de entornos Linux o WSL, WHIRL opera nativamente en Windows 11 de 64 bits, elimi
Genpark es un motor de cuantización de precisión reducida (INT8) diseñado para acelerar la inferencia de modelos de lenguaje de gran escala (LLM) en entornos de borde. Su característica principal es la ausencia total de dependencias externas, operando exclusivamente mediante la librería estándar de
Las referencias laborales públicas, especialmente cuando se ofrecen incentivos financieros como pagos de 1.500 dólares por contratación, transforman el proceso de reclutamiento en una estrategia de captación masiva y no personal. Un candidato con perfil de doctorado en física y experiencia en C++ y
En los sistemas de Generación Aumentada por Recuperación (RAG), la cercanía física entre los datos y los recursos de cómputo —la llamada 'data locality'— puede ser determinante para el rendimiento y el coste, hasta el punto de superar a una GPU más rápida pero mal ubicada. Cuando los embeddings y el
La decodificación especulativa es una técnica que permite a vLLM verificar en una sola pasada del modelo objetivo varios tokens propuestos por un componente de borrador, con el fin de mantener el comportamiento de salida del modelo original mientras se reduce el número de rondas de decodificación es
WebLLM es un motor de inferencia de modelos de lenguaje de gran tamaño que ejecuta la carga de trabajo directamente en el navegador web, sin necesidad de servidor, gracias a la aceleración por hardware mediante WebGPU. El proyecto, publicado como repositorio de código abierto por MLC AI, ofrece una
La inferencia de modelos de lenguaje (LLM) se gobierna por una frontera eficiente que resume los compromisos entre latencia, rendimiento y coste, un concepto que la industria de la IA tomó prestado de la economía y que mide hasta dónde se puede llegar en capacidad a un coste dado. Este artículo expl
InferQuest es una aplicación web gratuita, abierta y sin ánimo de lucro orientada a formar ingenieros de inferencia y de entrenamiento de modelos de lenguaje grandes. Su diseño parte de un análisis del mercado laboral y se estructura en torno a dos itinerarios —despliegue rápido y económico de LLMs
Etched AI salió del modo stealth el 30 de junio de 2026 con un producto singular: Sohu, un ASIC (circuito integrado de aplicación específica) diseñado exclusivamente para ejecutar la atención de los modelos transformer. Frente a las GPU programables de NVIDIA, Sohu implementa esas operaciones como c
Este artículo técnico explica por qué la combinación de MLA (atención de latente múltiple) con MTP (decodificado especulativo o multi-token prediction) tiende a perjudicar el rendimiento en las GPUs actuales, partiendo de un comentario del investigador Su Jianlin. La clave está en la intensidad arit
Inco AI presenta DFlash 2, una evolución de su técnica de decodificación especulativa que aumenta en más de un 20% la producción de tokens por cada pasada de verificación del modelo objetivo, con apenas un 1% de latencia adicional y sin alterar la distribución de salida. En las pruebas internas, la
DigitalOcean presenta el precio estándar de entrada más bajo del comparativo para inferencia en tiempo real del modelo gpt-oss-120b, con 0,10 dólares por millón de tokens, frente a los 0,15 dólares por millón de tokens de entrada que cobran Together AI y Fireworks AI para el mismo modelo. Esos dos ú
La arquitectura tradicional de inferencia de modelos de lenguaje asigna a la GPU la mayor parte del cómputo y deja a la CPU en un papel secundario de coordinación. Sin embargo, la irrupción de la IA agéntica y el despliegue de modelos más pequeños y especializados está cuestionando esa división. En
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
El software contó durante décadas con una ventaja estructural única: producir el producto una vez y distribuirlo a un millón de usuarios costaba prácticamente lo mismo que a uno. Esa dinámica sustentó márgenes brutos del 75-85%, convirtió el crecimiento agresivo en gasto defendible y dio lugar al ma
La inferencia de modelos de lenguaje de gran tamaño entra en una nueva fase con las aplicaciones de IA agéntica: una sola petición puede alcanzar un millón de tokens al sumar instrucciones largas, llamadas a herramientas y resultados de recuperación. Durante la generación, cada token nuevo debe aten
Cloudflare detalla en su blog de ingeniería cómo sirve modelos abiertos de gran tamaño —Kimi K2.6 de Moonshot y GLM 5.2 de Z.ai— en su plataforma Workers AI, sobre GPUs H200 en sus centros de datos, sin renunciar a precisión. El artículo explica tres técnicas que se apoyan en separar las fases de pr
AirLLM es una biblioteca de Python de código abierto que reduce drásticamente el consumo de memoria durante la inferencia de modelos de lenguaje de gran tamaño, permitiendo ejecutar un modelo de 70B parámetros en una única GPU con apenas 4 GB de VRAM, sin recurrir a cuantización, destilación ni poda
Biting the Bullet (BTB) es una técnica desarrollada por JW Labs Research para optimizar la inferencia de modelos de lenguaje de gran tamaño cuando se producen picos súbitos de peticiones que comparten un prefijo largo común, un patrón habitual en tareas de etiquetado de datos, agentes distribuidos o
Los centros de datos absorbieron alrededor de 485 teravatios-hora (TWh) de electricidad en 2025, equivalentes a la generación anual de Alemania y a cerca del 1,5% del consumo eléctrico mundial, según la Agencia Internacional de la Energía (IEA). De ese total, dos tercios correspondieron a centros de
El NVIDIA DGX Spark es un ordenador compacto basado en ARM con una GPU equipada con el mismo número de núcleos CUDA que la RTX 5070, 128 GB de memoria unificada y un SSD de 4 TB. Funciona con DGX OS, una distribución basada en Ubuntu 24.04, aunque también puede instalarse Fedora u otras distribucion
Los chiplets se han convertido en la solución habitual para seguir aumentando el rendimiento de las GPU, pero los modelos de programación actuales (CUDA y HIP) siguen ofreciendo una jerarquía de ejecución plana que no permite expresar la localidad ni la sincronización a nivel de chiplet. Esa brecha
Los agentes autónomos no se construyen con un único bucle, sino con tres bucles entrelazados que el artículo desgrana de forma didáctica. El primero es el bucle de inferencia: el sistema envía al modelo de lenguaje (LLM) un historial de mensajes y herramientas disponibles a través del endpoint de ch
Los mini PC con memoria unificada, como los basados en AMD Strix Halo, NVIDIA DGX Spark o Apple Silicon, pueden cargar modelos de lenguaje de gran tamaño (LLM) que una tarjeta gráfica dedicada como la RTX 5090 no puede alojar, porque toda su RAM LPDDR5X soldada queda disponible como si fuera VRAM. U
Este análisis técnico de Doubleword examina un dilema habitual en la inferencia de modelos de lenguaje: cuando se busca aumentar el rendimiento por segundo en una sola GPU, ¿conviene aumentar el tamaño de lote (ancho) o apostar por la decodificación especulativa (profundidad)? El trabajo parte de un
OpenAI y Broadcom han anunciado el lanzamiento de Jalapeño, un chip ASIC diseñado desde cero para ejecutar inferencia de modelos de lenguaje de gran tamaño en centros de datos a gran escala. Ambas compañías sostienen que se trata de la primera generación de un proyecto a largo plazo, con sucesivas i
OpenAI y Broadcom han presentado Jalapeño, el primer procesador de inteligencia artificial de la compañía, un acelerador diseñado desde cero para optimizar la inferencia de modelos de lenguaje de gran tamaño (LLM). El chip fue entregado al consejero delegado de OpenAI, Sam Altman, y al presidente Gr
Modal ha lanzado Modal Auto Endpoints, un servicio de inferencia de modelos de lenguaje de gran tamaño (LLM) compatible con la API de OpenAI y desplegable con una única instrucción de línea de comandos. La propuesta se dirige a equipos que quieren poseer de verdad su infraestructura de inferencia —e
Dimensionar un clúster de GPUs para servir modelos de lenguaje no requiere simulaciones costosas: con unos pocos datos del hardware y de la arquitectura del modelo se puede estimar el coste por usuario con operaciones básicas. Esta guía didáctica recorre, paso a paso, los tres ejes que rigen la infe
El proyecto de código abierto mistral.rs, mantenido por Eric Buehler, ha añadido compatibilidad con Agent Skills de OpenAI mediante un nuevo endpoint /v1/skills, lo que permite ejecutar flujos de trabajo de agentes con modelos abiertos y en local. Hasta ahora esta funcionalidad estaba ligada en la p
Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout
Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for
