Noticias que mencionan vLLM

Axelera presenta Titania: chiplet con FP8 nativo y refrigeración por aire

Axelera AI ha revelado la arquitectura de Titania, su tercer silicio de inferencia, que integra cálculos de punto flotante FP8 y FP4 directamente en sus matrices de cómputo en memoria. El chiplet, fabricado en TSMC N4C, incluye 32 núcleos de IA y 128 MB de SRAM compartida, alcanzando 1,25 PFLOPS de

SenseNova-Loop-9B: modelo de 9B parámetros con arquitectura en bucle

SenseNova-Loop-9B, un modelo de lenguaje multimodal de aproximadamente 9.000 millones de parámetros, ha sido lanzado oficialmente por la comunidad de Hugging Face. A diferencia de los modelos tradicionales, esta arquitectura reutiliza pesos de capas mediante un diseño en bucle, combinando estas capa

Herramienta para optimizar el rendimiento de servidores LLM locales

El proyecto 'inference-optimisation-skill' ofrece una habilidad para agentes de IA que permite optimizar el rendimiento de servidores de modelos de lenguaje locales (LLM) mediante un método de escalada por colinas (hill-climbing). Esta herramienta no se limita a listar parámetros, sino que implement

Edge0-145B: modelo MoE de 145 mil millones de parámetros para GPU de consumo

Edge0-145B-NVFP4 es un modelo de lenguaje de gran escala (LLM) de 145 mil millones de parámetros diseñado para ejecutarse eficientemente en una única GPU de consumo, como la RTX 5090 D de 24 GB. Utiliza una arquitectura de MoE (Mixture of Experts) latente esparsa con 48 capas, 512 expertos por capa

SOV-Transcribe-1: modelo de voz de Salesforce con 26.600 millones de parámetros

Salesforce ha lanzado SOV-Transcribe-1, un modelo de lenguaje de voz de pesos abiertos diseñado para el reconocimiento automático de voz (ASR) no en streaming. Con 26.600 millones de parámetros totales (4.600 millones activos), el sistema combina la precisión de transcripción en inglés con soporte m

llm-egress-watch monitoriza conexiones de LLMs locales a internet

llm-egress-watch es una herramienta de línea de comandos para Linux que registra y analiza las conexiones de red establecidas por motores de modelos de lenguaje locales (LLM) y agentes de IA. A diferencia de las afirmaciones de que el software funciona localmente, esta utilidad verifica si los proce

Astro-weights: edición de pesos de LLMs mediante agentes y LoRA

Astro-weights es una librería de software de código abierto diseñada para realizar correcciones pequeñas y dirigidas en los pesos de modelos de lenguaje de gran escala (LLM) de código abierto. Su objetivo principal es permitir que un agente de inteligencia artificial proponga ediciones de bajo rango

IBM lanza Granite-4.1-8B con soporte para LLMON

IBM ha publicado en Hugging Face el modelo de lenguaje ibm-granite/granite-4.1-8b-llmon-preview, una variante experimental de 8.000 parámetros diseñada para procesar instrucciones mediante el formato LLMON (LLM Object Notation) en lugar de plantillas de chat convencionales. Este modelo, lanzado el 1

Guía técnica para ejecutar GLM-5.3 en dos estaciones NVIDIA DGX

Este tutorial técnico detalla el procedimiento para desplegar el modelo de lenguaje GLM-5.3 NVFP4, con 753.000 millones de parámetros, en un entorno local utilizando dos estaciones NVIDIA DGX conectadas mediante RDMA. El objetivo es permitir la inferencia de modelos de frontera que exceden la memori

GPUWorks: plataforma ligera para gestionar aceleradores en la nube

GPUWorks es una plataforma de gestión de GPU y Model-as-a-Service (MaaS) de ultra bajo peso, diseñada para simplificar la orquestación de modelos de inteligencia artificial en entornos heterogéneos. Su principal característica es la ligereza: el plano de control y la interfaz web se distribuyen en u

Guía técnica para integrar Inkling 2 Small en aplicaciones de IA

Inkling 2 Small es un modelo multimodal de propósito general que acepta entradas de texto e imagen para generar salidas de texto, diseñado para desarrolladores que construyen aplicaciones de IA, asistentes de codificación y chatbots. El modelo, lanzado con pesos abiertos, soporta el inglés y tiene c

llama-sleep reduce el cambio de modelos LLM a 1,7 segundos

llama-sleep es una herramienta de software de código abierto que optimiza la gestión de modelos de lenguaje grandes (LLM) en entornos con una sola GPU, reduciendo el tiempo de cambio entre modelos de 10,3 a 1,7 segundos. A diferencia de los métodos tradicionales que detienen y reinician los procesos

lorasmith: ajuste fino de LLMs en Rust sin Python ni CUDA

lorasmith es una herramienta de software de código abierto que permite ajustar finamente modelos de lenguaje de gran escala (LLM) abiertos utilizando datos propios, eliminando la dependencia de Python, CUDA y entornos Docker pesados. Desarrollada en Rust, esta herramienta se distingue por su capacid

Yasakani: motor local de LLM para RTX 5090 optimizado para Qwen3.8-27B

Yasakani es un motor de lenguaje de gran escala (LLM) de código abierto, licenciado bajo Apache 2.0, diseñado específicamente para ejecutar el modelo Qwen3.8-27B en equipos con una sola tarjeta gráfica NVIDIA RTX 5090. Desarrollado por un individuo en Japón, la herramienta ofrece un rendimiento supe

llmtee: proxy autoalojado para monitorizar costes de LLM

llmtee es un proxy autoalojado escrito en Go que actúa como intermediario entre los clientes de aplicaciones y las APIs de modelos de lenguaje de gran escala (LLM), como las de OpenAI, Anthropic, OpenRouter, Ollama, vLLM y Groq. Su función principal es permitir a los usuarios individuales y equipos

MACaQ: cuantización agnóstica de modelo para inferencia local y multimodal

MACaQ es una herramienta de cuantización de alto rendimiento diseñada para permitir la inferencia local de modelos de lenguaje, imágenes, video y audio sin necesidad de ajustar parámetros específicos de cada arquitectura. A diferencia de los métodos tradicionales, MACaQ opera de forma agnóstica al m

Guía técnica para ingenieros de plataforma en inferencia de IA

Este documento técnico, titulado 'An Open Field Guide to Inference Engineering', se dirige a ingenieros de plataforma que buscan dominar la infraestructura de inferencia de modelos de lenguaje de gran escala (LLM). La guía explica cómo funcionan los modelos y las GPUs en conjunto, detallando la arqu

Google lanza TPU 8tx y 8i Max para la era agéntica

Google ha anunciado el lanzamiento de dos nuevas variantes de sus procesadores Tensor Processing Units (TPU) de la octava generación: el TPU 8tx y el TPU 8i Max. Esta expansión marca un hito en la estrategia de infraestructura de inteligencia artificial de la compañía, diseñada específicamente para

Flide: motor de inferencia de decisiones con forking exacto

Flide es una infraestructura de inferencia diseñada específicamente para modelos de decisión del estilo Jev, optimizada para garantizar respuestas exactas mediante el forking de estado. A diferencia de los motores tradicionales como vLLM o SGLang, Flide ejecuta una sola secuencia por pregunta, evita

Linux en la RTX Spark: el fallo de frecuencia que limita el rendimiento

El funcionamiento de Linux en la laptop Nvidia RTX Spark, como el MSI Prestige N16 Flip AI Plus, es técnicamente viable pero sufre de una limitación crítica de rendimiento. Aunque el sistema operativo se instala y acelera la GPU mediante el driver de Nvidia, la velocidad de reloj de la tarjeta gráfi

SYSTEM-D: panel táctil ESP32-S3 para monitorizar servidores de inferencia

SYSTEM-D es un panel de escritorio de 4 pulgadas con pantalla táctil diseñado para servidores de inferencia de modelos de lenguaje grandes (LLM) basados en vLLM y TensorFold. La herramienta, inspirada en btop, EngineMetrics y nv-monitor, permite visualizar métricas en tiempo real como la velocidad d

PI-Attn: servidor de LLM determinista con todas las optimizaciones activas

PI-Attn es un motor de inferencia para modelos de lenguaje de gran escala (LLM) diseñado para garantizar la reproducibilidad bit a bit de las salidas, manteniendo activadas todas las optimizaciones de rendimiento. A diferencia de los modos deterministas tradicionales, que desactivan optimizaciones c

Guía técnica para integrar LFM3-1.7B en aplicaciones locales

LiquidAI ha publicado LFM3-1.7B, un modelo de lenguaje de 1.730 millones de parámetros diseñado para agentes locales y aplicaciones especializadas. Este modelo se distingue por su arquitectura tri-híbrida y su ventana de contexto de 256.000 tokens, optimizado para funcionar en hardware de borde con

spinf-serve: clasificación masiva en una GPU con API compatible OpenAI

spinf-serve es un motor de inferencia diseñado para ejecutar clasificación masiva y toma de decisiones en una única GPU, optimizando el procesamiento de contenido al leerlo una sola vez para responder múltiples preguntas simultáneamente. A diferencia de los servidores de chat tradicionales, que rele

NVL72 permite 27% más GPUs utilizables mediante gestión de topología

El sistema NVL72 de NVIDIA redefine la infraestructura de entrenamiento e inferencia al conectar todos los 72 GPUs de un rack mediante un tejido NVLink unificado, eliminando la dependencia de InfiniBand para la comunicación inter-nodo. Esta arquitectura permite que los GPUs en nodos distintos interc

Guía técnica para ejecutar LLMs de código abierto en Amazon EKS

El repositorio llms-on-eks ofrece una serie de guías prácticas para desplegar modelos de lenguaje grandes (LLM) de código abierto en Amazon EKS, proporcionando código de infraestructura funcional y resultados de benchmarks reales. El proyecto está diseñado para ser autocontenido: los usuarios deben

mesh-deck: orquesta servicios de IA en GPUs compartidas sin colapsos

mesh-deck es una herramienta de línea de comandos diseñada para gestionar múltiples servicios de inteligencia artificial en una misma máquina, optimizando el uso de la memoria de las GPUs para evitar el colapso por falta de recursos. A diferencia de los entornos de ejecución tradicionales, mesh-deck

La IA local alcanza la madurez técnica en 2026

En 2026, la inteligencia artificial local ha evolucionado de un proyecto experimental a una alternativa viable y madura frente a la inferencia en la nube. El cambio más significativo ha sido la accesibilidad del hardware: las GPUs de gama alta como la RTX 5090 y la AMD RX 7900 XTX, junto con el cola

Nanbeige4.3-33B: nuevo modelo de agentes de código abierto

Nanbeige4.3-33B es un modelo de lenguaje de 33.000 millones de parámetros diseñado como el agente maestro para la serie Nanbeige4.3. Su objetivo principal es establecer una base de alto rendimiento para la destilación de capacidades agénticas avanzadas en modelos más pequeños, como el previsto Nanbe

Hugging Face publica versión cuantizada de Spark-X2.6-4B

Hugging Face ha lanzado la familia de modelos Spark-X2.6, centrada en la variante de 4 mil millones de parámetros, optimizada para ejecución local y flujos de trabajo de agentes. Esta versión, desarrollada por XHToken, destaca por su diseño de atención híbrida que permite una ventana de contexto de

Nanoserve: motor de inferencia de LLM en PyTorch con caché paged

Nanoserve es un motor de inferencia para modelos de lenguaje de gran escala (LLM) escrito desde cero en PyTorch, diseñado para ofrecer un rendimiento comparable al de vLLM. El proyecto, que cuenta con aproximadamente 1.600 líneas de código, sirve modelos como Qwen3-0.6B mediante una API compatible c

XHToken lanza Spark-X2.6-4B para agentes de IA en dispositivo

XHToken ha publicado Spark-X2.6-4B, un modelo de lenguaje de 4.000 millones de parámetros diseñado específicamente para su ejecución en dispositivos locales. Esta nueva generación, que mantiene la misma arquitectura que su predecesor Spark-X2.5-4B, mejora significativamente las capacidades de codifi

Despliegue de DeepSeek-V4.1-Flash-1017 modificado en GPUs NVIDIA RTX PRO 6000

Este artículo técnico detalla la configuración y el rendimiento de un modelo de lenguaje modificado, DeepSeek-V4.1-Flash-1017, desplegado en una infraestructura de cuatro GPUs NVIDIA RTX PRO 6000 Blackwell. El proyecto, alojado en GitHub, utiliza vLLM de Local Inference Lab como motor de inferencia,

InternScience libera Sage-A1.5, un modelo de 35B para investigación científica

InternScience ha publicado en Hugging Face Sage-A1.5, un modelo de lenguaje de 35 mil millones de parámetros diseñado específicamente para la resolución de problemas científicos de largo alcance. Basado en Qwen3.6 y Agents-A1, este modelo agéntico introduce capacidades de orquestación paralela, veri

BottleCap AI reduce el 39% el uso de tokens de pensamiento en Gemma-4-26B-A4B

BottleCap AI ha presentado ThinkingCap, la quinta versión de su serie de modelos optimizados para reducir el consumo de tokens de razonamiento. El nuevo modelo, basado en Gemma-4-26B-A4B de Google, logra una reducción media del 38,9% en los tokens de pensamiento y un máximo del 69,1% en ciertos benc

NVIDIA publica Qwen3.8-Flash-Next-FP4-Local para hardware local

NVIDIA ha publicado en Hugging Face el modelo Qwen3.8-Flash-Next-FP4-Local, una versión cuantizada del modelo de lenguaje de Alibaba que está optimizada específicamente para hardware de IA local. Este checkpoint ocupa aproximadamente 96 GiB de disco y está diseñado para ejecutarse en GPUs NVIDIA, co

SelfJev: modelo de decisión autoalojado con API compatible con Jev

SelfJev es una herramienta de software autoalojada que convierte textos y preguntas en decisiones ejecutables por código, ofreciendo una API compatible con el framework Jev. El proyecto, centrado en el modelo selfjev-4b, permite a los desarrolladores desplegar un servidor de IA en su propia infraest

IBM lanza Granite Speech 5.0 para mejorar la transcripción y traducción

IBM ha publicado tres actualizaciones de su colección de modelos de reconocimiento de voz, centradas en la precisión, la velocidad y la atribución de hablantes. El nuevo modelo, granite-speech-5.0-2b, sustituye a la versión anterior manteniendo la misma capacidad de parámetros, pero ofrece una trans

vLLM TorchTPU: backend nativo de PyTorch para Google Cloud TPUs

vLLM TorchTPU es un plugin de plataforma para vLLM que permite ejecutar modelos definidos en PyTorch sobre Google Cloud TPUs mediante TorchTPU. Su objetivo principal es ofrecer la misma experiencia de usuario y funcionalidad que en otras plataformas, sin necesidad de modificar el código de los model

Nexa Bridge: proxy en Rust para modelos locales tras NAT

Nexa Bridge es un proyecto de software escrito en Rust que actúa como proxy compatible con la API de OpenAI, permitiendo a usuarios ejecutar modelos de lenguaje locales desde detrás de una red privada (NAT) sin necesidad de abrir puertos en el firewall. La herramienta conecta servidores de modelos c

DeepInfer: marco de inferencia de alto rendimiento para modelos DeepSeek

DeepInfer es un marco de inferencia de alto rendimiento y gran escala, diseñado para soportar los servicios de producción de DeepSeek. Esta versión de código abierto proporciona la infraestructura necesaria para la inferencia en línea, destacando por su optimización de núcleos y su capacidad para ma

La decodificación especulativa acelera la GPU al cambiar el tipo de trabajo

La decodificación especulativa no acelera el procesamiento de modelos de lenguaje grandes (LLM) reduciendo la cantidad de operaciones de punto flotante (FLOPs) por token, sino al modificar el tipo de trabajo que realiza la GPU. Un error común es atribuir su velocidad a una menor carga computacional,

Arch Linux en ASUS ProArt P16: rendimiento y memoria CUDA

Un desarrollador de Arch Linux ha documentado la instalación y optimización de Arch Linux ARM en el portátil ASUS ProArt P16 H7607BA, destacando su capacidad para gestionar 128 GB de RAM y 6.144 núcleos CUDA. El objetivo principal es permitir el uso local de modelos de lenguaje de pesos abiertos, co

Detectando la manipulación de pesos en modelos de IA mediante Stealthium

El artículo técnico detalla las vulnerabilidades de seguridad asociadas a los ataques Rank-One Model Editing (ROME), donde un módulo malicioso en Python altera los pesos de un modelo de inteligencia artificial en la memoria de la GPU sin modificar el disco. A diferencia de las herramientas de seguri

Guía completa para instalar y ejecutar modelos de DeepSeek localmente

La guía técnica detallada en este repositorio de GitHub ofrece un método paso a paso para instalar y ejecutar modelos de lenguaje de DeepSeek, como V4, R1 y sus distilantes, en entornos locales de escritorio (PC, Mac) y servidores. El objetivo es permitir el uso de estas herramientas de forma privad

DeepSeek-V4.1-Flash-1017: mejoras en razonamiento y código

DeepSeek-V4.1-Flash-1017 es una actualización menor del modelo DeepSeek-V4.1-Flash que introduce mejoras significativas en razonamiento, programación, tareas agénticas y benchmarks visuales. El objetivo principal de esta versión es reducir el tiempo de ejecución de las tareas y la longitud de la sal

IBM lanza Granite Switch 4.1 para chat, decisiones y voz en un solo endpoint

IBM ha presentado Granite Switch 4.1, una actualización de su proyecto de modelos de lenguaje que permite ejecutar tareas de chat, toma de decisiones y reconocimiento de voz (ASR) desde un único endpoint de inferencia. La nueva versión integra tres componentes clave: un adaptador de decisiones gener

Reflection lanza Beam, un modelo MoE de 501B parámetros abierto

Reflection ha presentado Beam, un modelo de lenguaje de gran escala (LLM) de 501.000 millones de parámetros con arquitectura Mixture of Experts (MoE) de código abierto bajo la licencia Apache 2.0. El modelo está diseñado específicamente para tareas de codificación y agentes autónomos, ofreciendo una

llm-inference-bench: plataforma de benchmarking para LLMs autoalojados

llm-inference-bench es una plataforma de código abierto diseñada para evaluar el rendimiento de modelos de lenguaje de gran escala (LLM) en entornos autoalojados. Su objetivo principal es proporcionar métricas técnicas precisas y reproducibles para demostrar la viabilidad de despliegues de producció

Guía técnica para ejecutar el modelo Underdog-Saluki-27B-1.0

El modelo Underdog-Saluki-27B-1.0, desarrollado por ConwayResearch, es una versión optimizada del modelo Qwen3.8-27B diseñada para ejecutarse eficientemente en hardware con menos de 8 GB de RAM. Su objetivo principal es mantener la integridad de las llamadas a herramientas (tool calling) y el razona

Liquid AI lanza LFM2.5-24B-A2B, un modelo de IA rápido para agentes locales

Liquid AI ha presentado LFM2.5-24B-A2B, un modelo de razonamiento de 24.000 millones de parámetros con solo 2.000 millones activos, diseñado para ejecutar agentes de IA de forma privada y rápida en dispositivos locales. Este modelo, el más grande de la familia LFM2.5, compite con Qwen3.6-35B-A3B en

Baidu presenta Unlimited-OCR para el análisis de documentos largos

Baidu ha lanzado Unlimited-OCR, un modelo de inteligencia artificial diseñado para el análisis de documentos extensos y de alto horizonte. Esta herramienta, disponible en Hugging Face, permite a los desarrolladores integrar la capacidad de extracción de texto de imágenes en sus aplicaciones mediante

MiniCPM-V 4.7: el primer modelo MoE de código abierto para inferencia local

OpenBMB ha lanzado MiniCPM-V 4.7, un modelo de lenguaje multimodal de 35B-A3B que representa el primer modelo MoE (Mixture of Experts) de código abierto con capacidades de inferencia sin pérdida en dispositivos locales. Esta actualización destaca por su eficiencia, logrando una velocidad de decodifi

Stack de vLLM para NVIDIA V100 con contexto de 262K tokens

El repositorio vllm-sm70 proporciona una pila de producción para ejecutar modelos de lenguaje en tarjetas NVIDIA V100 (arquitectura sm_70). Su objetivo principal es resolver las limitaciones de rendimiento del vLLM original en hardware Volta, que suelen resultar en contextos cortos o tiempos de infe

Cohere presenta megakernel para acelerar inferencia de LLMs en H100

Cohere ha presentado un motor de servicio para su modelo North Mini Code, basado en un megakernel de decodificación que logra velocidades de 292 tokens por segundo en un solo H100. Esta solución supera en un 1,58 veces a vLLM y alcanza el 62% de la velocidad de luz (SoL) en lotes de tamaño 1, elimin

TokenSpeed: motor de inferencia de LLMs de código abierto

TokenSpeed es un motor de inferencia para modelos de lenguaje de gran escala (LLM) de código abierto, diseñado específicamente para cargas de trabajo agénticas. Su objetivo es ofrecer un rendimiento comparable al de TensorRT-LLM, pero con la usabilidad y la facilidad de desarrollo de vLLM. La arquit

Intel lanza GPU D270 optimizada para inferencia en centros de datos

Intel ha presentado la GPU D270, una unidad de procesamiento gráfico diseñada específicamente para la inferencia de modelos de inteligencia artificial en entornos de centros de datos. Este dispositivo se posiciona como una solución para la era de la IA agéntica, que exige manejar contextos más largo

Humanizer: modelo local de 12B para humanizar textos de IA

Humanizer es un modelo de lenguaje de 12.000 millones de parámetros diseñado para reescribir borradores generados por inteligencia artificial, como correos electrónicos, ensayos o informes, para que lean como si fueran escritos por una persona. La herramienta se destaca por su capacidad para mantene

Guía técnica para ejecutar el modelo Xing4.0-29B-A4B-GGUF

El modelo Venastine-Research/Xing4.0-29B-A4B-GGUF, identificado por el número de paper 2512.24157, ofrece una guía integral para su despliegue local y en la nube. Este documento técnico detalla las instrucciones precisas para integrar el modelo en entornos de desarrollo mediante diversas herramienta

JEV-27B-VL lidera benchmarks de visión con 27B parámetros

El modelo autotrust/JEV-27B-VL se posiciona como el líder en la categoría de modelos de decisión de visión en el índice comunitario JEV Decision Index 0.3, actualizado en octubre de 2026. Con 27.000 millones de parámetros, supera a modelos de referencia de 397.000 millones, como Qwen3.5-397B-A17B, o

llm-gateway: gateway agnóstico de motor para inferencia de LLM

llm-gateway es un gateway de inferencia para modelos de lenguaje grandes (LLM) diseñado para ser agnóstico al motor de inferencia subyacente. Su objetivo principal es resolver las limitaciones de los routers existentes, que suelen depender de aproximaciones parciales del estado de la caché (KV-cache

Guía técnica para implementar el modelo multimodal Cloudflare/clef

Cloudflare/clef es un modelo de lenguaje multimodal de 27.000 millones de parámetros diseñado para la toma de decisiones estructuradas. A diferencia de los modelos de generación de texto libre, Clef procesa estados y esquemas de preguntas tipadas para devolver probabilidades para cada opción permiti

Edge0 Audio8 ASR Infinite: modelo de reconocimiento de voz en tiempo real

Edge0 Audio8 ASR Infinite es un modelo de reconocimiento de voz nativo en streaming diseñado para ofrecer latencia mínima y transcripciones de audio de longitud ilimitada. Su arquitectura hereda la estructura Voxtral Realtime y combina un Decoder basado en Qwen2.5-3B-Instruct con un sistema de caché

MCDMA conecta Mac Studio y DGX Spark mediante RDMA nativo

MCDMA es un proyecto de código abierto que permite conectar un Mac Studio y una NVIDIA DGX Spark mediante un camino de memoria directa, utilizando el stack RDMA nativo de macOS. El objetivo es unificar el procesamiento de modelos de lenguaje, aprovechando la capacidad de prellenado de la GPU Blackwe

vLLM: motor de inferencia de alto rendimiento para modelos de lenguaje

vLLM es una biblioteca de código abierto diseñada para la inferencia y el servicio de modelos de lenguaje de gran escala (LLM). Desarrollada originalmente en el Sky Computing Lab de la Universidad de California en Berkeley, esta herramienta se ha convertido en uno de los proyectos de IA más activos,

Xing4.0-29B-A4B: modelo de IA de China Telecom con 29B parámetros

Xing4.0-29B-A4B es un modelo de lenguaje de gran escala (LLM) desarrollado por China Telecom Artificial Intelligence Technology Co., Ltd., que se distingue por su arquitectura de MoE (Mixture of Experts) optimizada para la plataforma Ascend NPU. Con 29.000 millones de parámetros totales y solo 4.000

Guía técnica para ejecutar Qwen3.8-27B en Hugging Face

El repositorio de Hugging Face para Qwen/Qwen3.8-27B ofrece una guía integral para el despliegue y uso de este modelo de lenguaje multimodal. El documento detalla las instrucciones para integrar la herramienta mediante librerías como Transformers, vLLM y SGLang, así como la configuración de entornos

Guía técnica para ejecutar MiMo-V2.6-Pro-RL en Hugging Face

La colección de Hugging Face para XiaomiMiMo/MiMo-V2.6-Pro-RL ofrece una guía integral para el despliegue y uso de este modelo de lenguaje de gran escala. El documento detalla las instrucciones para integrar el modelo mediante librerías de Python, como Transformers, y a través de entornos de inferen

Optimización de caché n-gram en llama.cpp acelera la decodificación

Un desarrollador ha implementado optimizaciones en llama.cpp que aceleran la decodificación mediante búsqueda de prompts (prompt lookup decoding) hasta 42 veces más rápido y reducen el uso de memoria hasta 2,6 veces. Esta mejora se basa en técnicas de optimización de rendimiento inspiradas en el tra

Convierte un LLM genérico en un modelo de decisión tipo Jev

Un equipo técnico ha desarrollado un método para transformar modelos de lenguaje de gran escala (LLM) comerciales en sistemas de decisión de alto rendimiento, similares a los modelos especializados 'System One' como Jev. El objetivo es permitir que un LLM tome decisiones tipadas con una probabilidad

La IA local se vuelve viable gracias a la caída del coste por tarea

El coste de utilizar la inteligencia artificial por tarea está disminuyendo drásticamente, lo que permite que los modelos de lenguaje de gran escala (LLM) funcionen localmente en hardware estándar en los próximos tres a seis años. Según un análisis de 2026, la eficiencia de las GPUs ha mejorado expo

ByteDance y Tsinghua lanzan DAPO, un sistema de RL de código abierto

ByteDance Seed y Tsinghua AIR han publicado DAPO, un sistema de aprendizaje por refuerzo (RL) a gran escala para modelos de lenguaje grandes (LLM) de código abierto. La propuesta técnica, denominada Decoupled Clip and Dynamic sAmpling Policy Optimization, busca mejorar la estabilidad y la eficiencia

Guía técnica para elegir orquestadores de inferencia autoalojados

La selección de un orquestador de inferencia autoalojado depende de la infraestructura disponible y los requisitos de escalabilidad. En septiembre de 2026, herramientas como Ollama y llama.cpp son ideales para un solo dispositivo, ofreciendo compatibilidad con la API de OpenAI y una interfaz de usua

Entrenamiento de modelos de IA para optimizar consultas en Postgres

Un estudio técnico demuestra que los optimizadores de consultas tradicionales, como el de Postgres, pueden ser superados por modelos de lenguaje pequeños mediante técnicas de entrenamiento avanzado. Aunque la optimización de consultas es un problema NP-hard, la verificación de la calidad de un plan

Estudio revela que LRU supera a políticas avanzadas en caché KV

Un análisis técnico basado en 68.266 solicitudes de 393 sesiones reales de Claude Code y 23.608 de Mooncake demuestra que la política LRU (Least Recently Used) es más difícil de superar en cachés KV agénticas de lo que sugieren los papers teóricos. El estudio, reproducible mediante un simulador de e

DeepSeek-V4.1-Flash sin censura: guía técnica y métricas de abliteración

El repositorio dealignai/DeepSeek-V4.1-Flash-UNCENSORED-FP8 documenta un modelo de lenguaje de 552 parámetros que ha sido modificado mediante una técnica de abliteración a nivel de pesos para eliminar sus guardrails de seguridad. Este proceso, desarrollado por el equipo de investigación de dealignai

Bolnee-Chat: Plataforma autoalojada para chatbots RAG con citas

Bolnee-Chat es una plataforma de código abierto y autoalojada que permite integrar chatbots basados en Recuperación Generativa de Augmentación (RAG) en sitios web empresariales. Su principal ventaja competitiva es la ausencia de costes por mensaje y la independencia de proveedores, ya que funciona c

vLLM v0.28.0 optimiza inferencia de Kimi-K3 y DeepSeek V4

El proyecto vLLM ha publicado la versión 0.28.0, una actualización que incorpora 584 contribuciones de 270 desarrolladores para mejorar significativamente el rendimiento y la compatibilidad de modelos de lenguaje avanzados. Esta liberación se centra en optimizaciones profundas para Kimi-K3, incluyen

Samsung presenta LPDDR5X-PIM para inferencia local de LLMs

En la conferencia Hot Chips 2026, Samsung presentó su nueva tecnología LPDDR5X-PIM (Processing-in-Memory), un avance significativo que integra unidades de cómputo directamente dentro de los paquetes de memoria estándar. El objetivo principal es habilitar la inferencia local de modelos de lenguaje gr

Notebooks de Colab sin frameworks para formarse como ingeniero de IA aplicado

El repositorio "ai-engineer-notebooks", del usuario de GitHub calmrocks, reúne una colección de cuadernos de Google Colab ejecutables y gratuitos pensados para ingenieros de backend o full-stack que quieran especializarse como AI Engineer o Forward Deployed Engineer (FDE). El material cubre, de extr

HBF: memoria flash de gran ancho de banda y sus retos de software

High Bandwidth Flash (HBF) es una propuesta que combina la memoria flash de las SSD con un empaquetado similar al de HBM (High Bandwidth Memory), apilando cubos de flash junto al chip de cómputo. Su objetivo es ofrecer mucha más capacidad que HBM manteniendo un ancho de banda aceptable. En la jornad

Por qué tu LLM local parece más torpe de lo que es

Muchos usuarios instalan un modelo de lenguaje local, a menudo en una versión cuantizada, y comprueban decepcionados que rinde peor de lo prometido en los benchmarks originales. Esta brecha se explica porque cada combinación de hardware y software introduce pequeñas variaciones que alteran los cálcu

Cómo Netflix sirve sus propios LLM en producción: decisiones y lecciones

Netflix ha optado por ejecutar internamente la pila completa de servicio de modelos de lenguaje grandes (LLM), desde el despliegue hasta la inferencia, dentro de su entorno de producción habitual en lugar de un silo de aprendizaje automático separado. El artículo, firmado por los equipos Model Runti

Qwen3.8-27B-FP8: el nuevo modelo multimodal de código abierto de Alibaba

Alibaba ha publicado en Hugging Face los pesos cuantizados en FP8 de Qwen3.8-27B, un modelo denso de lenguaje causal con codificador de visión integrado, sucesor de las series Qwen3.5 y Qwen3.6. La versión cuenta con 27.000 millones de parámetros, 64 capas, una dimensión oculta de 5.120 y un vocabul

Qwen publica en open source los pesos cuantizados FP8 de Qwen3.8-2.4T-A95B

El repositorio Qwen/Qwen3.8-2.4T-A95B-FP8 en Hugging Face distribuye los pesos cuantizados en FP8 de un modelo MoE de 2,4 billones de parámetros con 95.000 millones activos, pensado para ejecutarse en vLLM, SGLang, TokenSpeed o mediante Docker. El cuantificado utiliza granularidad fina con bloques d

NVIDIA publica Nemotron 3.5 Lightning 30B-A3B en cuantización NVFP4

NVIDIA ha presentado Nemotron 3.5 Lightning 30B-A3B en cuantización NVFP4, una variante optimizada para inferencia de su familia de modelos de lenguaje abiertos. El lanzamiento, fechado el 11 de agosto de 2026 según la ficha técnica publicada en Hugging Face, supone un paso más en la estrategia de l

Las universidades, ante la IA: prefieren no adaptarse

La autora, académica y antigua gestora universitaria, sostiene que la educación superior está perdiendo el tren de la inteligencia artificial. Cuatro años después de la irrupción de ChatGPT, las universidades siguen enfrascadas en debates sobre atletismo, diversidad ideológica o financiación federal

Guía para desplegar DeepSeek V4 Flash en producción sobre una AMD MI300X

El repositorio ryanzhou/deepseek-v4-flash-mi300x reúne la configuración y los parches necesarios para ejecutar el modelo DeepSeek-V4-Flash-0731 (304B parámetros) en producción sobre una única GPU AMD Instinct MI300X. La MI300X dispone de 192 GiB de HBM3 y un ancho de banda de 5,3 TB/s, lo que permit

LocalAI explica por qué reescribe en C y C++ motores de inferencia ajenos

LocalAI sostiene que la mayoría de los backends de inferencia locales deberían limitarse a envolver motores ya existentes —llama.cpp, vLLM, whisper.cpp, stable-diffusion o MLX—, y precisamente por eso dieciocho de sus backends no envuelven nada: son puertos propios en C o C++ que la empresa escribe

vLLM-Kunlun: el plugin de Baidu para ejecutar vLLM en la XPU Kunlun

vLLM-Kunlun es un plugin de hardware mantenido por la comunidad y publicado por Baidu que permite ejecutar el motor de inferencia vLLM sobre la XPU Kunlun (chip Kunlun3 P800). El proyecto se distribuye como un plugin estándar de la plataforma vLLM mediante entry points de Python, lo que evita modifi

El software abierto con IA vive su momento Kubernetes: no lo estropeemos

Los modelos de pesos abiertos se están convirtiendo en la base del próximo ecosistema de inteligencia artificial, y Estados Unidos debería competir dentro de él en lugar de aislarse. Tobi Knaup, cofundador de Mesosphere, traza un paralelismo con Kubernetes: cuando una plataforma abierta y portátil s

El backend de modelado de transformers en vLLM alcanza velocidad nativa

Hugging Face ha anunciado una actualización del backend de modelado de transformers dentro de vLLM que permite ejecutar los modelos de Hugging Face a la misma velocidad —o superior— que las implementaciones nativas escritas a mano para vLLM, sin necesidad de portar el código. La mejora se valida con

Guía para montar un clúster de dos nodos AMD Strix Halo con vLLM y RoCE v2

Esta guía explica cómo configurar un clúster de dos nodos equipados con las placas base Framework Desktop Mainboard con AMD Ryzen AI MAX+ 'Strix Halo' y 128 GB de memoria unificada, conectados mediante tarjetas Intel E810-CQDA1 de 100 GbE sobre el protocolo RoCE v2, para ejecutar inferencia distribu

Resolver la ambigüedad del coreano en CPU: 7.300 palabras por segundo sin GPU

Kimchi Reader, una herramienta de aprendizaje de coreano por inmersión, necesitaba desambiguar lemas en libros completos de forma rápida y precisa. El desarrollador encaró el reto con un modelo KoELECTRA-small de 14 millones de parámetros, cuantizado a int8 y ejecutado íntegramente en CPU mediante u

Anatomía de un kernel de paralelismo de expertos de alto rendimiento

Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout

Speculative KV coding: compresión sin pérdidas de la caché KV de LLM

Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for

Google lanza versiones QAT de Gemma 4 para móviles y portátiles

Google ha presentado nuevos checkpoints de Gemma 4 optimizados con Quantization-Aware Training (QAT), una técnica que integra la cuantización durante el entrenamiento para reducir la pérdida de calidad al comprimir los modelos. La novedad permite ejecutar Gemma 4 en dispositivos móviles y GPUs de co

Odiseo: un espacio de trabajo autogestionado con inteligencia artificial

Odiseo (Odysseus) es un proyecto de software que ofrece un espacio de trabajo autogestionado con inteligencia artificial, diseñado para ejecutarse en el propio hardware del usuario y priorizar la privacidad. Su objetivo es replicar la experiencia de interfaz de ChatGPT o Claude, pero de forma local

Jmaczan lanza tiny-vllm, motor educativo de inferencia LLM

El desarrollador Jmaczan ha lanzado en GitHub 'tiny-vllm', un motor de inferencia de alto rendimiento para modelos de lenguaje grande (LLM) desarrollado en C++ y CUDA. Esta iniciativa se presenta como una versión más compacta y educativa de vLLM, diseñada para derivar desde cero las matemáticas y ar

Liquid AI lanza LFM2.5 con ventana de contexto de 128k tokens

Liquid AI ha anunciado hoy el lanzamiento de LFM2.5-8B-A1B, una evolución de su modelo de 'Mixture-of-Experts' diseñada para ejecutarse de manera eficiente y privada en hardware de consumo. Esta nueva versión, disponible bajo licencia abierta, supera a su predecesor al expandir su ventana de context

Vulnerabilidad en Starlette y FastAPI permite eludir la autenticación

Investigadores de seguridad de X41 D-Sec han descubierto una vulnerabilidad crítica (CVE-2026-48710) en Starlette y, por extensión, en aplicaciones FastAPI que la utilizan, afectando a miles de proyectos, incluyendo servidores de inferencia de LLM como vLLM y LiteLLM, así como frameworks de agentes

EAGLE 3.1 soluciona el 'attention drift' en decodificación especulativa

El equipo EAGLE, en colaboración con vLLM y TorchSpec, ha presentado EAGLE 3.1, una evolución clave en el algoritmo de *speculative decoding*. Esta tecnología, ampliamente utilizada en sistemas de producción, soluciona la fragilidad de sus predecesores ante variaciones en plantillas de chat y entrad

Gemma 4: Google acelera modelos de lenguaje

Google ha anunciado el lanzamiento de "Redactores de Predicción de Múltiples Tokens (MTP)" para la familia de modelos Gemma 4, una actualización diseñada para acelerar significativamente la inferencia de estos modelos de lenguaje de código abierto. Estos redactores utilizan una arquitectura de decod

IA recuerda: Stash crea memoria persistente para agentes

Stash, una nueva capa de memoria persistente para agentes de IA, ha sido presentada por Mohamed Al-Ashaal. La herramienta busca resolver el problema de que los agentes de IA, como ChatGPT y Claude, no retienen información entre sesiones, obligando a los usuarios a repetir constantemente la misma inf

Compresión de datos: ¿por qué es clave para Kafka y más?

Este artículo explora los algoritmos de compresión de datos, motivado por la implementación de un broker de Kafka personalizado (MonKafka). La compresión es crucial para optimizar el almacenamiento y la transmisión de datos, ya que reduce el espacio requerido y el tiempo de procesamiento. Existen do

macOS: IA controla tu ordenador con 'Agent'

Un desarrollador ha lanzado 'Agent!', una innovadora aplicación nativa para macOS que permite a los usuarios controlar completamente sus Macs utilizando 17 modelos de lenguaje de IA (LLM). La aplicación, disponible en GitHub, integra Apple Intelligence de forma local, automatizando tareas complejas

LLMs de código abierto: incompatibilidad dificulta su uso

El uso de modelos de lenguaje grandes (LLM) de código abierto se enfrenta a un desafío significativo: la incompatibilidad en los formatos de llamada de herramientas. Mientras que los modelos cerrados como los de OpenAI ofrecen una integración fluida, los modelos de código abierto requieren que los d

IA se auto-optimiza y supera expectativas

MiniMax ha desarrollado M2.7, un modelo de inteligencia artificial que se ha mejorado a sí mismo de forma autónoma, logrando resultados impresionantes en pruebas de referencia. En un proceso sin intervención humana directa, el modelo analizó sus propios fallos, modificó su código y optimizó su rendi

Emprendedor gestiona varias empresas con $20 al mes

Un emprendedor, Steve Hanov, ha revelado una estrategia para operar múltiples empresas con un costo técnico mínimo, alrededor de $20 al mes. El enfoque se centra en la eficiencia y el bootstrapping, evitando la búsqueda de financiación externa y la infraestructura costosa típica de las empresas tecn

Unsloth Studio: IA fácil con su interfaz sin código

Unsloth AI ha lanzado Unsloth Studio (Beta), una interfaz de usuario web de código abierto y sin necesidad de programación para entrenar, ejecutar y exportar modelos de IA de código abierto localmente. La herramienta, disponible para Windows, Linux, WSL y MacOS (con soporte limitado para entrenamien

Sarvam AI libera modelos de lenguaje hechos en India

Sarvam AI ha lanzado de forma abierta los modelos de lenguaje Sarvam 30B y Sarvam 105B, diseñados para razonamiento y optimizados para el despliegue eficiente en una amplia gama de hardware, desde GPUs de alto rendimiento hasta dispositivos personales. El entrenamiento se llevó a cabo íntegramente e

Unsloth agiliza el ajuste de modelos Qwen3.5

Unsloth ha simplificado el proceso de ajuste fino (fine-tuning) de los modelos de lenguaje grandes Qwen3.5, una familia de modelos desarrollada por Alibaba. Ahora, usuarios pueden ajustar versiones de 0.8B a 122B de Qwen3.5, incluyendo soporte para ajuste fino tanto de texto como de visión. Unsloth

Omni: IA de código abierto optimiza el trabajo

Un nuevo asistente de inteligencia artificial de código abierto llamado Omni ha sido lanzado, con el objetivo de revolucionar la búsqueda y la productividad en el entorno laboral. Desarrollado por Getomnico y disponible en GitHub, Omni se conecta a aplicaciones empresariales como Google Drive, Slack

ZSE: Motor optimiza LLMs y reduce el uso de memoria

Un nuevo motor de inferencia para modelos de lenguaje grandes (LLM) llamado ZSE ha sido desarrollado para reducir drásticamente los requisitos de memoria, según un anuncio reciente en GitHub. Creado por Zyora-Dev, ZSE permite ejecutar modelos de lenguaje de gran tamaño con una huella de memoria sign

Modelwrap: Tinfoil verifica modelos de IA

Tinfoil ha presentado Modelwrap, una nueva herramienta para verificar la integridad de los modelos de IA, abordando una preocupación creciente en la industria: la falta de transparencia sobre qué modelos se están ejecutando realmente en las APIs de inferencia. Actualmente, los usuarios a menudo no p

Z.ai Lanza GLM-5: Modelo de Razonamiento Avanzado

Z.ai ha lanzado GLM-5, un nuevo modelo de razonamiento disponible para su ejecución local. Este modelo supera a su predecesor, GLM-4.7, en tareas de codificación, agentes y chat, y está diseñado para el razonamiento con un contexto extenso, mostrando mejoras significativas en benchmarks como Humanit

GLM-OCR: Nuevo OCR de Código Abierto Lidera en Precisión

Investigadores han desarrollado GLM-OCR, un nuevo modelo de código abierto para el reconocimiento óptico de caracteres (OCR) que alcanza un rendimiento de vanguardia en la comprensión de documentos complejos. Basado en la arquitectura GLM-V encoder-decoder, GLM-OCR incorpora técnicas innovadoras com

ACE-Step: Música IA de Código Abierto Desafía a la Industria

Un equipo de investigadores ha presentado ACE-Step v1.5, un modelo de música de código abierto que rivaliza con alternativas comerciales y puede ejecutarse en hardware de consumo. El modelo, disponible en GitHub, Hugging Face y ModelScope, destaca por su eficiencia, generando canciones completas en

Nanobot: IA Personal Ultraligera Revoluciona la Asistencia

Nanobot es un asistente de IA personal de código abierto y ultraligero, inspirado en Clawdbot. Con solo aproximadamente 4,000 líneas de código, es significativamente más pequeño que Clawdbot, lo que lo hace rápido y fácil de usar. Ofrece funcionalidades básicas de agente, incluyendo análisis de merc

Kimi K2.5: 100-Agent Swarms Need $500k GPUs to Run | byteiota

Moonshot AI ha lanzado Kimi K2.5, un modelo de lenguaje de código abierto de 1 billón de parámetros que utiliza 'agent swarms' (enjambres de agentes) para tareas complejas, ofreciendo una ejecución 4.5 veces más rápida que los modelos de agente único y capacidades de codificación visual a partir de