25 noticias
Z.ai, la compañía china de inteligencia artificial, ha presentado GLM-5.3-Flash, un nuevo modelo de gran escala que combina capacidades multimodales nativas con un coste de inferencia hasta diez veces inferior al de sus rivales de referencia. La compañía describe el lanzamiento como un paso signific
Los grandes modelos de lenguaje (LLM) suelen ejecutar acciones en un ordenador mediante herramientas como Claude Code o Codex, pero sus respuestas se calculan en otro ordenador con GPU. Este ensayo analiza si un LLM malicioso podría tomar el control de la máquina anfitriona donde residen sus pesos,
InferQuest es una aplicación web gratuita, abierta y sin ánimo de lucro orientada a formar ingenieros de inferencia y de entrenamiento de modelos de lenguaje grandes. Su diseño parte de un análisis del mercado laboral y se estructura en torno a dos itinerarios —despliegue rápido y económico de LLMs
Inco AI presenta DFlash 2, una evolución de su técnica de decodificación especulativa que aumenta en más de un 20% la producción de tokens por cada pasada de verificación del modelo objetivo, con apenas un 1% de latencia adicional y sin alterar la distribución de salida. En las pruebas internas, la
Alibaba ha publicado en Hugging Face los pesos cuantizados en FP8 de Qwen3.8-27B, un modelo denso de lenguaje causal con codificador de visión integrado, sucesor de las series Qwen3.5 y Qwen3.6. La versión cuenta con 27.000 millones de parámetros, 64 capas, una dimensión oculta de 5.120 y un vocabul
El repositorio Qwen/Qwen3.8-2.4T-A95B-FP8 en Hugging Face distribuye los pesos cuantizados en FP8 de un modelo MoE de 2,4 billones de parámetros con 95.000 millones activos, pensado para ejecutarse en vLLM, SGLang, TokenSpeed o mediante Docker. El cuantificado utiliza granularidad fina con bloques d
Qwen3.8-2.4T-A95B es un modelo de lenguaje causal publicado en Hugging Face que supone la primera versión abierta de la familia con nivel Qwen-Max. Se trata de un modelo de Mezcla de Expertos (MoE) con 2,4 billones de parámetros totales, de los cuales 95.000 millones se activan por inferencia, organ
NVIDIA ha presentado Nemotron 3.5 Lightning 30B-A3B en cuantización NVFP4, una variante optimizada para inferencia de su familia de modelos de lenguaje abiertos. El lanzamiento, fechado el 11 de agosto de 2026 según la ficha técnica publicada en Hugging Face, supone un paso más en la estrategia de l
LFM2.5-2.6B es un modelo de lenguaje de la familia LFM2.5 desarrollada por Liquid AI, diseñado para ejecutarse en local sobre dispositivos con recursos limitados. La arquitectura híbrida combina 22 bloques de convolución de doble puerta con 8 capas de atención grouped-query (GQA), suma 2.690 millone
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
Cloudflare detalla en su blog de ingeniería cómo sirve modelos abiertos de gran tamaño —Kimi K2.6 de Moonshot y GLM 5.2 de Z.ai— en su plataforma Workers AI, sobre GPUs H200 en sus centros de datos, sin renunciar a precisión. El artículo explica tres técnicas que se apoyan en separar las fases de pr
Wafer ha logrado ejecutar el modelo abierto Kimi K3, de 2,8 billones de parámetros, en un nodo de ocho GPUs AMD MI355X con 288 GB de VRAM cada una, alcanzando 952 tokens por segundo agregados y 118 tok/s en flujo único. El resultado multiplica por 3,8 el rendimiento agregado por nodo y por 1,3 el de
Biting the Bullet (BTB) es una técnica desarrollada por JW Labs Research para optimizar la inferencia de modelos de lenguaje de gran tamaño cuando se producen picos súbitos de peticiones que comparten un prefijo largo común, un patrón habitual en tareas de etiquetado de datos, agentes distribuidos o
Montar un servidor propio de inferencia para agentes de codificación exige entender qué se compra realmente cuando se alquila o adquiere una GPU. A diferencia de las APIs por token de OpenAI o Anthropic, un nodo propio fija un techo de tokens por segundo que solo se alcanza bajo carga; un solo desar
Investigadores proponen un sistema que mantiene un modelo de lenguaje congelado de 12.000 millones de parámetros y construye junto a él una memoria persistente de soluciones verificadas. En lugar de reentrenar el modelo, cada nueva instancia de una familia de problemas ya resuelta y validada por un
La familia MiMo-V2.5, compuesta por las versiones MiMo-V2.5 y MiMo-V2.5-Pro, integra varias decisiones arquitectónicas orientadas a reducir el coste de razonamiento en contextos largos: atención híbrida con ventana deslizante (Hybrid SWA), que comprime el almacenamiento de la KVCache a aproximadamen
Doubleword publica un análisis técnico detallado de cuda-checkpoint, una utilidad poco documentada del driver propietario de NVIDIA que permite congelar un proceso CUDA en ejecución, serializar el estado de la GPU en memoria del host y restaurarlo después en el mismo punto. En un artículo anterior,
Wafer, proveedor de inferencia, ha anunciado resultados de rendimiento del modelo GLM 5.2 sobre GPUs AMD Instinct MI355X, alcanzando 2.626 tokens por segundo por nodo en una carga agregada y 213 tokens por segundo en flujo único, con un coste por dólar más de dos veces inferior al de un sistema basa
Ornith-1.0 es una familia de modelos de inteligencia artificial de código abierto orientada a la programación agéntica, es decir, a tareas de coding en las que el modelo no solo escribe código, sino que planifica, ejecuta comandos y opera herramientas de forma autónoma. La release incluye cuatro var
Modal ha lanzado Modal Auto Endpoints, un servicio de inferencia de modelos de lenguaje de gran tamaño (LLM) compatible con la API de OpenAI y desplegable con una única instrucción de línea de comandos. La propuesta se dirige a equipos que quieren poseer de verdad su infraestructura de inferencia —e
Unlimited-OCR es un proyecto de código abierto desarrollado por Baidu que avanza la tarea de reconocimiento óptico de caracteres (OCR) sobre documentos completos con el objetivo de alcanzar el parsing de horizonte largo en una sola pasada, tomando como referencia DeepSeek-OCR. El repositorio ofrece
Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout
La plataforma Modal ha logrado mejorar el rendimiento de inferencia multimodal en más de un 10% mediante la implementación de un simple diccionario Python en el motor de inferencia SGLang. El cambio, ya integrado en SGLang v0.5.10, aumentó el throughput de solicitudes de 22.2 a 25.7 req/s (un 16.2%
DeepSeek-V4, un modelo de lenguaje de gran escala, ha recibido soporte inmediato (Día 0) para inferencia y entrenamiento de refuerzo gracias a SGLang y Miles, una plataforma de código abierto. Esta novedad es significativa porque permite aprovechar al máximo las capacidades del modelo desde su lanza
I-DLM (Introspective Diffusion Language Models) representa un avance significativo en el campo de los modelos de lenguaje, abordando una limitación clave de los modelos de difusión: su inferior rendimiento en comparación con los modelos autoregresivos (AR) tradicionales. Los modelos de difusión, a d
