Noticias que mencionan SGLang

Qwen3.8-27B-FP8: el nuevo modelo multimodal de código abierto de Alibaba

Alibaba ha publicado en Hugging Face los pesos cuantizados en FP8 de Qwen3.8-27B, un modelo denso de lenguaje causal con codificador de visión integrado, sucesor de las series Qwen3.5 y Qwen3.6. La versión cuenta con 27.000 millones de parámetros, 64 capas, una dimensión oculta de 5.120 y un vocabul

Qwen publica en open source los pesos cuantizados FP8 de Qwen3.8-2.4T-A95B

El repositorio Qwen/Qwen3.8-2.4T-A95B-FP8 en Hugging Face distribuye los pesos cuantizados en FP8 de un modelo MoE de 2,4 billones de parámetros con 95.000 millones activos, pensado para ejecutarse en vLLM, SGLang, TokenSpeed o mediante Docker. El cuantificado utiliza granularidad fina con bloques d

NVIDIA publica Nemotron 3.5 Lightning 30B-A3B en cuantización NVFP4

NVIDIA ha presentado Nemotron 3.5 Lightning 30B-A3B en cuantización NVFP4, una variante optimizada para inferencia de su familia de modelos de lenguaje abiertos. El lanzamiento, fechado el 11 de agosto de 2026 según la ficha técnica publicada en Hugging Face, supone un paso más en la estrategia de l

AMD MI355X supera en rendimiento por dólar al servir Kimi K3

Wafer ha logrado ejecutar el modelo abierto Kimi K3, de 2,8 billones de parámetros, en un nodo de ocho GPUs AMD MI355X con 288 GB de VRAM cada una, alcanzando 952 tokens por segundo agregados y 118 tok/s en flujo único. El resultado multiplica por 3,8 el rendimiento agregado por nodo y por 1,3 el de

El software abierto con IA vive su momento Kubernetes: no lo estropeemos

Los modelos de pesos abiertos se están convirtiendo en la base del próximo ecosistema de inteligencia artificial, y Estados Unidos debería competir dentro de él en lugar de aislarse. Tobi Knaup, cofundador de Mesosphere, traza un paralelismo con Kubernetes: cuando una plataforma abierta y portátil s

Anatomía de un kernel de paralelismo de expertos de alto rendimiento

Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout

Liquid AI lanza LFM2.5 con ventana de contexto de 128k tokens

Liquid AI ha anunciado hoy el lanzamiento de LFM2.5-8B-A1B, una evolución de su modelo de 'Mixture-of-Experts' diseñada para ejecutarse de manera eficiente y privada en hardware de consumo. Esta nueva versión, disponible bajo licencia abierta, supera a su predecesor al expandir su ventana de context

Qwen3.7-Max optimiza código en hardware desconocido logrando 10x aceleración

Alibaba presentó el modelo Qwen3.7-Max, que demostró una capacidad de autonomía excepcional al optimizar un kernel de código durante 35 horas en hardware desconocido sin documentación previa. El modelo se enfrentó a procesadores T-Head ZW-M890 PPUs desconocidos para mejorar una operación de atención

Gemma 4: Google acelera modelos de lenguaje

Google ha anunciado el lanzamiento de "Redactores de Predicción de Múltiples Tokens (MTP)" para la familia de modelos Gemma 4, una actualización diseñada para acelerar significativamente la inferencia de estos modelos de lenguaje de código abierto. Estos redactores utilizan una arquitectura de decod

DeepSeek-V4: Lanzamiento rápido con soporte inmediato

DeepSeek-V4, un modelo de lenguaje de gran escala, ha recibido soporte inmediato (Día 0) para inferencia y entrenamiento de refuerzo gracias a SGLang y Miles, una plataforma de código abierto. Esta novedad es significativa porque permite aprovechar al máximo las capacidades del modelo desde su lanza

LLMs de código abierto: incompatibilidad dificulta su uso

El uso de modelos de lenguaje grandes (LLM) de código abierto se enfrenta a un desafío significativo: la incompatibilidad en los formatos de llamada de herramientas. Mientras que los modelos cerrados como los de OpenAI ofrecen una integración fluida, los modelos de código abierto requieren que los d

Modelos de lenguaje: nueva técnica supera limitaciones

I-DLM (Introspective Diffusion Language Models) representa un avance significativo en el campo de los modelos de lenguaje, abordando una limitación clave de los modelos de difusión: su inferior rendimiento en comparación con los modelos autoregresivos (AR) tradicionales. Los modelos de difusión, a d

IA se auto-optimiza y supera expectativas

MiniMax ha desarrollado M2.7, un modelo de inteligencia artificial que se ha mejorado a sí mismo de forma autónoma, logrando resultados impresionantes en pruebas de referencia. En un proceso sin intervención humana directa, el modelo analizó sus propios fallos, modificó su código y optimizó su rendi

Sarvam AI libera modelos de lenguaje hechos en India

Sarvam AI ha lanzado de forma abierta los modelos de lenguaje Sarvam 30B y Sarvam 105B, diseñados para razonamiento y optimizados para el despliegue eficiente en una amplia gama de hardware, desde GPUs de alto rendimiento hasta dispositivos personales. El entrenamiento se llevó a cabo íntegramente e

Unsloth agiliza el ajuste de modelos Qwen3.5

Unsloth ha simplificado el proceso de ajuste fino (fine-tuning) de los modelos de lenguaje grandes Qwen3.5, una familia de modelos desarrollada por Alibaba. Ahora, usuarios pueden ajustar versiones de 0.8B a 122B de Qwen3.5, incluyendo soporte para ajuste fino tanto de texto como de visión. Unsloth

GLM-OCR: Nuevo OCR de Código Abierto Lidera en Precisión

Investigadores han desarrollado GLM-OCR, un nuevo modelo de código abierto para el reconocimiento óptico de caracteres (OCR) que alcanza un rendimiento de vanguardia en la comprensión de documentos complejos. Basado en la arquitectura GLM-V encoder-decoder, GLM-OCR incorpora técnicas innovadoras com

Kimi K2.5: 100-Agent Swarms Need $500k GPUs to Run | byteiota

Moonshot AI ha lanzado Kimi K2.5, un modelo de lenguaje de código abierto de 1 billón de parámetros que utiliza 'agent swarms' (enjambres de agentes) para tareas complejas, ofreciendo una ejecución 4.5 veces más rápida que los modelos de agente único y capacidades de codificación visual a partir de