software · 5 menciones
Meta Superintelligence Labs ha presentado Muse Glimmer, un modelo de inteligencia artificial de 30.000 millones de parámetros diseñado para flujos de trabajo agentivos ejecutados en local de forma permanente. La compañía ha publicado los pesos del modelo bajo licencia Apache 2.0 en Hugging Face, jun
Modal ha lanzado Modal Auto Endpoints, un servicio de inferencia de modelos de lenguaje de gran tamaño (LLM) compatible con la API de OpenAI y desplegable con una única instrucción de línea de comandos. La propuesta se dirige a equipos que quieren poseer de verdad su infraestructura de inferencia —e
La decodificación especulativa es una técnica de optimización en inferencia de modelos de lenguaje que acelera la generación de tokens sin pérdida de calidad. Su principio es simple: el modelo predice varios tokens futuros de forma barata y luego verifica solo los aceptados, aprovechando el ancho de
**Xiaomi ha presentado MiMo-V2.5-Pro-UltraSpeed, una variante de su modelo MoE de 1,02 billones de parámetros (42B activos) capaz de generar hasta ~1200 tokens por segundo sobre un único nodo de 8 GPUs comerciales.** El hito no es solo una cifra de marketing: es la primera vez que un modelo de esca
Se ha presentado Orthrus, un nuevo framework de inteligencia artificial que combina la precisión de los modelos de lenguaje grandes autoregresivos con la velocidad de generación paralela de los modelos de difusión. El sistema, desarrollado por el investigador Chiennv y disponible en HuggingFace, log
