vLLM
software · 11 menciones
Noticias que mencionan vLLM
Unsloth Studio: IA fácil con su interfaz sin código
Unsloth AI ha lanzado Unsloth Studio (Beta), una interfaz de usuario web de código abierto y sin necesidad de programación para entrenar, ejecutar y exportar modelos de IA de código abierto localmente. La herramienta, disponible para Windows, Linux, WSL y MacOS (con soporte limitado para entrenamien
Sarvam AI libera modelos de lenguaje hechos en India
Sarvam AI ha lanzado de forma abierta los modelos de lenguaje Sarvam 30B y Sarvam 105B, diseñados para razonamiento y optimizados para el despliegue eficiente en una amplia gama de hardware, desde GPUs de alto rendimiento hasta dispositivos personales. El entrenamiento se llevó a cabo íntegramente e
Unsloth agiliza el ajuste de modelos Qwen3.5
Unsloth ha simplificado el proceso de ajuste fino (fine-tuning) de los modelos de lenguaje grandes Qwen3.5, una familia de modelos desarrollada por Alibaba. Ahora, usuarios pueden ajustar versiones de 0.8B a 122B de Qwen3.5, incluyendo soporte para ajuste fino tanto de texto como de visión. Unsloth
Omni: IA de código abierto optimiza el trabajo
Un nuevo asistente de inteligencia artificial de código abierto llamado Omni ha sido lanzado, con el objetivo de revolucionar la búsqueda y la productividad en el entorno laboral. Desarrollado por Getomnico y disponible en GitHub, Omni se conecta a aplicaciones empresariales como Google Drive, Slack
ZSE: Motor optimiza LLMs y reduce el uso de memoria
Un nuevo motor de inferencia para modelos de lenguaje grandes (LLM) llamado ZSE ha sido desarrollado para reducir drásticamente los requisitos de memoria, según un anuncio reciente en GitHub. Creado por Zyora-Dev, ZSE permite ejecutar modelos de lenguaje de gran tamaño con una huella de memoria sign
Modelwrap: Tinfoil verifica modelos de IA
Tinfoil ha presentado Modelwrap, una nueva herramienta para verificar la integridad de los modelos de IA, abordando una preocupación creciente en la industria: la falta de transparencia sobre qué modelos se están ejecutando realmente en las APIs de inferencia. Actualmente, los usuarios a menudo no p
Z.ai Lanza GLM-5: Modelo de Razonamiento Avanzado
Z.ai ha lanzado GLM-5, un nuevo modelo de razonamiento disponible para su ejecución local. Este modelo supera a su predecesor, GLM-4.7, en tareas de codificación, agentes y chat, y está diseñado para el razonamiento con un contexto extenso, mostrando mejoras significativas en benchmarks como Humanit
GLM-OCR: Nuevo OCR de Código Abierto Lidera en Precisión
Investigadores han desarrollado GLM-OCR, un nuevo modelo de código abierto para el reconocimiento óptico de caracteres (OCR) que alcanza un rendimiento de vanguardia en la comprensión de documentos complejos. Basado en la arquitectura GLM-V encoder-decoder, GLM-OCR incorpora técnicas innovadoras com
ACE-Step: Música IA de Código Abierto Desafía a la Industria
Un equipo de investigadores ha presentado ACE-Step v1.5, un modelo de música de código abierto que rivaliza con alternativas comerciales y puede ejecutarse en hardware de consumo. El modelo, disponible en GitHub, Hugging Face y ModelScope, destaca por su eficiencia, generando canciones completas en
Nanobot: IA Personal Ultraligera Revoluciona la Asistencia
Nanobot es un asistente de IA personal de código abierto y ultraligero, inspirado en Clawdbot. Con solo aproximadamente 4,000 líneas de código, es significativamente más pequeño que Clawdbot, lo que lo hace rápido y fácil de usar. Ofrece funcionalidades básicas de agente, incluyendo análisis de merc
Kimi K2.5: 100-Agent Swarms Need $500k GPUs to Run | byteiota
Moonshot AI ha lanzado Kimi K2.5, un modelo de lenguaje de código abierto de 1 billón de parámetros que utiliza 'agent swarms' (enjambres de agentes) para tareas complejas, ofreciendo una ejecución 4.5 veces más rápida que los modelos de agente único y capacidades de codificación visual a partir de