software · 38 menciones
vLLM Semantic Router plantea que la siguiente capa clave en la inferencia de IA no es el modelo frontera, sino el router que tiene delante. Un router puede reducir costes eligiendo el modelo adecuado para cada petición, aplicar políticas de seguridad enviando dominios sensibles a modelos más estrict
Ornith-1.0 es una familia de modelos de inteligencia artificial de código abierto orientada a la programación agéntica, es decir, a tareas de coding en las que el modelo no solo escribe código, sino que planifica, ejecuta comandos y opera herramientas de forma autónoma. La release incluye cuatro var
Esta guía explica cómo configurar un clúster de dos nodos equipados con las placas base Framework Desktop Mainboard con AMD Ryzen AI MAX+ 'Strix Halo' y 128 GB de memoria unificada, conectados mediante tarjetas Intel E810-CQDA1 de 100 GbE sobre el protocolo RoCE v2, para ejecutar inferencia distribu
El modelo abierto GLM-5.2, desarrollado por Z.ai bajo licencia MIT, se enfrenta a Claude Opus 4.8 en una prueba práctica consistente en construir un plataformas 3D en WebGL puro, sin librerías como Three.js, a partir de un único prompt. GLM-5.2 está pensado para tareas largas y agenticas: ofrece ven
Ejecutar dos modelos de lenguaje grandes de forma coresidente en una sola GPU exige un cálculo de memoria preciso, algo que el parámetro gpu_memory_utilization de vLLM no resuelve por sí solo. Este artículo recoge la experiencia práctica de desplegar Qwen3-Next-80B-Instruct-FP8 y Qwen3-4B-Instruct-2
Kimchi Reader, una herramienta de aprendizaje de coreano por inmersión, necesitaba desambiguar lemas en libros completos de forma rápida y precisa. El desarrollador encaró el reto con un modelo KoELECTRA-small de 14 millones de parámetros, cuantizado a int8 y ejecutado íntegramente en CPU mediante u
Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout
Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for
Google ha presentado nuevos checkpoints de Gemma 4 optimizados con Quantization-Aware Training (QAT), una técnica que integra la cuantización durante el entrenamiento para reducir la pérdida de calidad al comprimir los modelos. La novedad permite ejecutar Gemma 4 en dispositivos móviles y GPUs de co
KVarN es un backend nativo de cuantización de KV-cache para vLLM, desarrollado por Huawei, que permite ampliar la capacidad del caché entre tres y cinco veces sin sacrificar el rendimiento ni la precisión. A diferencia de otros métodos como TurboQuant, que al aumentar la capacidad reducen significat
Google presenta Gemma 4 12B, un modelo multimodal unificado que se ejecuta en portátiles Google ha presentado Gemma 4 12B, un nuevo modelo de inteligencia artificial de código abierto que destaca por su arquitectura multimodal unificada y por su capacidad de ejecutarse en portátiles convencionales
FunASR es un toolkit de código abierto para reconocimiento automático del habla (ASR) desarrollado por ModelScope, la organización de Alibaba DAMO, orientado a escenarios industriales y de producción. La herramienta se posiciona como una alternativa a OpenAI Whisper y a las API de transcripción en l
@lateos/npm-scan es una herramienta de seguridad de código abierto que realiza análisis estático y conductual sobre paquetes del ecosistema npm —y, parcialmente, de PyPI— para detectar amenazas avanzadas en la cadena de suministro de software. A diferencia de npm audit, Snyk o Socket, la herramienta
Odiseo (Odysseus) es un proyecto de software que ofrece un espacio de trabajo autogestionado con inteligencia artificial, diseñado para ejecutarse en el propio hardware del usuario y priorizar la privacidad. Su objetivo es replicar la experiencia de interfaz de ChatGPT o Claude, pero de forma local
El desarrollador Jmaczan ha lanzado en GitHub 'tiny-vllm', un motor de inferencia de alto rendimiento para modelos de lenguaje grande (LLM) desarrollado en C++ y CUDA. Esta iniciativa se presenta como una versión más compacta y educativa de vLLM, diseñada para derivar desde cero las matemáticas y ar
Liquid AI ha anunciado hoy el lanzamiento de LFM2.5-8B-A1B, una evolución de su modelo de 'Mixture-of-Experts' diseñada para ejecutarse de manera eficiente y privada en hardware de consumo. Esta nueva versión, disponible bajo licencia abierta, supera a su predecesor al expandir su ventana de context
Investigadores de seguridad de X41 D-Sec han descubierto una vulnerabilidad crítica (CVE-2026-48710) en Starlette y, por extensión, en aplicaciones FastAPI que la utilizan, afectando a miles de proyectos, incluyendo servidores de inferencia de LLM como vLLM y LiteLLM, así como frameworks de agentes
El equipo EAGLE, en colaboración con vLLM y TorchSpec, ha presentado EAGLE 3.1, una evolución clave en el algoritmo de *speculative decoding*. Esta tecnología, ampliamente utilizada en sistemas de producción, soluciona la fragilidad de sus predecesores ante variaciones en plantillas de chat y entrad
Se ha presentado Orthrus, un nuevo framework de inteligencia artificial que combina la precisión de los modelos de lenguaje grandes autoregresivos con la velocidad de generación paralela de los modelos de difusión. El sistema, desarrollado por el investigador Chiennv y disponible en HuggingFace, log
La plataforma Modal ha logrado mejorar el rendimiento de inferencia multimodal en más de un 10% mediante la implementación de un simple diccionario Python en el motor de inferencia SGLang. El cambio, ya integrado en SGLang v0.5.10, aumentó el throughput de solicitudes de 22.2 a 25.7 req/s (un 16.2%
Google ha anunciado el lanzamiento de "Redactores de Predicción de Múltiples Tokens (MTP)" para la familia de modelos Gemma 4, una actualización diseñada para acelerar significativamente la inferencia de estos modelos de lenguaje de código abierto. Estos redactores utilizan una arquitectura de decod
Stash, una nueva capa de memoria persistente para agentes de IA, ha sido presentada por Mohamed Al-Ashaal. La herramienta busca resolver el problema de que los agentes de IA, como ChatGPT y Claude, no retienen información entre sesiones, obligando a los usuarios a repetir constantemente la misma inf
Este artículo explora los algoritmos de compresión de datos, motivado por la implementación de un broker de Kafka personalizado (MonKafka). La compresión es crucial para optimizar el almacenamiento y la transmisión de datos, ya que reduce el espacio requerido y el tiempo de procesamiento. Existen do
Un desarrollador ha lanzado 'Agent!', una innovadora aplicación nativa para macOS que permite a los usuarios controlar completamente sus Macs utilizando 17 modelos de lenguaje de IA (LLM). La aplicación, disponible en GitHub, integra Apple Intelligence de forma local, automatizando tareas complejas
El uso de modelos de lenguaje grandes (LLM) de código abierto se enfrenta a un desafío significativo: la incompatibilidad en los formatos de llamada de herramientas. Mientras que los modelos cerrados como los de OpenAI ofrecen una integración fluida, los modelos de código abierto requieren que los d
MiniMax ha desarrollado M2.7, un modelo de inteligencia artificial que se ha mejorado a sí mismo de forma autónoma, logrando resultados impresionantes en pruebas de referencia. En un proceso sin intervención humana directa, el modelo analizó sus propios fallos, modificó su código y optimizó su rendi
Un emprendedor, Steve Hanov, ha revelado una estrategia para operar múltiples empresas con un costo técnico mínimo, alrededor de $20 al mes. El enfoque se centra en la eficiencia y el bootstrapping, evitando la búsqueda de financiación externa y la infraestructura costosa típica de las empresas tecn
Unsloth AI ha lanzado Unsloth Studio (Beta), una interfaz de usuario web de código abierto y sin necesidad de programación para entrenar, ejecutar y exportar modelos de IA de código abierto localmente. La herramienta, disponible para Windows, Linux, WSL y MacOS (con soporte limitado para entrenamien
Sarvam AI ha lanzado de forma abierta los modelos de lenguaje Sarvam 30B y Sarvam 105B, diseñados para razonamiento y optimizados para el despliegue eficiente en una amplia gama de hardware, desde GPUs de alto rendimiento hasta dispositivos personales. El entrenamiento se llevó a cabo íntegramente e
Unsloth ha simplificado el proceso de ajuste fino (fine-tuning) de los modelos de lenguaje grandes Qwen3.5, una familia de modelos desarrollada por Alibaba. Ahora, usuarios pueden ajustar versiones de 0.8B a 122B de Qwen3.5, incluyendo soporte para ajuste fino tanto de texto como de visión. Unsloth
Un nuevo asistente de inteligencia artificial de código abierto llamado Omni ha sido lanzado, con el objetivo de revolucionar la búsqueda y la productividad en el entorno laboral. Desarrollado por Getomnico y disponible en GitHub, Omni se conecta a aplicaciones empresariales como Google Drive, Slack
Un nuevo motor de inferencia para modelos de lenguaje grandes (LLM) llamado ZSE ha sido desarrollado para reducir drásticamente los requisitos de memoria, según un anuncio reciente en GitHub. Creado por Zyora-Dev, ZSE permite ejecutar modelos de lenguaje de gran tamaño con una huella de memoria sign
Tinfoil ha presentado Modelwrap, una nueva herramienta para verificar la integridad de los modelos de IA, abordando una preocupación creciente en la industria: la falta de transparencia sobre qué modelos se están ejecutando realmente en las APIs de inferencia. Actualmente, los usuarios a menudo no p
Z.ai ha lanzado GLM-5, un nuevo modelo de razonamiento disponible para su ejecución local. Este modelo supera a su predecesor, GLM-4.7, en tareas de codificación, agentes y chat, y está diseñado para el razonamiento con un contexto extenso, mostrando mejoras significativas en benchmarks como Humanit
Investigadores han desarrollado GLM-OCR, un nuevo modelo de código abierto para el reconocimiento óptico de caracteres (OCR) que alcanza un rendimiento de vanguardia en la comprensión de documentos complejos. Basado en la arquitectura GLM-V encoder-decoder, GLM-OCR incorpora técnicas innovadoras com
Un equipo de investigadores ha presentado ACE-Step v1.5, un modelo de música de código abierto que rivaliza con alternativas comerciales y puede ejecutarse en hardware de consumo. El modelo, disponible en GitHub, Hugging Face y ModelScope, destaca por su eficiencia, generando canciones completas en
Nanobot es un asistente de IA personal de código abierto y ultraligero, inspirado en Clawdbot. Con solo aproximadamente 4,000 líneas de código, es significativamente más pequeño que Clawdbot, lo que lo hace rápido y fácil de usar. Ofrece funcionalidades básicas de agente, incluyendo análisis de merc
Moonshot AI ha lanzado Kimi K2.5, un modelo de lenguaje de código abierto de 1 billón de parámetros que utiliza 'agent swarms' (enjambres de agentes) para tareas complejas, ofreciendo una ejecución 4.5 veces más rápida que los modelos de agente único y capacidades de codificación visual a partir de
