11 noticias
WebLLM es un motor de inferencia de modelos de lenguaje de gran tamaño que ejecuta la carga de trabajo directamente en el navegador web, sin necesidad de servidor, gracias a la aceleración por hardware mediante WebGPU. El proyecto, publicado como repositorio de código abierto por MLC AI, ofrece una
Slotstream es una herramienta experimental para ejecutar Qwen3.8-Flash-Next en equipos Mac con mucha menos memoria de la que ocupa el modelo. El original, cuantizado a 4 bits, pesa 103,8 GB y se divide en 24 archivos. En lugar de cargarlo por completo, la aplicación almacena en memoria una selección
Experiential es un gateway y enrutador de código abierto pensado para flujos de trabajo con agentes de inteligencia artificial. Funciona como una capa de control única que ofrece una API compatible con OpenAI para consumir tanto modelos alojados como modelos locales o personalizados, ya sea mediante
FAAAH (Filesystem As An AI Handler) es una herramienta de código abierto que actúa como proxy local compatible con la API de OpenAI y permite reutilizar la suscripción de un agente de programación con IA —como Claude Code u opencode— para alimentar otras aplicaciones que esperan el formato OpenAI. S
Homebench es una herramienta de línea de comandos con interfaz TUI que evalúa de forma unificada los modelos de lenguaje grandes (LLMs) ejecutados en local. Detecta automáticamente los modelos instalados en runners como Ollama, LM Studio, llama.cpp, vLLM o cualquier servidor compatible con la API de
Tokenless es un enrutador de modelos de lenguaje presentado como sustituto directo de las llamadas a las API de OpenAI y Anthropic. Su propuesta consiste en enviar cada petición a varios modelos en paralelo, supervisar sus respuestas en tiempo real y cancelar los que no llevan ventaja, de modo que e
Deltafin es un proyecto de investigación de código abierto que permite ejecutar Kimi K3, un modelo de lenguaje de tipo Mixture-of-Experts con 2,8 billones de parámetros, en un único Mac con chip Apple Silicon. La clave está en que, en un modelo MoE, solo una pequeña fracción de los pesos se activa p
Hetzner, proveedor alemán de infraestructura en la nube conocido por sus precios agresivos, ha puesto en marcha un experimento de inferencia de modelos de lenguaje grandes. El servicio, accesible desde el panel Experiments, ofrece una API compatible con OpenAI y, por ahora, un único modelo: Qwen3.6-
Ramp presenta Router: un enrutador inteligente de modelos de lenguaje que reduce costes hasta un 30% en producción La fintech estadounidense Ramp ha presentado oficialmente Ramp Router, una herramienta de enrutamiento de modelos de lenguaje (LLM) diseñada para optimizar automáticamente el coste, la
vLLM Semantic Router plantea que la siguiente capa clave en la inferencia de IA no es el modelo frontera, sino el router que tiene delante. Un router puede reducir costes eligiendo el modelo adecuado para cada petición, aplicar políticas de seguridad enviando dominios sensibles a modelos más estrict
mnemo es una capa de memoria local diseñada para dotar a los modelos de lenguaje de gran tamaño (LLM) de memoria persistente sin depender de servicios en la nube. Funciona como un servicio "sidecar" que observa cada conversación, extrae entidades nombradas y relaciones mediante un LLM, construye un
