Cerebras implementa inferencia descompuesta para triplicar la velocidad de tokens

Cerebras ha desplegado su solución de inferencia descompuesta (disaggregated inference) en producción, una arquitectura que separa el procesamiento de prompts de la generación de tokens para optimizar la velocidad de respuesta. Este sistema combina GPUs de AMD Instinct para la preprocesamiento de en

cerebras disaggregated inference amd instinct cs-3 cs-4

Malleus: motor de inferencia de LLM en Rust para AMD RDNA 3.5

Malleus es un motor de inferencia de modelos de lenguaje de gran escala (LLM) de código abierto desarrollado en Rust y optimizado específicamente para las unidades de procesamiento gráfico (APU) AMD RDNA 3.5, modelos gfx1150 (Strix Point) y gfx1151 (Strix Halo). Su objetivo principal es maximizar la

malleus amd rdna 3.5 rust hip llm inference

Herramienta de Python para evaluar agentes de código en entornos aislados

El proyecto agent-harness presenta un marco de trabajo en Python de aproximadamente 375 líneas de código, diseñado para ejecutar agentes de programación en entornos aislados (sandbox) y evaluar su capacidad para corregir errores en modelos de lenguaje locales. La herramienta integra un bucle de herr

agent-harness coding agent sandbox gpt-oss-20b qwen3-14b

llm-egress-watch monitoriza conexiones de LLMs locales a internet

llm-egress-watch es una herramienta de línea de comandos para Linux que registra y analiza las conexiones de red establecidas por motores de modelos de lenguaje locales (LLM) y agentes de IA. A diferencia de las afirmaciones de que el software funciona localmente, esta utilidad verifica si los proce

llm-egress-watch linux bpftrace ollama vllm

Astro-weights: edición de pesos de LLMs mediante agentes y LoRA

Astro-weights es una librería de software de código abierto diseñada para realizar correcciones pequeñas y dirigidas en los pesos de modelos de lenguaje de gran escala (LLM) de código abierto. Su objetivo principal es permitir que un agente de inteligencia artificial proponga ediciones de bajo rango

astro-weights lora llm transformers peft

IBM lanza Granite-4.1-8B con soporte para LLMON

IBM ha publicado en Hugging Face el modelo de lenguaje ibm-granite/granite-4.1-8b-llmon-preview, una variante experimental de 8.000 parámetros diseñada para procesar instrucciones mediante el formato LLMON (LLM Object Notation) en lugar de plantillas de chat convencionales. Este modelo, lanzado el 1

ibm granite-4.1-8b-llmon-preview llmon hugging face transformers

Guía técnica para ejecutar GLM-5.3 en dos estaciones NVIDIA DGX

Este tutorial técnico detalla el procedimiento para desplegar el modelo de lenguaje GLM-5.3 NVFP4, con 753.000 millones de parámetros, en un entorno local utilizando dos estaciones NVIDIA DGX conectadas mediante RDMA. El objetivo es permitir la inferencia de modelos de frontera que exceden la memori

nvidia glm-5.3 vllm dgx station tensor parallelism

GPUWorks: plataforma ligera para gestionar aceleradores en la nube

GPUWorks es una plataforma de gestión de GPU y Model-as-a-Service (MaaS) de ultra bajo peso, diseñada para simplificar la orquestación de modelos de inteligencia artificial en entornos heterogéneos. Su principal característica es la ligereza: el plano de control y la interfaz web se distribuyen en u

gpuworks gpu management model-as-a-service nvidia amd

llama-sleep reduce el cambio de modelos LLM a 1,7 segundos

llama-sleep es una herramienta de software de código abierto que optimiza la gestión de modelos de lenguaje grandes (LLM) en entornos con una sola GPU, reduciendo el tiempo de cambio entre modelos de 10,3 a 1,7 segundos. A diferencia de los métodos tradicionales que detienen y reinician los procesos

llama-sleep llama.cpp llama-swap nvidia cuda

Tether AI Research lanza BotPsy, un asistente local de 0.8B parámetros

Tether AI Research ha presentado BotPsy, un modelo de lenguaje de 0.8 mil millones de parámetros diseñado para funcionar como asistente personal en dispositivos locales. Esta herramienta, construida sobre la base de Qwen3.5-0.8B, está optimizada para tareas de bajo a medio nivel de dificultad, como

botpsy tether ai research qwen3.5-0.8b on-device ai llama.cpp

Guía técnica para ejecutar Qwen3.8 localmente con Unsloth

Qwen3.8-27B es un modelo de lenguaje denso de 27.000 millones de parámetros que integra capacidades de visión y razonamiento, con una ventana de contexto de 256.000 tokens. Este modelo está diseñado para ejecutarse localmente en equipos con 17 GB de memoria VRAM o RAM, lo que lo hace accesible para

qwen3.8 unsloth llama.cpp gguf local ai

websec-lab-agent: agente LLM autónomo para resolver laboratorios de seguridad web

websec-lab-agent es una herramienta de software diseñada para automatizar la resolución de los laboratorios de la Web Security Academy de PortSwigger mediante agentes de lenguaje de gran escala (LLM). El sistema opera bajo un bucle ReAct (Thought-Action-Observation) y está diseñado para funcionar de

websec-lab-agent portswigger web security academy react agent llm

lorasmith: ajuste fino de LLMs en Rust sin Python ni CUDA

lorasmith es una herramienta de software de código abierto que permite ajustar finamente modelos de lenguaje de gran escala (LLM) abiertos utilizando datos propios, eliminando la dependencia de Python, CUDA y entornos Docker pesados. Desarrollada en Rust, esta herramienta se distingue por su capacid

lorasmith rust llm lora qllora

Yasakani: motor local de LLM para RTX 5090 optimizado para Qwen3.8-27B

Yasakani es un motor de lenguaje de gran escala (LLM) de código abierto, licenciado bajo Apache 2.0, diseñado específicamente para ejecutar el modelo Qwen3.8-27B en equipos con una sola tarjeta gráfica NVIDIA RTX 5090. Desarrollado por un individuo en Japón, la herramienta ofrece un rendimiento supe

yasakani qwen3.8-27b nvidia rtx 5090 llm engine local llm

Lightreason optimiza la inferencia local de Qwen en RTX 4090

Lightreason es un laboratorio de inferencia local y una herramienta interactiva diseñada para acelerar el procesamiento de modelos de lenguaje de Qwen en una única GPU RTX 4090. El proyecto se centra en mejorar el rendimiento utilizando pesos BF16 originales de Qwen2.5-3B-Instruct (3.09B parámetros)

lightreason qwen rtx 4090 cuda nvidia

llmtee: proxy autoalojado para monitorizar costes de LLM

llmtee es un proxy autoalojado escrito en Go que actúa como intermediario entre los clientes de aplicaciones y las APIs de modelos de lenguaje de gran escala (LLM), como las de OpenAI, Anthropic, OpenRouter, Ollama, vLLM y Groq. Su función principal es permitir a los usuarios individuales y equipos