33 noticias
El laboratorio ISTA-DASLab del Instituto de Ciencia y Tecnología de Austria ha publicado un repositorio que ofrece cuantizaciones no uniformes del modelo DeepSeek-V4.1-Flash-1017 utilizando los métodos GSQ y RCO. Este proyecto permite reducir el tamaño de los archivos GGUF manteniendo la precisión d
Los modelos de lenguaje de difusión (DLM) presentan desafíos únicos en la cuantización debido a su proceso iterativo de eliminación de ruido. Un nuevo estudio revela que la sensibilidad a la cuantización varía según la tarea y el paso temporal, con diferentes niveles de precisión requeridos en cada
NVIDIA ha publicado en Hugging Face el modelo Qwen3.8-Flash-Next-FP4-Local, una versión cuantizada del modelo de lenguaje de Alibaba que está optimizada específicamente para hardware de IA local. Este checkpoint ocupa aproximadamente 96 GiB de disco y está diseñado para ejecutarse en GPUs NVIDIA, co
Specter es un sistema de inferencia diseñado para acelerar los modelos de mezcla de expertos (MoE) en hardware con una sola GPU. Su objetivo principal es resolver la limitación de memoria de estos modelos, que suelen exceder la capacidad de un solo acelerador, mediante la combinación de la decodific
vramkit es una herramienta de código abierto diseñada para reducir el consumo de memoria VRAM durante la inferencia de modelos de lenguaje grandes (LLM). El proyecto, desarrollado y validado íntegramente en un MacBook con Apple Silicon, ofrece dos técnicas principales: un codificador de pesos sin pé
El proyecto Lowaltitudeflight/local-llm-tuning-guide ofrece una biblioteca de decisiones para desplegar modelos de lenguaje de gran escala (LLM) en máquinas multi-GPU sin conexión NVLink. La herramienta aborda la realidad de la mayoría de las inferencias autoalojadas, que utilizan GPUs como RTX 4090
llm-inference-bench es una plataforma de código abierto diseñada para evaluar el rendimiento de modelos de lenguaje de gran escala (LLM) en entornos autoalojados. Su objetivo principal es proporcionar métricas técnicas precisas y reproducibles para demostrar la viabilidad de despliegues de producció
open_rknpu2_lm_infer es un motor de inferencia de modelos de lenguaje de gran escala (LLM) de código abierto diseñado específicamente para la unidad de procesamiento neuronal (NPU) RK3588. Su objetivo principal es superar las limitaciones de rendimiento y precisión de los SDK comerciales de los fabr
Este documento técnico detalla el proceso de tuning para la inferencia local de modelos de lenguaje en la GPU AMD Instinct MI50 (gfx906), un dispositivo de 32 GB con refrigeración pasiva. El objetivo principal es maximizar el rendimiento en cargas de trabajo específicas, como nodos de n8n, mediante
El proyecto ESP32s3-LLM-Cluster implementa un motor de inferencia distribuido que ejecuta un modelo de lenguaje de 0.5B parámetros en un clúster de siete microcontroladores ESP32-S3. La arquitectura utiliza una cadena de encaje (daisy-chain) de alta velocidad mediante SPI para distribuir la carga de
vLLM es una biblioteca de código abierto diseñada para la inferencia y el servicio de modelos de lenguaje de gran escala (LLM). Desarrollada originalmente en el Sky Computing Lab de la Universidad de California en Berkeley, esta herramienta se ha convertido en uno de los proyectos de IA más activos,
Quesma Blog publica un análisis exhaustivo sobre cómo afecta la cuantización al rendimiento del modelo Qwen3.8 27B en distintas tareas. El modelo completo en BF16 ocupa 55 GB de VRAM, fuera del alcance de la mayoría del hardware de consumo. Los experimentos, ejecutados con llama.cpp sobre GPUs alqui
Cerebras Inference detalla en su documentación oficial el catálogo de modelos disponibles en sus endpoints públicos, así como las técnicas de compresión que aplica —y las que no— a los modelos de código abierto que aloja. La compañía aclara que no ofrece modelos podados (pruned) en sus endpoints com
La inferencia de modelos de lenguaje (LLM) se gobierna por una frontera eficiente que resume los compromisos entre latencia, rendimiento y coste, un concepto que la industria de la IA tomó prestado de la economía y que mide hasta dónde se puede llegar en capacidad a un coste dado. Este artículo expl
Muchos usuarios instalan un modelo de lenguaje local, a menudo en una versión cuantizada, y comprueban decepcionados que rinde peor de lo prometido en los benchmarks originales. Esta brecha se explica porque cada combinación de hardware y software introduce pequeñas variaciones que alteran los cálcu
shoehorn es una herramienta de línea de comandos y aplicación web local que ajusta la cuantización de modelos de lenguaje al hardware disponible en lugar de recurrir a presets genéricos. Su propuesta central parte de un problema concreto: las cuantificaciones predefinidas obligan a elegir entre malg
La cuantización es una técnica de compresión que reduce el número de bits necesarios para representar los parámetros de un modelo de lenguaje grande (LLM), normalmente almacenados en punto flotante de 32 bits (FP32), a formatos de menor precisión como FP16, BF16 o enteros de 8 bits (INT8). El objeti
INT8 ConvRot es un nuevo método de modelado y cuantización para modelos de IA que llega integrado de forma nativa en ComfyUI a partir de la versión 0.27.0, publicada el 1 de julio de 2026. Se perfila como el nuevo estándar para los modelos cuantizados a 8 bits y está sustituyendo en la práctica a lo
El desarrollador slvDev ha publicado en GitHub el proyecto esp32-ai, un modelo de lenguaje de 28,9 millones de parámetros capaz de generar texto directamente sobre un microcontrolador ESP32-S3, un chip de bajo costo —alrededor de 8 dólares— sin enviar datos a ningún servidor externo. El sistema escr
Picchio es una herramienta de un solo archivo en Python que mide el rendimiento de modelos de lenguaje grandes ejecutados en local con llama.cpp u Ollama. Su propósito es destapar tres fallos habituales en las mediciones que publican los usuarios: cuantizaciones mal etiquetadas, caídas silenciosas a
El equipo de humans& presenta una receta de aprendizaje por refuerzo (RL) en precisión NVFP4 de 4 bits, desarrollada en colaboración con RadixArk y NVIDIA, que logra mantener la dinámica de entrenamiento en alta precisión y, al mismo tiempo, aprovechar los aumentos de throughput que ofrece el hardwa
JAX trabaja de forma natural con arrays y, cuando se necesitan datos agregados, ofrece los pytrees como mecanismo estándar para empaquetar varios arrays en una sola estructura que el sistema aplana y reconstruye de forma transparente. Sin embargo, hay casos en los que esa transparencia resulta contr
El autor documenta cómo dotó a su blog estático de búsqueda semántica enteramente en el cliente, sin servidor ni API externas. La motivación era cerrar la brecha entre una búsqueda por palabras clave que entiende poco y corre en cualquier sitio, y una búsqueda semántica potente pero incapaz de ejecu
> **TL;DR.** Tencent presentó el 6 de julio de 2026 **Hunyuan Hy3**, un MoE de **295B parámetros totales** con **21B activos** por token (192 expertos, top-8), contexto de **256K**, licencia **Apache 2.0** y pesos ya descargables en Hugging Face en BF16 y FP8. El laboratorio lo posiciona como *agent
GPT2-BASIC es un runtime de transformer y asistente local implementado en BASIC para máquinas de clase DOS, compilado con FreeBASIC y verificado en QEMU. No es un frontend web ni un envoltorio de API: carga artefactos de modelo desde disco, ejecuta inferencia tipo GPT con aritmética entera de punto
La cuantización entera se ha convertido en una técnica clave para ejecutar modelos de lenguaje grandes en hardware de consumo: lo que hace apenas unos años requería GPU de varios gigabytes para un modelo de 7.000 millones de parámetros en INT8, hoy permite cargar un modelo de 70.000 millones en 4 bi
Kimchi Reader, una herramienta de aprendizaje de coreano por inmersión, necesitaba desambiguar lemas en libros completos de forma rápida y precisa. El desarrollador encaró el reto con un modelo KoELECTRA-small de 14 millones de parámetros, cuantizado a int8 y ejecutado íntegramente en CPU mediante u
Las redes neuronales Kolmogorov-Arnold (KAN) combinan de forma natural con las tablas de consulta (LUT) de las FPGA, los dispositivos de lógica digital reconfigurable que ejecutan redes neuronales directamente como circuitos, no como instrucciones secuenciales. Este artículo explica, de forma didáct
En el procesamiento de imágenes, al convertir valores enteros de 8 bits a coma flotante surge una duda recurrente: ¿conviene dividir entre 255 o entre 256 con un sesgo de 0,5? El artículo examina ambas fórmulas — `x/255` y `(x+0.5)/256` — y compara sus consecuencias prácticas. La fórmula estándar `
Un desarrollador ha presentado una nueva técnica de compresión de modelos de lenguaje grandes (LLM) llamada TQ4_1S, diseñada específicamente para dispositivos Apple con chips Metal. Esta técnica reduce el tamaño de los modelos en un 27-38%, dependiendo del modelo, sin necesidad de reentrenamiento ni
Unsloth ha lanzado Dynamic 2.0 GGUFs, una actualización significativa de su método de cuantización para modelos de lenguaje grandes (LLMs). Esta nueva versión supera a otros métodos de cuantización líderes, estableciendo nuevos puntos de referencia en pruebas MMLU y KL Divergence, lo que permite a l
Un nuevo motor de inferencia para modelos de lenguaje grandes (LLM) llamado ZSE ha sido desarrollado para reducir drásticamente los requisitos de memoria, según un anuncio reciente en GitHub. Creado por Zyora-Dev, ZSE permite ejecutar modelos de lenguaje de gran tamaño con una huella de memoria sign
Z.ai ha lanzado GLM-5, un nuevo modelo de razonamiento disponible para su ejecución local. Este modelo supera a su predecesor, GLM-4.7, en tareas de codificación, agentes y chat, y está diseñado para el razonamiento con un contexto extenso, mostrando mejoras significativas en benchmarks como Humanit
