software · 7 menciones
LittleBit-2 es una implementación oficial de la técnica de cuantización de modelos de lenguaje de gran escala (LLM) que permite reducir la precisión de los pesos a menos de un bit, manteniendo la arquitectura original intacta durante la inferencia. Desarrollada por Banseok Lee y Youngmin Kim, esta h
La implementación local de modelos de lenguaje grandes (LLM) ha ganado relevancia por las preocupaciones de privacidad y la necesidad de inferencia on-premise, aunque los costos energéticos en hardware de consumo siguen siendo poco caracterizados. Este artículo presenta un benchmark reproducible de
Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des
Reame es un servidor de inferencia de modelos de lenguaje abierto construido sobre llama.cpp con una premisa clara: tratar el hardware CPU barato —servidores VPS compartidos, máquinas ARM de dos núcleos o incluso el nivel gratuito de Oracle Cloud— como ciudadano de primera clase, no como un recurso
Un nuevo estudio de aprendizaje automático cuestiona uno de los supuestos más asentados del post-entrenamiento de modelos de lenguaje: que los beneficios del aprendizaje por refuerzo (RL) se distribuyen de forma pareja entre todas las capas del transformer. Los autores demuestran que entrenar una ún
Este artículo de investigación, publicado en arXiv, introduce un concepto llamado "Horizonte de Error Cero" (ZEH) para evaluar la fiabilidad de los modelos de lenguaje grandes (LLMs) como GPT-5.2 y Qwen2.5. En esencia, el ZEH define el rango máximo dentro del cual un modelo puede resolver problemas
El campo de la inteligencia artificial, específicamente el aprendizaje automático, ha logrado avances significativos en la capacidad de los modelos de lenguaje para 'razonar'. Tradicionalmente, este razonamiento se ha logrado a través de técnicas de aprendizaje por refuerzo (RL), donde el modelo apr