Living Weights es una herramienta técnica diseñada para permitir a los modelos de lenguaje de gran escala (LLM) retener hechos específicos en sus parámetros internos, incluso después de reiniciar la sesión. A diferencia de la generación de texto en contexto, que depende de la memoria temporal del prompt, Living Weights implementa un mecanismo de aprendizaje explícito que modifica la estructura del modelo para que un hecho enseñado persista y sea accesible sin necesidad de la conversación original. El sistema, desarrollado por Ash Hart y disponible en la versión 1.0.7, funciona con modelos Nemotron 3.5 Lightning en Macs y DGX Spark, reservando un 'bolsillo' de 64 neuronas adicionales en las capas de mezcla de expertos (MoE) para almacenar esta información.
El funcionamiento se basa en la expansión de neuronas: el sistema asigna nuevas neuronas con vectores de entrada y salida específicos para activar solo en los casos donde el hecho es relevante, evitando interferencias con otras respuestas. Este enfoque se distingue de técnicas como el fine-tuning o la generación de texto en contexto, ya que no requiere optimizar todos los parámetros del modelo, sino añadir capacidad de entrenamiento localizada. El proceso incluye una fase de verificación donde el sistema evalúa la recuperación del hecho y la ausencia de cambios en respuestas no afectadas, utilizando objetivos de pérdida como el squared-hinge para separar las activaciones correctas de las incorrectas. Los pesos aprendidos se guardan en los shards safetensors del modelo, aumentando ligeramente el ancho de las capas compartidas (de 3,712 a 3,776 neuronas en el caso de Nemotron 3.5 Lightning) y manteniendo la compatibilidad con los cargadores estándar. Esta herramienta ofrece una solución práctica para la edición de modelos locales, permitiendo a los usuarios enseñar hechos específicos con progreso visible y verificación técnica, aunque no garantiza la superioridad absoluta frente a otros métodos de edición de modelos como ROME o Transformer-Patcher.