Astro-weights es una librería de software de código abierto diseñada para realizar correcciones pequeñas y dirigidas en los pesos de modelos de lenguaje de gran escala (LLM) de código abierto. Su objetivo principal es permitir que un agente de inteligencia artificial proponga ediciones de bajo rango en el espacio de pesos, seleccionando aquellas que superen pruebas de comparación para exportarlas como adaptadores LoRA estándar. Esta aproximación es relevante porque el formato LoRA es universalmente compatible con las pila de servicio actuales, como transformers, PEFT, vLLM y llama.cpp, lo que permite a los desarrolladores cargar y aplicar estas correcciones sin necesidad de un tiempo de ejecución personalizado o una infraestructura de despliegue compleja.
La versión 0.0.9, disponible en PyPI, cubre el núcleo de edición, incluyendo la construcción de ediciones de bajo rango, la exportación y carga de adaptadores LoRA, la aplicación a modelos de transformers y estadísticas de evaluación emparejadas. La librería soporta direcciones de diferencia de medias con una puerta de mitad dividida. El proceso técnico implica generar una edición de rango 1 usando NumPy, guardarla como un adaptador LoRA y verificarla antes de aplicarla a un modelo. Una característica clave es la capacidad de aplicar estas correcciones a modelos de transformers, incluso cuando las capas tienen nombres diferentes en cargas de texto solo o multimodal, manteniendo la integridad de los pesos base al eliminar el adaptador. El proyecto se encuentra en fase pre-alfa y su API está sujeta a cambios sin aviso hasta la versión 1.0. La instalación requiere el paquete 'astro-weights' junto con las dependencias adicionales para el entorno de Hugging Face, y la documentación incluye guías para contribuir y citar la herramienta.
