lorasmith: ajuste fino de LLMs en Rust sin Python ni CUDA

Fuentes: lorasmith: Fine-tune LLMs in Rust without Python or CUDA

lorasmith es una herramienta de software de código abierto que permite ajustar finamente modelos de lenguaje de gran escala (LLM) abiertos utilizando datos propios, eliminando la dependencia de Python, CUDA y entornos Docker pesados. Desarrollada en Rust, esta herramienta se distingue por su capacidad para ejecutar el entrenamiento en cualquier GPU o incluso en CPU, integrando soporte para Vulkan, Metal, DirectX 12 y wgpu. A diferencia de las soluciones tradicionales que requieren múltiples bibliotecas de Hugging Face y versiones específicas de PyTorch, lorasmith se construye sobre la librería Burn y genera archivos compatibles con Hugging Face, vLLM, Ollama y llama.cpp, facilitando la interoperabilidad inmediata con el ecosistema actual de inferencia.

El proyecto ofrece una interfaz de línea de comandos simplificada que permite iniciar el entrenamiento con un solo comando, como 'lorasmith train qwen2.5:0.5b my-data.jsonl'. La herramienta soporta tanto el entrenamiento estándar de LoRA como la optimización QLoRA, esta última reduciendo la memoria GPU necesaria al mantener el modelo en 4 bits durante el proceso. Los benchmarks proporcionados indican que, en un sistema con 4 GB de memoria VRAM, el entrenamiento de un modelo de 0.5B en 40 pasos puede completarse en aproximadamente 1 minuto y 35 segundos, mientras que la versión QLoRA reduce el pico de memoria a 1.8 GB. La herramienta incluye opciones avanzadas para el ajuste fino de parámetros, como el tamaño del lote, la tasa de aprendizaje y el rango de LoRA, además de la posibilidad de exportar el modelo final en formatos GGUF para su uso local. Actualmente, el proyecto se encuentra en fase temprana, con pruebas realizadas principalmente en Linux y CPU, aunque se espera la expansión a macOS y Windows a través de wgpu.