local-enough es una herramienta de línea de comandos diseñada para evaluar la viabilidad técnica y económica de ejecutar tareas de inteligencia artificial en entornos de oficina sin depender de la nube. Su objetivo principal es determinar si un modelo local puede cumplir con los estándares de calidad requeridos, midiendo métricas precisas como la precisión frente a etiquetas de referencia, la latencia en percentiles 50 y 95, y el coste por mil tareas, incluyendo el amortiguamiento del hardware y la energía. El sistema compara modelos locales, como los de Apple Silicon, con modelos en la nube, utilizando un enrutador compatible con la API de OpenAI que dirige cada solicitud al modelo más económico que cumpla con el umbral de calidad establecido, escalando a modelos de frontera solo cuando sea necesario.
La herramienta se integra en flujos de trabajo existentes mediante un enrutador que actúa como una capa de decisión, evitando enviar tareas que deben permanecer localmente a endpoints en la nube. En un benchmark de referencia realizado con un Mac Studio M4 Max, el sistema demostró que el modelo local de Qwen2.5-1.5B alcanzó una precisión del 95% en la tarea de coincidencia de entidades, superando a las líneas base no neuronales, aunque no cumplió con el umbral de calidad en la redacción de datos personales (PII), lo que impidió su uso en esa tarea específica. El proyecto incluye una infraestructura de medición robusta, con pruebas de estrés de 20 minutos y control de costes mediante un libro mayor de llamadas a API, permitiendo a los desarrolladores tomar decisiones informadas sobre la arquitectura de sus sistemas de IA.
