Jevstiller: un modelo local que replica el 98% de las respuestas de Jev

Jevstiller es una herramienta de software que permite a los desarrolladores reemplazar llamadas de API a la plataforma Jev con un modelo de lenguaje local, manteniendo un 98% de la precisión en tareas de clasificación. El sistema opera bajo un contrato estricto: el modelo local debe responder al menos el 98% de las solicitudes que Jev procesaría, garantizando que la tasa de desacuerdo con las respuestas de Jev no supere el 2% de las peticiones totales. A diferencia de las herramientas convencionales que dependen de umbrales de confianza fijos, Jevstiller utiliza un enfoque estadístico riguroso basado en el límite de Clopper-Pearson para asegurar que el presupuesto de error se cumpla con una probabilidad de al menos 95% en cada versión del modelo. El proceso implica calibrar el modelo local con un conjunto de datos de referencia, seleccionar una cuadrícula de umbrales de confianza y detenerse en el umbral más estricto que cumpla la condición de desacuerdo, evitando así la selección de umbrales laxos que suelen fallar en el despliegue real. Además, el sistema integra la confianza de Jev en el proceso de calibración, permitiendo que las respuestas de Jev con baja confianza se traten como inciertas y se envíen de nuevo a la API original si el umbral de confianza del usuario lo permite. Esta metodología asegura que el modelo local no solo sea rápido (respondiendo en unos 15 ms en CPU), sino también fiable en términos de acuerdo con la fuente original, eliminando la necesidad de mantener una conexión constante a la red para tareas de clasificación en tiempo real.