SelfJev: modelo de decisión autoalojado con API compatible con Jev

Fuentes: SelfJev: Self-hosted decision model with Jev-compatible API

SelfJev es una herramienta de software autoalojada que convierte textos y preguntas en decisiones ejecutables por código, ofreciendo una API compatible con el framework Jev. El proyecto, centrado en el modelo selfjev-4b, permite a los desarrolladores desplegar un servidor de IA en su propia infraestructura, eliminando la dependencia de la nube. La herramienta utiliza un modelo de 4 mil millones de parámetros basado en Qwen3.5-4B con un adaptador LoRA de rango 64, optimizado para reutilizar cálculos de documentos mediante una estructura de árbol de prefijos compartido.

El sistema ofrece cuatro tipos de respuestas: Noul (probabilidad binaria), Choice (elección única), Score (posición en escala) y Multi (múltiples selecciones). Esto permite tareas como identificar la intención de un cliente, evaluar respuestas de IA contra criterios de política o aplicar reglas de elegibilidad. La instalación requiere un entorno Linux con GPU NVIDIA y Python 3.12+, aunque ofrece versiones cuantizadas de 4 y 8 bits para hardware limitado, como tarjetas RTX 4060, que reducen el consumo de memoria a aproximadamente 3.3 GB y 10 GB respectivamente.

En términos de rendimiento, SelfJev-4B alcanza una precisión del 95.7% en decisiones de texto y del 93.1% en la revisión de respuestas de IA, superando ligeramente a Jev en tareas de desarrollo. El proyecto incluye un SDK de Python, documentación de API y benchmarks de evaluación, facilitando su integración en aplicaciones existentes como el SDK de TypeSafe. La arquitectura soporta tanto el servidor TreeServer como el backend vLLM, adaptándose a diferentes cargas de trabajo y configuraciones de hardware.