Jeff: modelos pequeños de Qwen3.5 para clasificación cero-shot rápida

Fuentes: Jeff: Small Qwen3.5 models for fast zero-shot classification

Jeff es un conjunto de modelos de lenguaje pequeños, basados en Qwen3.5 y Gemma 4, diseñados para la clasificación de cero-shot (sin entrenamiento específico para la tarea). Su objetivo principal es ofrecer decisiones rápidas y bien calibradas entre opciones, integrándose directamente en el código local del usuario sin necesidad de generar texto adicional ni realizar procesos de análisis complejos. El sistema opera mediante una única pasada de inferencia, devolviendo una probabilidad calibrada para cada opción, lo que permite una latencia extremadamente baja: aproximadamente 22 milisegundos en una GPU NVIDIA RTX PRO 6000 y 28 milisegundos en un procesador Apple M4 Max.

A diferencia de los modelos grandes, Jeff no realiza razonamiento profundo, por lo que su precisión en tareas de lógica compleja es inferior a la de herramientas como Jev. Sin embargo, en tareas de clasificación directa, Jeff supera a los modelos no entrenados de Qwen3.5 en varios benchmarks públicos. El proyecto destaca por su enfoque en la privacidad y la localización: el entrenamiento se realiza íntegramente en hardware local, utilizando una GPU RTX PRO 6000 para generar datos sintéticos con un modelo abierto (Qwen3.8-Flash-Next) y sin depender de GPUs en la nube. Los modelos están disponibles en Hugging Face y están diseñados para ser ligeros, permitiendo que los usuarios describan las categorías y las opciones en texto plano, facilitando su adaptación a contextos específicos como colas de soporte, intenciones de usuarios o comandos de voz.