jevchat es una herramienta de software que transforma la API de Jev, un modelo de lenguaje de TypeSafe, en un chatbot funcional. El sistema opera mediante un proceso de muestreo secuencial: en cada paso, la herramienta consulta a Jev qué símbolo debe seguir, presentando un alfabeto de opciones y una opción de detención. Jev devuelve una probabilidad para cada símbolo, y el sampler extrae el siguiente carácter de esa distribución normalizada, permitiendo generar texto de forma incremental.
El proyecto, descrito como un experimento divertido con costes prácticos elevados, fue implementado con la ayuda de Claude. La herramienta ofrece múltiples estrategias de muestreo y alfabetos, permitiendo a los usuarios explorar la generación de texto mediante diferentes algoritmos. La instalación requiere configurar una clave de API en un archivo .env y se ejecuta mediante Poetry. La interfaz muestra en tiempo real la tasa de generación, el tiempo de espera y las probabilidades de los símbolos en el último paso.
jevchat incluye comandos específicos para gestionar la generación, como /help, /alphabet y /stop-bias. Una mejora técnica significativa es el uso de la presentación 'hypothesis', donde las opciones son textos completos en lugar de símbolos individuales. Esto permite que Jev evalúe cadenas terminadas, mejorando la precisión de la generación en alfabetos de caracteres, triplicando la probabilidad de aciertos en el primer intento y reduciendo el consumo de tokens de entrada. El proyecto también incluye una suite de pruebas unitarias offline y una herramienta de benchmark para comparar diferentes modos de muestreo.