Esta herramienta permite ejecutar modelos de lenguaje de gran escala (LLM) directamente en el navegador del usuario, facilitando la comparación entre dos métodos de obtención de probabilidades de decisión. El sistema opera en modo local, utilizando GPUs del equipo para procesar modelos como MiniCPM5 2B, Qwen3 0.6B y Qwen3.5 4B, sin que los datos salgan del dispositivo. La herramienta ofrece dos rutas de ejecución: una que lee directamente los logits de las opciones proporcionadas mediante normalización softmax, y otra que genera un texto JSON token por token para simular la misma distribución. El objetivo es medir la discrepancia entre la lectura directa de probabilidades y la generación de texto, permitiendo al usuario evaluar el rendimiento y la precisión de diferentes modelos según su hardware disponible. Los modelos están cuantizados para optimizar el uso de memoria, con pesos alojados en Hugging Face y cargados en la caché del navegador. La primera carga puede tardar varios minutos dependiendo de la red y el modelo seleccionado. Esta herramienta es útil para desarrolladores e investigadores que necesitan probar la consistencia de las probabilidades de decisión en entornos de inferencia local, sin depender de APIs externas o servicios en la nube.
Noticias agregadas con IA