Mistrial es una herramienta de software diseñada para detectar la inestabilidad en los evaluadores de modelos de lenguaje (LLM) utilizados en pipelines de inteligencia artificial. A diferencia de las plataformas de evaluación convencionales que reportan una única puntuación por caso, Mistrial permite reejecutar el evaluador múltiples veces, variando el modelo, las instrucciones o la redacción del criterio, para generar una tarjeta de fiabilidad. Esta herramienta es crucial porque los modelos de IA, al muestrear de una distribución, pueden cambiar su veredicto ante la misma pregunta, lo que invalida la confianza en las decisiones automatizadas de integración continua (CI) o selección de prompts.
El proyecto, disponible en GitHub, ofrece una solución práctica a la falta de métricas de consistencia en el sector. Mientras que la investigación académica ha documentado la baja fiabilidad de estos jueces, Mistrial proporciona métricas estadísticas estándar como el coeficiente kappa y la alfa de Krippendorff, aplicables directamente en entornos de desarrollo. La herramienta analiza casos específicos donde los modelos muestran inconsistencia, como errores en conversiones de unidades o ambigüedades en el texto, y ofrece mecanismos de corrección como puertas de CI o jueces estabilizados. Los datos presentados en la documentación demuestran que los modelos más recientes, como GPT-5.5, muestran una mayor estabilidad que los modelos anteriores, aunque incluso estos últimos presentan variaciones significativas en casos complejos, lo que subraya la necesidad de validar la fiabilidad antes de confiar en las puntuaciones de IA.