Un nuevo método llamado 'Golden Sets' busca mejorar la evaluación y el control de calidad en sistemas de inteligencia artificial, especialmente aquellos con comportamiento probabilístico. Según Ryan Setter, de heavythoughtcloud.com, los 'Golden Sets' no son simples conjuntos de datos, sino colecciones versionadas de casos de prueba que incluyen criterios de evaluación explícitos y umbrales de aceptación. Estos conjuntos sirven como 'compuertas' para prevenir regresiones de calidad que podrían generar problemas costosos en producción.
La metodología aborda la problemática de que los sistemas de IA son propensos a regresiones sutiles que pueden pasar desapercibidas. Los 'Golden Sets' ayudan a determinar si un cambio en el sistema (como una actualización de modelo o una modificación en la recuperación de información) ha mejorado, empeorado o simplemente cambiado el comportamiento del sistema. Cada caso incluye elementos como la entrada, restricciones, resultados esperados, aserciones y metadatos que indican qué aspecto del sistema está siendo probado.
El objetivo es detectar problemas antes de que lleguen a los clientes o a los equipos de soporte, evitando así descubrimientos tardíos y costosos. La implementación de 'Golden Sets' es vista como un contrato de ingeniería, no solo como una formalidad, y se recomienda su uso en cualquier flujo de trabajo con consecuencias en producción.