El proyecto LocalLLaMA/typed-decisions ofrece un conjunto de datos estructurado para el entrenamiento y evaluación de modelos de lenguaje en tareas de observabilidad de agentes de inteligencia artificial. Este recurso, alojado en Hugging Face, contiene trazas de ejecución detalladas que permiten a los desarrolladores analizar el comportamiento de agentes autónomos en entornos de producción. El dataset está diseñado para evaluar la capacidad de los sistemas de monitoreo para tomar decisiones informadas sobre la gestión de trazas, como determinar si un agente debe continuar, pausarse, ser revisado por humanos o detenerse por completo.
La estructura de los datos incluye campos específicos para el modelo de agente, sus restricciones operativas, el resumen de la ejecución y las decisiones tomadas. Cada entrada registra la confianza del sistema en cada decisión, las probabilidades asociadas a cada opción y métricas de riesgo y urgencia. Por ejemplo, se incluyen casos donde un agente intenta eliminar datos personales o reducir el tiempo de ejecución de tareas nocturnas, con indicadores de violación de restricciones y errores de herramientas. Este enfoque probabilístico permite a los evaluadores medir la variabilidad en las decisiones del sistema y la coherencia entre las acciones del agente y las recomendaciones del observador. El dataset es particularmente útil para equipos de ingeniería que buscan mejorar la seguridad y la transparencia en el despliegue de agentes de IA, proporcionando una base de datos para calibrar modelos que deben supervisar operaciones críticas sin intervención humana directa.