AutoSynthData es una herramienta desarrollada por ServiceNow CoreAI diseñada para generar datos de entrenamiento específicos para agentes de inteligencia artificial en entornos corporativos. Su objetivo principal es resolver la dificultad de convertir las debilidades de un modelo en tareas de entrenamiento útiles, asegurando que estas sean factibles, realistas y verificables dentro de los sistemas específicos de la empresa.
El sistema opera mediante un enfoque curricular dinámico. Primero, evalúa el modelo objetivo en el entorno de la empresa para identificar patrones de fallo. Luego, utiliza un modelo 'maestro' más fuerte para caracterizar qué tareas son resolvibles y cómo se deben ejecutar correctamente. Esta información se distila en 'tarjetas de especificación de capacidades' que describen las limitaciones del modelo objetivo sin revelar los prompts originales ni los detalles de verificación.
Con estas especificaciones, AutoSynthData genera nuevas tareas en dos fases: una fase de objetivo que crea un conjunto central de muestras validadas, y una fase de multiplicación que expande el conjunto creando variantes novedosas. Este proceso garantiza que las tareas ejercen las capacidades débiles del modelo actual, proporcionando señales de entrenamiento robustas. La herramienta se ilustra mediante el uso de EnterpriseOps Gym, un entorno de prueba, y su dataset se ha publicado en Hugging Face para facilitar su adopción por parte de equipos de ingeniería de IA en entornos empresariales.