Herramienta evalúa el rendimiento de agentes de IA

Desarrolladores ahora tienen una nueva herramienta llamada agent-skills-eval para probar y validar la efectividad de las 'Skills' de Agent Skills, un estándar abierto de Anthropic para dotar a los agentes de conocimiento específico. La herramienta funciona comparando la salida del modelo con y sin la 'Skill' cargada, utilizando un modelo 'judge' para evaluar ambas salidas y generar un informe comparativo. Esto permite a los desarrolladores verificar empíricamente si una 'Skill' realmente mejora el rendimiento del modelo en una tarea específica, proporcionando evidencia tangible de su impacto. agent-skills-eval es compatible con diversos modelos y plataformas, incluyendo OpenAI, Groq, Llama y se puede integrar fácilmente en flujos de trabajo de CI/CD. La herramienta genera informes HTML estáticos con detalles completos de las evaluaciones, incluyendo métricas de rendimiento, razonamiento del 'judge' y comparaciones lado a lado. Además, ofrece una API en TypeScript para integraciones más complejas y la posibilidad de crear 'providers' personalizados para interactuar con diferentes modelos y APIs.