El artículo de ChecklyHQ detalla el desarrollo de 'Rocky AI', un agente de inteligencia artificial diseñado para automatizar el análisis de fallos en pruebas de software, específicamente en el contexto de su plataforma de monitoreo. El objetivo principal no era simplemente integrar una funcionalidad de chat con IA, sino resolver un problema específico y repetitivo: el triaje de fallos en pruebas Playwright, una tarea que consume mucho tiempo para los ingenieros.
El proceso de desarrollo reveló varios desafíos clave. En primer lugar, los archivos de traza de Playwright pueden ser enormes (más de 100MB), lo que requiere un preprocesamiento significativo para extraer información relevante y evitar superar los límites de tokens de los modelos de lenguaje (LLMs). Simplemente alimentar al LLM con más datos no siempre mejora los resultados. En segundo lugar, para guiar al LLM, el equipo tuvo que formalizar el conocimiento tácito de sus ingenieros senior, codificando sus pasos de diagnóstico en archivos Markdown estructurados. Estos archivos actúan como 'habilidades' que el LLM utiliza para interpretar los datos.
La solución final, el 'Rocky AI Root Cause Analysis Agent', se extiende ahora a otros tipos de pruebas (HTTP, TCP, DNS, ICMP, etc.). El artículo destaca cinco lecciones clave: 1) la IA debe replicar tareas humanas existentes, como el análisis de paquetes ICMP codificado en un archivo Markdown; 2) el 'data wrangling' (preprocesamiento y filtrado de datos) sigue siendo crucial, incluso con modelos de lenguaje más avanzados; 3) las actualizaciones de los modelos de IA (por ejemplo, de GPT-4.1 a GPT-5.1) ofrecen mejoras significativas en rendimiento y fiabilidad; 4) el uso de múltiples modelos de IA (BYOM) es más complejo de lo que parece, requiriendo una gestión cuidadosa para mantener la calidad y evitar la duplicación de código; y 5) no siempre es necesario utilizar una interfaz de chat, ya que el análisis puede realizarse en segundo plano y enviarse directamente al usuario.
En resumen, Rocky AI representa un enfoque pragmático para la integración de la IA en un producto SaaS, centrándose en la resolución de problemas concretos y aprovechando el conocimiento experto del equipo para guiar el proceso de análisis.