La inteligencia artificial generativa está transformando no solo la escritura de código, sino también las metodologías de prueba y control de calidad (QA) del software. El desarrollador Salvatore Sanfilippo, conocido como antirez y creador de Redis, comparte su experiencia utilizando modelos de lenguaje grandes (LLM) para automatizar tareas de QA que tradicionalmente se realizaban de forma manual.
Sanfilippo distingue dos usos de la IA en el desarrollo: la programación automática y el QA automático. En la programación automática, la IA acelera la generación de código, pero a menudo produce un código de menor complejidad estructural que el escrito a mano por expertos. Sin embargo, en el ámbito del QA, los LLM ofrecen una ventaja cualitativa sin compromiso, según el autor.
Su enfoque consiste en crear un archivo Markdown en el que se instruye a un agente de IA para que actúe como ingeniero de QA. El agente examina los nuevos commits respecto a la versión anterior y ejecuta una serie de pruebas manuales. Por ejemplo, en el proyecto DwarfStar —un motor de inferencia para modelos de lenguaje de pesos abiertos—, el agente verifica que la inferencia distribuida funcione correctamente entre dos MacBook, comprueba que no haya regresiones de velocidad y evalúa la coherencia de los resultados. En otro proyecto, Redis Arrays, el agente construye una aplicación basada en arrays, configura un entorno de producción con replicación y persistencia, y simula el uso durante días con múltiples usuarios para detectar anomalías.
Además, Sanfilippo sugiere que el agente identifique características nuevas que puedan resultar sorprendentes, insuficientemente documentadas o descuidadas desde la perspectiva del usuario. Todo esto antes requería ejecución manual y a menudo se omitía.
El autor concluye que la introducción del QA automático puede elevar el nivel de calidad de los lanzamientos de software y compensar parcialmente la menor calidad del código producido rápidamente con IA. Esta metodología promete cerrar la brecha entre la velocidad y la calidad en el desarrollo moderno.