Este artículo explora una técnica innovadora para encontrar errores en optimizadores de código, específicamente en el contexto del optimizador 'Toy Optimizer'. La idea central es utilizar un fuzzer, una herramienta que genera automáticamente entradas aleatorias para un programa, con el objetivo de descubrir casos límite o errores sutiles que podrían pasar desapercibidos en pruebas manuales. El desafío principal al usar fuzzers es la falta de un 'oráculo de corrección', es decir, una forma de determinar si la salida del programa es correcta. En este caso, el oráculo se basa en la equivalencia: después de la optimización, el estado de la memoria (heap) debe ser el mismo que antes de la optimización, bajo las mismas condiciones iniciales.
El fuzzer funciona generando programas aleatorios compuestos de operaciones como load (cargar un valor), store (almacenar un valor) y escape (simular que un valor es utilizado por otra función). Estos programas se ejecutan y se verifica que el estado de la memoria después de la optimización sea idéntico al estado original. La generación de programas es controlada por un script que crea bloques de código con operaciones aleatorias, introduciendo valores y offsets de manera aleatoria. El intérprete del programa simula la ejecución, rastreando el estado de la memoria y los valores escapados.
Para demostrar la efectividad del fuzzer, los autores inicialmente creyeron haber encontrado un error, pero descubrieron que el fuzzer simplemente había explorado todos los casos conocidos. Para probar realmente su capacidad, deshabilitaron una parte crucial del optimizador (la eliminación de escrituras de alias) y el fuzzer detectó inmediatamente una falla, revelando un problema de aliasing. El artículo destaca la importancia de definir cuidadosamente la noción de 'equivalencia' al usar fuzzers, especialmente en optimizadores más complejos que realizan análisis de escape o eliminación de asignaciones. La técnica presentada ofrece una forma automatizada de probar la corrección de optimizadores, complementando las pruebas manuales y aumentando la confianza en su funcionamiento.