KillSwitch es un lenguaje de programación esotérico diseñado específicamente para ser adversario hacia los modelos de lenguaje de gran escala (LLM) y agentes de codificación. Su objetivo principal es determinar hasta qué punto la capacidad de los LLM para escribir código se debe a la comprensión real del lenguaje o a la mera memorización de fragmentos presentes en sus datos de entrenamiento. El lenguaje se implementa como un intérprete basado en pila con una especificación que contiene mentiras ocultas, reglas de conteo de caracteres estrictas y constructos que activan las barreras de seguridad de los modelos, como frases que sugieren acciones no éticas o técnicas.
Aunque el código de KillSwitch es en gran parte ruido sintáctico, el intérprete requiere que los usuarios humanos deduzcan la lógica subyacente, lo que lo hace difícil de leer para los LLM. El proyecto, de código abierto y disponible en GitHub, incluye un conjunto de pruebas de benchmarking que evalúa el rendimiento de modelos como Claude Opus 5, Gemini 4 Argon y MiMo-V2.6-Pro. Los resultados muestran que, aunque ciertos modelos pueden resolver tareas simples como imprimir 'Hello World' o convertir temperaturas, el éxito no garantiza una comprensión profunda del lenguaje. El autor concluye que el rendimiento en estas pruebas simples correlaciona con otros benchmarks conocidos, pero advierte que la dificultad real del lenguaje sigue siendo un desafío para la inteligencia artificial actual, invitando a la comunidad a explorar lenguajes aún más complejos en el futuro.
