El LLM-Attack Suite es un marco de trabajo unificado diseñado para evaluar la privacidad de modelos de lenguaje grandes (LLM) divididos y distribuidos. Este sistema aborda la dificultad de comparar evaluaciones de privacidad cuando los atacantes acceden a mensajes, pesos de modelo o conjuntos de datos distintos. El framework registra estas variables y permite a los investigadores verificar, comparar y extender sus evaluaciones de manera consistente.
La arquitectura del LLM-Attack Suite permite que los ataques compatibles reutilicen mensajes registrados y guarden predicciones para una puntuación independiente. Una regla de puntuación clave exige que una defensa solo pueda pasar si existe un referencial no defendido vinculado previamente. Los informes generados identifican explícitamente los ataques que permanecen sin probar, asegurando la transparencia del proceso.
En un experimento controlado con GPT-2, se demostró el impacto de las defensas en la recuperación de texto. El aumento de los gradientes devueltos durante el entrenamiento incrementó la recuperación de tokens del 94,20% al 97,38% y la recuperación de documentos exactos del 13,71% al 37,77%. Este incremento superó el umbral de dos puntos porcentuales establecido antes de la prueba. El marco separa las comprobaciones de implementación de la efectividad medida del ataque, requiriendo que cada afirmación de privacidad especifique el atacante, el conjunto de datos y la regla de puntuación utilizada, junto con los controles aplicados y los ataques no probados.
