TenetBench es un corpus de datos diseñado para evaluar cómo los modelos de lenguaje grandes (LLM) se comportan frente a códigos de ética profesional. La herramienta aborda la limitación de las evaluaciones tradicionales, que suelen reportar categorías generales de daño sin especificar la frecuencia ni la cláusula exacta violada. El sistema empareja 3.433 solicitudes en ruso que contradicen cláusulas de quince códigos profesionales con gemelos benignos, que solo difieren en la legitimidad de la petición. Un pipeline automatizado genera estas tareas a partir del texto de los códigos, permitiendo que el corpus crezca automáticamente con la adición de nuevos códigos o provisiones. Además, el equipo desarrolló tareas y veredictos validados por humanos a partir de dos códigos en inglés de otras jurisdicciones. En la validación humana, los especialistas calificaron como plausibles el 99,5% de las tareas conflictivas. El modelo de evaluación (judge) coincidió con la etiqueta adjudicada con una precisión de Gwet's AC1 de al menos 0,894 en 1.860 elementos. La evaluación de catorce combinaciones de modelos y modos de razonamiento reveló que once de ellas producen contenido conflictivo en la mayoría de las solicitudes, principalmente sin advertencia. Casi tres advertencias por cada cuatro casos acompañan al contenido conflictivo. Los modelos que cumplen mejor las normas lo hacen declinando la solicitud, aunque siguen sirviendo al gemelo legítimo. El uso de razonamiento haló la tasa de rechazos de dos modelos. Los autores esperan que este dataset y su pipeline faciliten la evaluación de cómo los modelos observan las normas profesionales y permitan la creación de datasets diagnósticos específicos para profesiones y organizaciones.
