Cómo detectar comentarios de código escritos por robots

Un desarrollador presenta un clasificador de comentarios en código fuente diseñado para distinguir textos generados por modelos de lenguaje de los escritos por personas. La motivación nace de la observación de que los robots introducen en los comentarios afirmaciones inexactas sobre el sistema —como señalar como «caso habitual» situaciones que no lo son o defender optimizaciones inútiles—, induciendo a error a futuros lectores humanos y automáticos. El autor entrena el modelo y reporta una precisión cercana al 80 %, insuficiente para usarlo de forma aislada pero útil como evidencia adicional. El artículo detalla las técnicas de análisis estilométrico empleadas: frecuencia de caracteres (62 % de acierto), frecuencia de palabras funcionales comunes (64 %) y, presumiblemente, n-gramas. Entre los rasgos que delatan a los robots figuran el uso frecuente de rayas, puntos y coma, flechas Unicode, paréntesis, comillas rectas ASCII y una mayor densidad de símbolos; los humanos, en cambio, tienden a incluir más código dentro de los comentarios y a escribir notas tipo TODO. El autor advierte que el clasificador está entrenado mayoritariamente con salidas de modelos de Anthropic, por lo que distingue más a esos LLM concretos del estilo humano general que a la IA en abstracto. Como limitación adicional, los comentarios de código suelen ser breves —alrededor de 20 palabras— y el conjunto de entrenamiento contiene etiquetas imprecisas, lo que acota la precisión máxima alcanzable.