El Character Error Rate (CER) es la métrica estándar para evaluar la precisión de los sistemas de reconocimiento óptico de caracteres (OCR) y los modelos de visión-lenguaje, pero su principal limitación es tratar todos los errores tipográficos con la misma severidad, independientemente de su impacto semántico. Para abordar esta deficiencia, se introduce semCER, una métrica que mantiene la alineación y el denominador del CER tradicional, pero asigna a cada edición de grafema un peso de severidad determinado por un juez de lenguaje de gran escala (LLM). A diferencia de las métricas normalizadas que evalúan la transcripción completa, semCER desglosa el score en ediciones individuales, permitiendo rastrear el rendimiento de los lectores de forma granular sin necesidad de segmentación de palabras.
La evaluación de semCER se realizó en inglés, vietnamita y chino, comparando las cargas de severidad con las valoraciones de lectores humanos. En estos idiomas, los lectores tienden a apoyar más a semCER que a la CER normalizada cuando hay discrepancias, especialmente en inglés y chino. Además, el estudio analizó 16 idiomas distintos, revelando variaciones significativas en la percepción de errores: por ejemplo, un diacrítico incorrecto en español tiene una carga casi nula, mientras que un error de tono en telugu se penaliza casi con la misma severidad que un error de letra. Finalmente, se comparó el rendimiento de un modelo de visión-lenguaje general con una pipeline clásica en la formación de palabras, mostrando que el modelo general supera al pipeline clásico en la mayoría de los casos. El proyecto ha publicado 61 millones de ediciones juzgadas, las valoraciones agregadas de los lectores y un puntuador distilado, disponible en GitHub.
