En los exámenes tradicionales, tanto los de opción múltiple como los de respuesta corta, es difícil determinar si un estudiante ha acertado por conocimiento real o simplemente por suerte. Un estudiante puede eliminar opciones incorrectas en un examen de opción múltiple y adivinar la respuesta correcta, o aplicar una fórmula al azar en un examen de respuesta corta y obtener el resultado correcto. Esto diluye la diferencia entre aquellos que realmente dominan el tema y aquellos que solo adivinan. Para abordar este problema, se propone un sistema de “puntuaciones de confianza” (Confidence Scores) basado en el cálculo del Brier Score.
El Brier Score es una métrica que evalúa la precisión de las predicciones probabilísticas. En el contexto de los exámenes, el estudiante no solo debe proporcionar la respuesta, sino también indicar su nivel de confianza (en una escala, por ejemplo, del 50% al 100%) en que la respuesta es correcta. El Brier Score se calcula comparando la confianza expresada por el estudiante con el resultado real (correcto o incorrecto). Un Brier Score de 0 indica una predicción perfecta (confianza correcta), mientras que un valor más alto indica una predicción menos precisa. Para evitar la manipulación del sistema, se establece un umbral mínimo de confianza (50%) para que una respuesta sea válida.
La implementación de este sistema requiere modificar los formatos de examen (como los Scantron) para incluir una sección adicional donde el estudiante indique su nivel de confianza. El puntaje final del estudiante se basa en el Brier Score general, premiando a aquellos que aciertan con alta confianza. Esto permite una mejor diferenciación entre estudiantes de alto rendimiento, ya que aquellos que aciertan con alta confianza obtienen una puntuación más alta que aquellos que aciertan con baja confianza, incluso si ambos obtienen la respuesta correcta.
Este enfoque, conocido como “confidence-based marking”, ya ha sido estudiado y presenta ventajas como una mayor fiabilidad y validez de los resultados, al reducir la influencia del azar y fomentar un pensamiento más profundo y crítico por parte de los estudiantes. Sin embargo, es probable que los estudiantes con bajo rendimiento no lo vean con buenos ojos, ya que su puntuación podría disminuir en comparación con el sistema tradicional. La clave está en combinar este sistema con exámenes más desafiantes para que los estudiantes de alto rendimiento realmente destaquen.