Un ensayo clínico aleatorizado de dos años en 18 escuelas secundarias de Tennessee ha demostrado que el uso de Khanmigo, el tutor de inteligencia artificial de Khan Academy, incrementa significativamente el rendimiento matemático de los estudiantes. La intervención, que asignó aleatoriamente a los alumnos el uso de la herramienta durante las sesiones de remediación diaria, elevó el logro académico en 1,3 rangos de percentil nacional por término, lo que equivale a aproximadamente 0,06 a 0,08 desviaciones estándar al final de un año escolar. Este efecto se traduce en una mejora de 0,14 desviaciones estándar para un año completo de participación activa, un resultado comparable al obtenido mediante la práctica tradicional de Khan Academy sin asistencia de IA.
El estudio revela que el principal obstáculo no es la tecnología, sino el compromiso del estudiante. Aunque el 96 por ciento de los alumnos intentó usar Khanmigo al menos una vez, la mediana de uso fue baja: solo el 33 por ciento de los días de práctica y el 17 por ciento de las sesiones donde cometieron errores. Los mensajes enviados por los estudiantes fueron predominantemente respuestas básicas o clics en sugerencias, sin diálogo matemático sustancial. Los investigadores concluyen que la promesa de la tutoría con IA dependerá de lograr una mayor adopción activa por parte de los estudiantes, más que de la mera disponibilidad de la herramienta.