Un profesor de la Universidad Carnegie Mellon ha rediseñado la evaluación de su curso de Machine Learning in Production para adaptarse a la capacidad de los agentes de IA para resolver tareas académicas. Tras cinco años de experiencia, el docente ha abandonado las tareas de comprensión que se realizan en casa, eliminando los exámenes escritos tradicionales y los cuestionarios de lectura, que consideraba inútiles ante la generación de texto por modelos de lenguaje. En su lugar, ha implementado una estrategia centrada en la interacción oral en tiempo real: los estudiantes deben programar reuniones de 15 minutos con un tutor asistente (TA) para responder preguntas de reflexión y justificar sus decisiones. Esta medida, que representa el 20% de la nota de cada tarea, busca garantizar que los alumnos demuestren su comprensión activa y no solo la capacidad de generar respuestas correctas. El profesor reconoce que esta transición va en contra de las mejores prácticas pedagógicas basadas en evidencia, que favorecen la evaluación frecuente de bajo riesgo y el uso de tareas escritas para la retroalimentación. Sin embargo, argumenta que la IA ha hecho inviable la supervisión de tareas escritas y que la interacción oral es la única forma viable de evaluar la responsabilidad y la comunicación técnica en un entorno de gran escala, donde la relación alumno-tutor es de 20 a 1. Además, ha permitido el uso de IA en todas las tareas, salvo en los exámenes orales, y ha penalizado con un 10% las reintentos de tareas para evitar el abuso de la generación automática de soluciones.
