El marco TutorMoments evalúa la toma de decisiones en la tutoría con IA

TutorMoments es un nuevo marco de evaluación que utiliza transcripciones de tutorías de matemáticas del mundo real para probar si los modelos de IA pueden decidir eficazmente cuándo ofrecer andamiaje al aprendizaje de un estudiante y cuándo fomentar un razonamiento más profundo. Al pausar las sesiones de tutoría grabadas en puntos de decisión críticos, el marco encarga a los modelos de lenguaje que continúen la interacción junto a un estudiante simulado. El proyecto tiene como objetivo abordar la tendencia de los modelos de IA a ayudar en exceso, lo que puede obstaculizar involuntariamente el esfuerzo productivo necesario para el aprendizaje.

Los hallazgos preliminares indican que, si bien los modelos a menudo tienden a ser demasiado serviciales por defecto, el rendimiento mejora cuando las instrucciones (prompts) definen explícitamente el equilibrio entre el andamiaje y el rigor. Sin embargo, los modelos aún muestran una variabilidad significativa en su toma de decisiones en comparación con los tutores humanos. Los investigadores han publicado un conjunto de datos de transcripciones anonimizadas, el código para la canalización de reproducción y las reproducciones de los modelos para apoyar futuras investigaciones. Destacan que estos resultados miden el comportamiento del tutor y no los resultados de aprendizaje del estudiante, y señalan que el conjunto de datos actual se limita a matemáticas de primaria y secundaria en EE. UU.