跳转到正文

RUITA / DAILY BRIEF ·

今日三件大事本期重点

EduWild实录217个教师自配机器人:常见问题是流程没跟上

CMU等作者分析217个教师配置的教育聊天机器人,发现跳过教学步骤、没说明预期和一次问太多,比单纯答错更常见。一个提示词辅助层在200名大学生的对照实验中减少了目标失败,但实验范围有限。

核心信息

  1. 01

    论文数据包含1,726段对话、217个教师配置的聊天机器人,其中35个机器人有900段真实目标用户对话。

  2. 02

    作者按900段目标用户对话统计:跳过规定步骤53.8%、缺少预期说明33.4%、信息或问题过载37.1%;多类错误可以同时出现。

  3. 03

    200名美国大学生参与10个机器人对照实验;作者报告目标失败码均值从1.406降到0.489,相对下降65.2%。

机器人最常见的问题不只是“答错”

EduWild把聊天记录与教师写下的机器人指令配对,再把问题分成事实、流程、诊断和教学方式等类别。900段目标用户对话中,最常出现的是机器人没有照教师要求的步骤带学生:53.8%的对话跳过了规定步骤;33.4%没有先说明预期;37.1%出现信息或问题过载。

这些比例来自论文的标注口径,同一段对话可能出现多个问题,不能相加成总错误率。

提示词辅助层有改善,也留下了边界

作者给原有机器人加了一层提示词辅助:先从教师指令里整理教学要求,再结合对话判断学生走到哪一步。200名美国大学生与10个机器人参加对照实验;作者按六类目标问题计算,平均问题数从1.406降为0.489。

但这不是对真实课程成绩的测量。参与者按情境扮演学生,研究只覆盖互动最多的10个机器人,标注也使用经过人工校准的语言模型评判。论文还观察到“过早给答案”略有增加,所以减少追问不等于教学效果必然更好。