RUITA / DAILY BRIEF ·
AI 同学帮做题到 65%?研究显示优势仍有边界
做课堂 AI 助教的老师可关注‘导师加会犯错的同伴’设计:实验中该组平均正确率约 65%,只用导师约 59%;两组差异未达显著。写作实验则提示,单一 AI 的建议可能让观点更相似。
KEY FACTS
核心信息
- 01
论文当前页面为 arXiv:2604.02677v2,2026 年 7 月 3 日版本;两项受控实验合计 562 名有效参与者。
- 02
数学实验 315 人;四组无辅助、仅同伴、仅导师、导师加同伴的独立测试正确率约为 42%、48%、59%、65%。
- 03
59% 与 65% 之差的检验 p=.307,不足以支持‘加同伴明显优于只用导师’。
- 04
写作实验 247 人;单 AI 组观点相似度 0.748、无 AI 组 0.735、双 AI 组 0.737。
为什么安排一个会犯错的同学
研究者让 AI 导师用追问引导,让两个 AI 同伴分别暴露计算或概念错误。学生要解释、纠错,而不是只收一个标准答案;这是要检验的教学机制,不等于已经在真实课堂验证。
数学结果究竟说明什么
独立测试中,导师加同伴组约 65%,无 AI 组约 42%,差异显著;但导师单独组也达到约 59%,与前者的差异未达显著。原定的混合效应模型未能收敛,作者改做探索性成对检验,因此不能把这组数字宣传成成熟的课堂提分方案。
写作为什么会千篇一面
作者比较短时写作中的观点相似度:单 AI 组高于无 AI 组,双角色 AI 组接近无 AI 组。双 AI 并未显著提高作文质量;参与者也可能因建议更多而分心。‘观点更像’是该实验任务与指标上的结果,不能直接推到所有课程。
课堂应用前先验证什么
两项实验招募的是线上众包参与者,不是常规课堂学生。若教师想借鉴,可先把‘会犯错的同伴’作为小范围教学设计假设,观察学生是否真正解释错误,并对照单导师效果与认知负担。不能把论文比例当成本校预期成绩。