RUITA / DAILY BRIEF ·
开放网页多步搜证仍难:OpenDS-World 最佳模型 39%,人工尝试 21.1%
OpenDS-World 用 200 项需要跨网页找证据的任务评测 12 个模型,最佳模型准确率为 39%。论文还报告 50 名参与者共做 1000 次人工尝试,正确率为 21.1%;人工可以用普通浏览器、不能用大模型,也没有统一答题时限,所以两组数字不等于同条件的人机对决。
KEY FACTS
核心信息
- 01
200 项任务要求在开放网页中搜索、打开不同来源并串起证据,最后给出唯一事实答案。
- 02
作者在统一工具环境下测试 12 个模型,最佳准确率为 39.0%;这是该基准中的结果。
- 03
人工测试由 50 人参加,每人处理 20 项任务,共 1000 次尝试,正确率为 21.1%;参与者可用普通浏览器搜索,不能用大模型工具,也没有统一答题时限。
它为什么比普通搜索题难
任务不只是找到一段文字。模型需要在开放网页中发现多个相关来源,处理视频、音频、文档等不同材料,再把证据连起来回答一个唯一问题。
模型和人工结果不能直接比高低
12 个模型在统一工具环境中测试,最佳准确率为 39.0%。人工部分由 50 人分组完成,每人回答 20 道题,累计 1000 次尝试,正确率为 21.1%;参与者可以用一般网页搜索,但不能用大模型,也没有统一时间限制。论文把人工结果用于衡量任务难度。工具和答题条件不同,不能把 39% 对 21.1% 简化成模型胜过人。
这个结果能说明什么
它说明跨网站搜集和核对证据仍很困难,也给评测“AI 能不能做研究”提供了一套可查的任务样本。39% 和 21.1% 都只适用于这 200 项任务及论文安排,不能当作普通搜索或所有研究工作的准确率。