跳转到正文

RUITA / DAILY BRIEF ·

科研与论文

TasteVal 在 8 项任务中比较 AI 与人类专家的实验设计效率

作者以 24 位专家和 20 个模型作对照,报告最佳模型在该基准中的实验算力乘数为 2.3。

核心信息

  1. 01

    TasteVal 包含 8 项开放式前沿 AI 研发任务。

  2. 02

    研究招募 24 位专家,并评估 20 个模型。

  3. 03

    作者报告最佳模型相对专家基线的算力乘数为 2.3,置信区间较宽。

论文如何定义指标

研究把固定问题下的实验设计、结果解释和迭代能力,操作化为达到相同任务分数所需的实验算力;编码执行由固定代理承担,以减少编码能力的干扰。

哪些结论不能推出

该基准限于八项 AI 研发任务,专家基线和实验预算也有具体设定。它不能证明模型能独立判断所有学科的研究价值,或自动完成选题、实验、解释、发表的整个流程。