RUITA / DAILY BRIEF ·
StreamEval测37款交互视频模型:画面好看不等于听懂了指令
StreamEval用300个、每段15至300秒的交互任务评测37款模型,覆盖数字人对话、角色表演、世界生成和实时编辑。Vidu S2 Avatar的93.98总分含自定义头像加分;任务执行本身仍常失败。
KEY FACTS
核心信息
- 01
StreamEval论文评测37款模型、300个交互测试用例,单段为15—300秒。
- 02
五类任务包括数字人对话、角色表演、世界生成、指令编辑和参考图编辑。
- 03
Vidu S2 Avatar在数字人对话自定义头像榜的总体分为93.98,其中88.98为内容分,再加5分自定义头像奖励。
评测的是连续互动,不是只看最后一帧
StreamEval把视频生成拆成五类连续任务:和数字人对话、让虚拟角色按要求表演、实时改变生成世界,以及边播放边按文字或参考图编辑视频。300个测试用例持续15到300秒,会分段送入新要求,并检查系统有没有改对、保留该保留的内容。
论文评测37款模型,并用多项指标分别衡量任务执行、状态连贯、画面质量和影音同步。
高总分不等于可靠执行每个指令
数字人对话任务里,论文给Vidu S2 Avatar的总体分数是93.98;其中内容指标平均分88.98,另有5分来自“支持自定义头像”的奖励。角色表演任务考察按时完成动作时,Vidu S2 Avatar的Following指标为36.90。
这些数字是论文作者按自建测试和评分方式给出的结果。它们说明不同任务、指标之间有落差,不代表每个用户请求都能成功,也不等于独立第三方复核。