RUITA / DAILY BRIEF ·
Omni-Woodpecker尝试从模型内部平衡多模态证据,降低跨模态幻觉
南京大学等研究者提出Omni-Woodpecker:先定位音频、视频等线索的冲突,再在生成前调整模型内部表征,让问题相关证据不被竞争性先验压过。作者称该方法无需微调模型参数,并报告在指定基准上取得提升。
KEY FACTS
核心信息
- 01
论文于2026年10月19日提交至arXiv,作者包括南京大学智能科学与技术学院研究者。
- 02
方法先用不同模态视角找冲突,再分解证据与竞争性先验,并在解码前重平衡模型内部表示。
- 03
作者报告,在Qwen2.5-Omni-7B上,CMM和AVHBench分数分别提高12.9和8.6;论文同时列出跨模型测试。
它试图解决哪类错误
全模态模型会同时处理文字、声音和画面。论文举的思路是:模型可能听到了关键声音,却被画面带来的强先验影响,最后回答时把相关证据压了下去。
Omni-Woodpecker先比较不同模态视角,判断问题需要哪种证据、哪种线索在与它竞争,再对融合后的内部表示做调整。它不重新训练模型,而是在生成前介入。
作者报告了什么结果
论文在Qwen2.5-Omni-7B上报告,CMM和AVHBench分别提升12.9与8.6分;在VideoLLaMA2-AV上也报告了增益。这些数字来自作者设置的基准和实验协议。
这类方法需要对模型内部激活和推理过程进行控制。若服务只提供输入文字、图片并返回答案的封闭API,通常没有条件直接照搬。
目前还不能说明什么
论文提出的是一种降低特定跨模态错误的方法,并没有证明多模态幻觉因此被消除。它目前是预印本,基准成绩也需要其他团队在相同设置下复现。