RUITA / DAILY BRIEF ·
Genie 4把实时生成扩到声音与对白,但仍是测试预览
DeepMind称新世界模型(根据场景和动作生成后续环境变化的系统)能边生成场景边生成声音和对白,也能按文字指令改动场景。它目前只向受邀测试者开放;长时间一致性、复杂物理和文字仍有明显限制。
KEY FACTS
核心信息
- 01
DeepMind于10月27日公布Genie 4,并称先向受邀测试者开放研究预览。
- 02
官方展示了实时改天气、移动镜头、添加人物或物体,以及同时生成环境声和互动对白。
- 03
DeepMind称生成的视频和音频会带有SynthID标记;长时间一致性、物体保持、复杂物理和可读文字仍未解决。
它能边生成边接受文字指令
Genie 4是DeepMind推出的交互式世界模型:用户可以用键盘移动视角,也可以在场景进行时用自然语言要求改变天气、加入人物或放入新物体。官方还展示了场景声音和互动对白随画面一起生成。
DeepMind说,Gemini模型会在后台帮助理解场景和处理多步目标;这属于公司对系统工作方式的说明,并不代表模型已通过独立评估。
目前更像研究预览,不是可靠的实验环境
官方只称它开始向受邀测试者开放,之后才计划扩展到Project Genie、Gemini API和AI Studio的部分用户。现在不能据此判断普通用户何时都能使用。
DeepMind也列出短板:运行时间变长或多次修改后,物体和画面细节可能漂移;复杂物理、空间准确度、实时音频准确性和文字渲染仍在研究。课堂演示或研究材料需要标注生成内容,不能把演示当成可重复实验结果。