谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏？

前有“AI教母”李飞飞，后有谷歌DeepMind，大模型的热度还在，大世界模型又成为焦点。
继李飞飞旗下企业World Labs展示一图生成3D世界后，当地时间12月4日，谷歌DeepMind发布了大型基础世界模型Genie 2，可通过单张图片或文字描述生成3D场景。


相关论文
时间仅相隔一天，两个AI工具的功能非常相似，核心在于：
1、一张图生成可交互3D场景：据谷歌介绍，用户只需提供一张图片（由Imagen 3生成）和文字描述，Genie 2就能生成一个可交互的3D场景，并以720p的清晰度呈现。通过鼠标和键盘控制，用户可以在其中自由探索长达1分钟，大多数能稳定运行10到20秒。
2、空间记忆能力：Genie 2生成的内容能让当用户在虚拟环境中移动时，即使某些区域暂时不在视野范围内，系统也能保持这些区域的一致性。World Labs同样可以做到这一点，即使你把视线移开然后又回来，已生成的3D场景也不会改变。
3、扩图能力：Genie 2能在过程中实时创造出符合逻辑的新场景内容，并且可以在长达一分钟的时间内保持整个世界的一致性。这指该AI工具的可预测3D场景能力，World Labs也能让AI工具仅凭部分图片就能“扩图”，想象出整个3D场景。
下面是谷歌给出的demo范例：




2D图生3D场景（可多个视角）



可交互（包括与生成的NPC交互）



空间记忆能力
不过，似乎李飞飞的模型才做到了真正理解物理世界。据机器之心报道，普林斯顿AI创新中心创始人、主任，终身教授王梦迪表示：“李飞飞的World Labs和谷歌的Genie2看上去都是从一张图片生成可以交互的三维场景，但有本质区别。Genie2还是video diffusion（视频扩散），每一帧的生成都是pixel prediction（像素预测），并通过额外的用户输入的guidance（引导）来影响下一帧的概率分布。而飞飞的World Labs是更进一步挖掘世界的物理本质：从图片出发，估计图片中不同景物的深度和相对关系，生成了更加物理世界的3D环境建模，不仅仅是可互动视频”。
另外，一个细微区别是，World Labs将应用领域侧重于影视制作，而谷歌侧重于游戏制作。Genie 2发布后，DeepMind CEO Demis Hassabis直接邀请马斯克一起制作AI游戏，马斯克回复：Cool。马斯克此前声称，xAI将开办一家AI游戏工作室。

重视游戏场景并不意外，DeepMind也承认了这点：“从我们早期与Atari游戏的合作，到AlphaGo和AlphaStar等突破性成果，再到我们与游戏开发者合作研究通用智能体，游戏一直是我们研究的重心。”
作为Youtube的母公司，谷歌还拥有Youtube里上亿小时的游戏视频数据。
值得注意的是，Genie 2为代表的大世界模型能快速创建无限多样的、可操控的3D环境，这些3D环境可用于训练和评估具身智能体。这意味着其能为具身智能研究提供丰富的虚拟训练数据。
谷歌研究人员Jack Parker-Holder给出了两个实例，其中，一张图上有一个红门和一个蓝门，向模型输入不同的语言指令，可以生成不同的3D场景，走向红门或蓝门。

在更复杂的三门场景中，Genie 2依然很好地理解了指令并生成了研究人员想要的3D动图。

上述研究人员表示，相信Genie 2可以解锁具身智能体的下一波能力。