摘要：Meta 研究人员展示了生成式人工智能如何通过单个图像创建逼真的虚拟现实环境。想象一下，能够从单个图像创建 3D 环境，然后使用 Meta Quest 进行探索或将其用作头显的主页环境。
编译/VR陀螺
Meta 研究人员展示了生成式人工智能如何通过单个图像创建逼真的虚拟现实环境。想象一下，能够从单个图像创建 3D 环境，然后使用 Meta Quest 进行探索或将其用作头显的主页环境。
Reality Labs Zurich 的一个研究团队希望将这一愿景变为现实，并提出了一种实现这一愿景的新方法。根据上周发表的研究论文，虽然现有的生成式人工智能模型可以根据单个图像创建视频，但它们难以生成完全沉浸式的场景。
研究团队 Katja Schwarz、Denis Rozumny、Samuel Rota Bulo、Lorenzo Porzi 和 Peter Kontschieder 写道：“我们的主要见解是，从单一图像生成 3D 环境这项任务本质上是复杂且模糊的，但可以分解为一系列更易于管理的子问题，而每个子问题都可以用现有技术解决。”
研究人员这样解释他们的方法：“我们的流程包括两个步骤：使用预先训练的扩散模型生成连贯的全景图，并使用度量深度估计器将其提升到 3D 状态。然后，我们通过在渲染的点云上调节修复模型来填充未观察到的区域，这需要微调。”
最终得到结果是使用高斯溅射渲染的 3D 环境，可以在 VR 头戴式设备上的 2 米（6.5 英尺）立方体内查看和导览。该方法适用于合成图像和照片，甚至场景的文字描述也可以用作输入，以生成适合 VR 头显的高质量 3D 环境。
研究论文还提到了一些限制和挑战。例如，很难将可导览区域扩展到两米以上，因为这大大增加了任务的复杂性。此外，该管道尚不支持实时场景合成。然而，一旦创建了高斯溅射环境，就可以在 VR 设备上实时显示，研究团队写道。
目前尚不清楚这项技术何时会被整合到 Quest 产品中，但商业化似乎并不遥远。
来源：mixed-news
来源：VR陀螺
