VidPanos:从随手拍摄的平移视频生成全景视频
在当今数字化时代,视频拍摄已经成为人们记录生活和分享经历的重要方式。然而,普通手机拍摄的视频往往受到视角的限制,无法完整地展现一个广阔的场景。今天,我们要介绍的 VidPanos 技术,为解决这个问题提供了一种创新的方法。
VidPanos 是由来自华盛顿大学、谷歌 DeepMind 和魏茨曼科学研究所的研究人员共同开发的一项技术。它能够将手机拍摄的平移视频转换为全景视频,为用户提供更加广阔的视角和更加丰富的视觉体验。
一、技术原理
VidPanos 的核心原理是将全景图像拼接技术应用于平移视频。传统的全景图像拼接技术可以将多张照片拼接成一个统一的、广角的场景视图,但对于动态场景中的移动对象,静态的全景照片无法完整地捕捉场景。VidPanos 则通过合成全景视频的方式,解决了这个问题。
具体来说,VidPanos 首先将输入的平移视频投影到一个全景画布上。然后,它利用具有外绘功能的生成视频模型来完成这个部分的时空体积。由于输入视频的时空范围比典型的生成视频模型的上下文窗口尺寸更宽,VidPanos 采用了时间上的从粗到精和空间上的聚合策略来完成视频全景图。