卡内基梅隆大学(Carnegie Mellon University)的研究人员已经证明,他们可以将不同相机在野外拍摄的iPhone视频组合起来,创造出4D可视化效果,让观看者可以从不同角度观看动作,甚至可以消除暂时遮挡视线的人或物体。
想象一下一个可视化的婚礼招待会,在那里可以从许多角度看到舞者,就像有摄像机一样,而喝醉了的客人走在新娘的队伍前面却看不到。
CMU机器人研究所的博士生阿尤什·班萨尔(Aayush Bansal)说,这些视频可以在不同的有利位置独立拍摄,比如在婚礼或生日庆祝会上。他补充说,还可以在一种场景中记录演员,然后将他们插入另一种场景中。
班萨尔说:“我们只受摄像头数量的限制。”对于可以使用的视频馈送数量没有上限。
Bansal和他的同事在上个月的计算机视觉和模式识别虚拟会议上展示了他们的4D可视化方法。
“虚拟现实”并不是什么新鲜事,但在过去,它仅限于工作室的设置,比如CMU的全光学工作室,它号称在其测地线墙上嵌入了500多台摄像机。融合真实场景的视觉信息,从多个,独立的,手持相机拍摄成一个单一的综合模型,可以重建一个动态的3D场景根本不可能。
Bansal和他的同事们利用卷积神经网络(CNNs)绕过了这个限制,这是一种深度学习程序,已被证明善于分析视觉数据。他们发现特定场景的cnn可以用来组成场景的不同部分。
中央大学的研究人员在匹兹堡的国家鸟园用15部iphone拍摄了各种场景,舞蹈,武术表演,甚至火烈鸟。“使用iphone的目的是为了表明任何人都可以使用这个系统,”班萨尔说。“世界就是我们的工作室。”
这种方法还在电影行业和消费设备中开启了许多潜在的应用,尤其是随着虚拟现实耳机的日益普及。
虽然该方法不一定捕捉到完整的3D细节场景,但该系统可以限制回放角度,因此不完全重建的区域是不可见的,3D图像的错觉不会被打破。
