专题栏目:ARVRMR虚拟现实

基于视频图像的三维重建是什么?

三维建模技术的研究已有近30年的历史人们提出了各种不同的建模方法从二维图像中恢复物体的三维信息。从建模所需时间上,三维重建分为离线建模与实时建模两大类 ,人们提出了各种不同的建模方法从二维图类,离线建模不限制建模的时间,只要得到物体的模型;而实时建模能够重建复杂、快变的动态物体,获取物体在每个时刻的运动状态信息,记录那些无规律、不可预测、不可重模是一种对建 现、非标准的运动,从而实现三维空间与时间的四维建模,还可支持交互式应用。实时建 模速度和通用性具有更高要求的建模技术。

从建模所用的不同的原理上,三维重建分为基于立体视觉的方法(Structure from stereo)、由运动恢复形状的方法(Structure from motion),由明暗恢复形状的方法(Shape from shading)基于光流的重建方法(Structure from light flow)分层重建方法以及基于侧影轮廓图的重建方法(Structure from Silhouette,SFS等。其中SFS是广泛应用于实时建模的方法,其他方法目前来看都达不到实时,而且有些算法为了简化,对场景和算法做了不切实际的假设和限制,如假设所有平面是漫反射的,物体必须具有足够的非周期性的纹理等。SFS方法没有这些约束,能够实时地通过目标物体多视点的侧影轮廓得到其对应的三维模型。

由于SFS的输出是物体的可视外壳,因此也称其为可视外壳( Visual Hull,VH)方法。可视外壳建模可以应用于静态物体或者运动物体视频序列的每个时刻。20世纪90年代以来,可视外壳生成方法在虚拟现实领域中得到了成功的应用,研究者们也从许多不同的角度对VH方法进行了研究和改进。

Laurentini于1994年提出了可视外壳的概念,可视外壳是由空间物体的所有已知侧影轮廓决定的该物体的空间包络,当拍摄视角足够多时,可视外壳可被认为是空间物体的一个合理的逼近。可视外壳算法总体上分为两大类:基于体的方法与基于面的方法。

基于体的方法是早期的研究者们提出的一类方法。 Martin和 Aggarwal提出了基于多视点图像的侧影轮廓图来恢复三维物体的体描述方法。他们使用了与坐标轴一致的平行六面体单元,通过多视点图像的封闭轮廓线(occluding contours)来构建逼近刚性物体三维结构的包围体(abounding volume),采用体分段(volume segment)描述方法来加速包围体的创建和连续性优化。该方法除了易于更新之外,还保留了物体表面的细节,减少了点遮挡测试。 Chien等采用八叉树结构来表示物体的可视外壳,该八叉树结构是通过预先在平行投影照片上生成表示物体的四叉树的基础上建立的。 Szeliski等提出了用八叉树和体素描述的可视外壳方法,八叉树节点在图像平面上的投影为多边形,对每一个视角拍摄的照片都要进行物体的侧影轮廓与所有八叉树节点投影的求交测试,计算量大,也非常耗时。所有这些方法都是基于常规的体素网格,能够处理带有复杂拓扑的物体。但由于所使用的空间是离散的体素单元,只能得到近似的结果,与其复杂性相比,精确性太差。

基于面的可视外壳方法正是为了解决体素方法精度低的问题而提出的,通过侧影轮廓所在空间锥体的交集来估计可视外壳多面体的元素。主要包括基于图像的可视外壳方法、基于多边形的可视外壳方法以及准确多面体可视外壳方法等。

内容来源:黄海 《虚拟现实技术》

发表评论

相关文章