多视点可见性判别及其在图像建模中的应用
Multiview Visibility Estimation for Image-Based Modeling
-
摘要: 1.本文的创新点本文提出了一种三维场景中多视点可见性的隐式判别方法,能够根据整个三维场景的全局几何结构来精确判别场景中各视点的可见区域。与大多数视点可见性判别方法不同,本文方法并不使用诸如三角网面、曲面方程等参数化的形式来显式地表示场景的几何结构,而是使用水平集的方法将场景几何结构隐式地表示为某个水平集函数的零水平集,利用水平集函数的几何特性隐式求解场景中每一点相对于各视点的可见性,避免了传统视点可见性判别方法显式判断场景中每一点向视点发出的光线是否与场景中的障碍物表面相交时的复杂计算。因此,本文方法与传统方法相比,具有更高的计算效率。同时,传统的视点可见性判别方法无法对几何结构未知场景下视点的可见性进行判别,而本文方法将多视点可见性判别与图像建模技术相结合,当场景几何结构未知时,通过最小化包含多视点可见性信息与未知场景几何结构信息的能量泛函,能够从一系列场景图像中同时得到未知场景的几何结构以及场景中各视点的可见性区域,因此,本文方法与传统可见性判别方法相比,还具备判别未知场景中视点可见性的能力。2.实现方法当场景几何结构已知时,本文方法将场景中遮挡物的表面隐式地表示为水平集函数的零水平集,利用隐式光线跟踪技术,快速有效地判断三维场景中各视点的可见与不可见区域。当场景几何结构未知时,本文方法将多视点可见性判别与图像建模技术相结合,根据未知场景中遮挡物表面在各视点图像上的影像一致性和区域一致性构造包含多视点可见性信息与未知场景几何结构信息的能量泛函,利用变分原理求解泛函极值,从一系列场景图像中同时得到未知场景的几何结构以及场景中各视点的可见性区域。3.结论及未来待解决的问题为验证本文方法的有效性,进行了仿真场景、标准测试场景以及真实场景下的实验。仿真场景下的实验结果说明了本文方法能够有效判别几何结构已知场景下多视点的可见性,且判别过程具有较高的计算效率;标准测试场景下的实验结果验证了本文方法同样能够有效判别几何结构未知场景下多视点的可见区域,且与其它方法相比,本文方法在保证判别结果精度可比的前提下,具有更高的运行效率;真实场景下的实验结果证明了本文方法对于一般场景具有很好的普适性。由于水平集方法仅能处理封闭的曲线或曲面,因此本文方法只适用于场景中的障碍物为封闭物体的情况。尽管在现实场景中,大部分的障碍物都是封闭物体,但如何使本文方法也能够处理非封闭的障碍物,将是这部分未来工作的一个重要方向。4.实用价值或应用前景本文提出的多视点可见性判别方法能够根据三维场景中各物体(称为障碍物)的几何形状、所在位置以及用于观测该场景的各视点的位姿,快速有效地确定场景中各部分区域相对于各视点的可见性。特别地,当三维场景几何结构未知时,本文方法还能够根据未知场景中各障碍物表面在各视点中的成像信息同时得到未知场景的几何结构以及场景中各视点的可见性信息。因此,该方法可被应用于多视点三维重建、分布式监控、智能导航、虚拟现实等领域。Abstract: In this paper, we investigate the problem of determining regions in 3D scene visible to some given viewpoints when obstacles are present in the scene. We assume that the obstacles are composed of some opaque objects with closed surfaces. The problem is formulated in an implicit framework where the obstacles are represented by a level set function. The visible and invisible regions of the given viewpoints are determined through an efficient implicit ray tracing technique. As an extension of our approach, we apply the multiview visibility estimation to an image-based modeling technique. The unknown scene geometry and multiview visibility information are incorporated into a variational energy functional. By minimizing the energy functional, the true scene geometry as well as the accurate visibility information of the multiple views can be recovered from a number of scene images. This makes it feasible to handle the visibility problem of multiple views by our approach when the true scene geometry is unknown.