基于光照分离对梯度域渲染进行无监督重建
Unsupervised Reconstruction for Gradient-Domain Rendering with Illumination Separation
-
摘要:研究背景 蒙特卡罗光线追踪方法由于其灵活性和多功能性而广泛应用于许多领域。 然而,该方法也存在收敛速度慢、低像素样本数时图像噪声显着以及高像素样本数时费用昂贵的问题。梯度域渲染使用空间相关性来缓解低像素样本数下图像噪声过多的问题。该方法还输出图像的水平和垂直梯度,这些高频细节为图像重建提供了约束,从而使筛选的泊松求解器产生更好的结果。由于图像重建本质上是一个优化迭代问题,因此添加更多约束有利于问题的解决。因此,越来越多的辅助功能开始被引入重建过程。这些新的约束无疑优化了重建图像的质量,但也大大增加了图像渲染和重建的时间和资源消耗。深度神经网络方法的出现为图像重建带来了新的探索方向。然而,目前现有的方法很难保持一些间接照明和阴影细节。目的 我们的研究目的是提出一种用于梯度域渲染的网络重建方法,该方法在提高最终重建质量的同时,也能有效地保留最终结果中的额外细节,特别是在间接光照和阴影的情况下。方法 我们将每一帧的渲染任务分解为直接光照和间接光照两个独立的渲染任务,辅以辅助特征和梯度通道,然后相对独立地经过渲染管线,将直接光照重建结果与间接光照重建结果结合起来 只在最后阶段才有结果。结果 我们的方法不会导致额外的能量损失或质量下降,而且由于高质量的直接照明通道被单独处理,最终的呈现结果在细节重建方面比传统方法质量更高,特别是在间接照明和阴影方面。结论 我们提出的用于网络重建的梯度域渲染过程,它将直接照明和间接照明分开,以提高最终的重建质量。 照明分离过程有效地保留了最终结果中的额外细节,特别是间接照明和阴影。 同时,我们提出了一个带有注意模块的无监督网络,它可以在去除噪声的同时更好地保留特征。 注意力模块的引入在一定程度上提高了网络处理噪声的能力,使得最终结果在视觉效果上更加干净友好。Abstract: Gradient-domain rendering methods can render higher-quality images at the same time cost compared with traditional ray tracing rendering methods, and, combined with the neural network, achieve better rendering quality than conventional screened Poisson reconstruction. However, it is still challenging for these methods to keep detailed information, especially in areas with complex indirect illumination and shadows. We propose an unsupervised reconstruction method that separates the direct rendering from the indirect, and feeds them into our unsupervised network with some corresponding auxiliary channels as two separated tasks. In addition, we introduce attention modules into our network which can further improve details. We finally combine the results of the direct and indirect illumination tasks to form the rendering results. Experiments show that our method significantly improves image quality details, especially in scenes with complex conditions.