We use cookies to improve your experience with our site.

基于通道和像素相关性的计算机生成图像与自然图像鉴别

Distinguishing Computer-Generated Images from Natural Images Using Channel and Pixel Correlation

  • 摘要: 近年来随着计算机图形渲染和图像编辑技术的发展,通常不能反映真实场景的计算机生成图像现在可以轻易欺骗人类视觉系统。这导致图像可靠性降低等一系列多媒体安全问题。在本项研究中,我们提出一种基于卷积神经网络(CNN)的模型,通过图像通道、像素相关性来鉴别计算机生成图像与自然图像。本研究利用混合相关性模块提取通道相关性和像素相关性。混合相关性模块中的关键组件是自编码模块,该组件以RGB图像为输入,显式提取颜色通道之间的相关性。其后无池化的卷积层提取像素间的空间相关性。与之前直接使用CNN来解决鉴别问题的方法不同,我们考虑模块的通用性,即新引入的混合相关性模块可以直接与现有的鉴别网络模型结合,增强原网络的鉴别能力。实验结果表明,该方法在鉴别性能上优于现有的鉴别方法。实验同时证明新引入的混合相关性模块可以提高不同CNN架构的鉴别精度,并且带有混合相关性模块的网络在不同压缩率的JPEG压缩和不同数据集上的鉴别性能均更优。
    1、目的(Objective):多元化图像处理技术的出现导致图像可靠性降低等一系列多媒体安全问题。针对计算机生成图像和自然图像的鉴别问题,本研究希望提升鉴别渲染图像的准确率、对后处理的鲁棒性和对不同渲染算法的泛化性。从而提升数字媒体的公信力,恢复视觉信息的可靠性。
    2、方法(Method):本研究在卷积神经网络前端添加了一个新设计的混合相关性模块。混合相关性模块中的自编码模块提取RGB图像的通道相关性,随后的无池化卷积操作提取像素间的空间相关性。结论是通过比较卷积神经网络有无混合相关性模块的鉴别性能,以及可视化自编码模块卷积核和特征映射得到的。
    3、结果(Result & Findings):在新提出网络和三个现有网络的比较实验中,添加三个独立混合相关性模块的网络鉴别准确率平均比标准卷积网络高1.72%;含有自编码模块的网络鉴别准确率平均比没有自编码模块的网络高0.46%。并且带有混合相关性模块的网络在不同压缩率的JPEG压缩和不同数据集上的检测性能均更优。这表明该模块设计在复杂的实际场景有较好的使用前景,但此模块目前仅证明对计算机生成图像鉴别有效。
    4、结论(Conclusions):引入RGB图像通道间的相关性和像素间的空间相关性可以提升对计算机生成图像的鉴别准确率。并且两种相关性对后处理的鲁棒性和多种生成方法的泛化性也有一定的提升。这表明两种相关性可以较好刻画计算机生成图像和自然图像在统计特性上的差异。目前针对全局生成图像算法的检测是有效的,可进一步研究其对重上色检测、篡改检测等其他问题的实用性。

     

    Abstract: With the recent tremendous advances of computer graphics rendering and image editing technologies, computergenerated fake images, which in general do not reflect what happens in the reality, can now easily deceive the inspection of human visual system. In this work, we propose a convolutional neural network (CNN)-based model to distinguish computergenerated (CG) images from natural images (NIs) with channel and pixel correlation. The key component of the proposed CNN architecture is a self-coding module that takes the color images as input to extract the correlation between color channels explicitly. Unlike previous approaches that directly apply CNN to solve this problem, we consider the generality of the network (or subnetwork), i.e., the newly introduced hybrid correlation module can be directly combined with existing CNN models for enhancing the discrimination capacity of original networks. Experimental results demonstrate that the proposed network outperforms state-of-the-art methods in terms of classification performance. We also show that the newly introduced hybrid correlation module can improve the classification accuracy of different CNN architectures.

     

/

返回文章
返回