用于视频编码的基于重要性分析的精细度自适应视频编码预处理
Saliency-Based Fidelity Adaptation Preprocessing for Video Coding
-
摘要: 1.本文的创新点
根据视觉属性来分配码率是视频编码中的核心目标之一。本文以视频预处理方式,采用基于时空一致性的视觉重要性作为指导属性,实现了用于视频编码的保持重要性区域和边界强度等自适应内容精细度调整方法。本文的创新点主要在以下两点:本文从人的视觉感知属性出发,通过建立时空一致性保持的视觉重要性分析模型来得到视频内容的重要性分布信息;采用自适应保持重要区域和边界等重要内容的扩展双边滤波方法实现对视频内容的精细度预处理。该预处理依据重要性区域分配较多码率、其他区域则相对降低码率的原则,通过有效的参数调整实现自适应伸缩平滑滤波操作,能够保持重要性区域的内容信息,同时有选择性地合理抑制非重要性区域的高频信息,从而达到提高码率分配的增益。此外,我们的算法充分考虑了时间坐标上各帧间视频重要性内容的下降和突变等因素,因此能够有效保持视频内容一致性。
2.实现方法
在视频内容的重要性分析过程中,我们首先建立了自顶向下和自底向上的联合重要性分析模型。自顶向下模型主要分析了图像中人脸等视觉上最为敏感信息元素,而自底向上模型则充分考虑了颜色强度、边界方向、闪烁和运动等信息。此外我们还根据重要性区域在视频中的衰减原则和场景切换检测等计算来合成时空一致性分析图。在扩展的双边滤波中,本文算法通过空间适配参数和强度参数的自适应调整实现了从视觉重要性分析结果到视频内容精细度调整的合理映射,从而实现满足视觉特性地调整并达到编码时码率合理分配的目的。
3.结论及未来待解决的问题
与其他如基于图像宏块做处理、对图像做内容分割等方法不同,我们以视频内容自适应预处理方式来实现码率的自适应调整。本文的实验结果表明在保持重要性区域的内容前提下实现降低码率的目标。与此同时,我们还对其他文献中的相关算法做了比较,结果表明我们的算法在相同码率水平下具有更好的视觉效果。基于本文的研究内容和实现的结果,进一步需要研究的内容和改进方向包括:
(1) 寻找更合理的用于精细度处理的颜色空间。本文的视频预处理是基于CIE-Lab空间,而从YUV到该空间会有一定的视频质量损失。
(2) 我们将致力于研究更鲁棒的时空视觉重要性分析模型。
4.实用价值或应用前景
本文提出了时空一致性的视觉重要性分析并将此应用于视频内容的精细度自适应预处理,从而实现了满足视觉感知的自适应码率调整机制,可有效利用于基于视频质量动态调整的网络传输等应用中。Abstract: In this paper, we present a video coding scheme which applies the technique of visual saliency computation to adjust image fidelity before compression. To extract visually salient features, we construct a spatio-temporal saliency map by analyzing the video using a combined bottom-up and top-down visual saliency model. We then use an extended bilateral filter, in which the local intensity and spatial scales are adjusted according to visual saliency, to adaptively alter the image fidelity. Our implementation is based on the H.264 video encoder JM12.0. Besides evaluating our scheme with the H.264 reference software, we also compare it to a more traditional foreground-background segmentation-based method and a foveation-based approach which employs Gaussian blurring. Our results show that the proposed algorithm can improve the compression ratio significantly while effectively preserving perceptual visual quality.