摘要: 随着经济的发展，人们在娱乐和休闲领域的需求也越来越多，典型的，如卡通漫画已逐渐成为一种大众文化产品，具有巨大的文化影响力和市场商机。鲜有研究工作针对单张非正视人脸图像做漫画夸张。事实上，生活中有大量的非正视人脸图像；且某些人的正面图像体现不出太多的特点，在侧面图像中却能凸显其特质。因此，对单张非正视人脸图像的漫画夸张的研究是非常有必要的。本文对正面和半正面人脸的漫画合成算法进行了研究，提出了一种基于三维模型和非负矩阵分解的正面和半正面人脸漫画合成算法。
首先估计二维图像人脸姿态参数。利用训练数据获得基于多层感知器的面部姿态分类器，建立多视角的人脸活动表观模型以及三维平均脸特征点模型。检测到人脸区域之后，利用基于多层感知器的面部姿态分类器判断人脸的视角区间，然后用相应视角区间的二维人脸表观模型配准目标人脸区域，得到人脸的若干个特征点，最后，用三维平均脸特征点模型通过旋转、平移、投影等变换逼近二维特征点，估计出较准确的人脸姿态参数值。由于利用了面部姿态分类器的结果选择初值，因而能较好地避免在优化时陷入参数估计的局部极值点。
然后进行特征夸张和漫画绘制。把估计出变换参数应用到三维平均脸特征点模型，使其朝向和位置基本与该图像匹配，再把此时三维平均脸特征点模型的各个特征点的深度信息作为配准的人脸的二维相应特征点的近似深度，就形成了符合该图像的三维特征点模型；把恢复的三维特征点模型旋转到正面，在基于非负矩阵分解的人脸特征空间下，对跟平均脸相比的显著特征进行夸张，得到正面视图的夸张特征点。把正面视图的夸张后的三维特征点模型旋转回原姿态并投影，即得夸张后的人脸二维特征点。利用图像卷绕（Warping）技术把配准的人脸2D关键点包围的输入人脸的纹理映射到夸张后的人脸特征点包围的范围内，即得人脸的夸张效果。最后采用非真实感绘制技术得到最终的风格化的漫画夸张效果。
本文的主要创新在于：提出了一种有助于漫画合成的从三维平均脸特征点模型通过刚体变换和投影变换逼近二维人脸特征点的变换估计方法，该方法能较好地避免陷入变换估计的局部极值点；提出了一种适用于正面和非正面人脸图像漫画合成的策略，该策略使用了由人脸三维模型特征点非负矩阵分解后得到的三维人脸特征空间，能够对跟平均脸相比的显著特征进行夸张，同时对人脸三维形状特征夸张过程中的噪声进行了较好的控制。
基于用户打分的方式对实验结果进行的主观评测表明该方案能够生成具有较强的视觉冲击力和较好的诙谐效果的人脸夸张效果。所提出的方案能够处理自遮挡现象不明显的视角范围内的人脸图像。本文算法能够应用于日常数码照片中正面和半正面人脸图像的漫画夸张效果的合成，在网络通讯、网络游戏、动漫产业等多个领域中有很好的应用前景。