摘要: 研究动机和创新性
在自动人脸表情识别领域，对多种内在状态人脸表情的变化进行检测是一个具有挑战性的研究方向。人脸表情是连续的，表情变化时表情图像是平滑变化的。表情图像的变化特性可以表示为图像空间的流形中类似凹陷和凸起的细微变化。因此，自动人脸表情识别可以通过检测在表情人脸空间流形的细微变化来实现。因为表情图像包含几种其它情绪以及许多混合情绪，所以情绪维度必须是连续的。这种情绪维度可以克服离散识别空间问题，因为离散的情绪可以看作是连续空间的部分区域。
之前的大部分人脸表情识别研究，并没有分析多种内在状态人脸表情图像的分布特性。他们把人脸表情映射为Ekman(1972)的六种基本情绪状态。这些研究对于自然人脸表情的识别存在局限性，因为自然人脸表情包含多种情绪以及复杂情绪。本研究利用情绪维度模型来改进这种局限性，基于情绪维度模型，采用LLE算法识别人脸表情的各种内在状态。LLE算法可以学习嵌入在人脸空间的低维人脸图像变化流形。
2，方法概述（包含实验环境和结果）
本文的目的在于通过局部线性嵌入算法，研究各种内在状态人脸表情的非线性流形的全局结构。首先评论了广泛使用的两种情绪模型：基本情绪模型和维度模型。然后提出一种人脸表情图像的表示方法，即利用局部线性嵌入算法提取各种内在状态人脸表情的特征。此部分包含三个子步骤：第一，介绍了用于本文研究的人脸表情数据库；第二，提出了一种用于光照不变图像的零相位白化滤波器；第三，提出通过局部线性嵌入的人脸表情表示。其次，给出了一个利用1-最近邻算法的各种内在状态人脸表情的分类器。最后，分析讨论通过局部线性嵌入所得到的非线性流形的全局结构，以及在两个情绪维度的人脸表情空间。通过LLE算法，映射到嵌入空间的多种内在状态表情的识别结果，有效地表达了二维情绪模型的结构本质。
3，结论
结果总结如下所述：
第一，通过LLE算法映射到嵌入空间的多种内在状态人脸表情，可以有效地表达二维情绪模型的结构本质。相似情绪强度的人脸表情位于同一区域的邻近位置。表情图像高兴和觉醒维度的强度越大，离散区域的表达越清楚。愤怒和觉醒强度大的表达也位于一个离散区域。本文中，在二维情绪模型中引入了四个分类识别空间。高兴和觉醒强度较大的人脸图像映射到标记为第3类的LLE嵌入空间；愤怒和觉醒强度较大的人脸图像映射到标记为第2类的LLE嵌入空间。然而，高兴/愤怒以及觉醒强度较弱的人脸表情图像与愤怒和觉醒强度较大的人脸图像相互混淆，不易区分。
第二，Ekman的六种基本情绪可以有效地表示为由LLE映射到嵌入空间的高兴/愤怒和觉醒强度较大的人脸表情。因此，利用LLE映射到嵌入空间的二维情绪模型，能够扩展到Ekman的六种基本情绪。
第三，本文利用局部线性嵌入算法识别44种内在状态的人脸表情。通过1-最近邻算法有效的获得每一维度的识别结果；在高兴-愤怒维度识别率达99%，在觉醒-睡眠维度识别率达60%。在LLE中取前120个成分、邻域K=80时，可以得到多种内在状态人脸表情识别的最好性能。对于人脸表情识别，情绪的二维结构被证明是一个稳定结构。特别地，高兴-愤怒维度比觉醒-睡眠维度更加稳定。Kim, Mum以及Oh (1999)通过MDS对二维情绪结构的稳定性进行研究，证明了高兴-愤怒维度相比觉醒-睡眠维度包含更多的解释。并且，在连续维度的相似表情，可以通过LLE的(d+1)个最小特征值进行检测。结果证明，连续维度的人脸表情可以通过表情流形的细微变化来表示。
贡献和意义
通过LLE算法，将多种内在表情状态映射到嵌入空间进行识别，所得识别结果可以有效地说明情绪二维模型的结构本质。此研究证明，通过LLE算法，可以在二维情绪模型中，精确地说明多种内在状态人脸表情之间的关系。并且，Ekman的六种基本情绪可以有效地表示为映射到LLE嵌入空间的高兴/愤怒和觉醒强度较大的人脸表情。因此，映射到LLE嵌入空间的情绪二维模型可以扩展到Ekman的六种基本情绪。

参考文献
P. Ekman, “Universal and cultural difference in facial expressions of emotions,” In J. K. Cole(Ed), Nebraska symposium on motivation, Lincoln: University of Nebraska Press, pp. 207-283. 1972.

J.K. Kim, H.S. Mun and K.J. Oh, “Stability of two-dimension structure of emotion,” Korean Journal of the Science of Emotion and Sensibility, vol. 2. No.1, pp. 43-52, 1999.