With the prominent application prospects and market value of emotion recognition in driving, detection and game industry, facial expression which is the key component of emotion recognition has become key challenge in the field of anthropomorphic new human-computer interaction. In this paper, for the different types of input pictures: single picture and picture sequences, complete static and dynamic expression recognition respectively.
For single picture, an approach is presented for facial expression recognition through the shape of facial feature points and texture information of specific areas, based on Active Appearance Model (AAM). First, find out that the shape and texture parameters can express more personalized information of each expression. And then use these two features to classify expressions, which rely on machine learning classification algorithm. Next, weigh the relationship between identification rate and retaining information in the training process of AAM, and understand that noise is also introduced into the classification along with the increase of retaining information. So it is necessary to get high identification rate in a lower dimension.
For picture sequences, based on statistical analysis of the relationship between expression and changes of characteristic organs, extract the features of expression, then select the subset of features through feature selection method. Finally, transform the feature space to classify the expressions. Firstly, extract the features reflecting differences of various expressions and add the optimization features which make difference more obvious. Then assess the features through Support Vector Machine to further streamline the commonality. Ultimately, to achieve expression recognition, feature space is projected onto the base vector space relying on least squares method.
This paper extracts features more suited to facial expression recognition. Besides reduce feature dimension effectively, under without loss of recognition rate conditions. Meanwhile, in order to realize the facial expression recognition, this paper projects the feature space onto base vector space relying on the least squares method. Research perspective and methods of this paper optimize the efficiency and accurate of static and dynamic expression recognition, at the same time, makes a contribution to voice and movement combined with cross-modal emotion recognition.
KEY WORDS：Facial Expression Recognition; Active Appearance Model; Least
Squares Method;
目 录
第一章 绪论 ....................................................... 1
1.1 课题背景 .................................................... 1 1.2 研究内容 .................................................... 2 1.3 全文安排 .................................................... 3 第二章 表情图片情感识别研究现状 ................................... 4
2.1 人脸检测 .................................................... 4 2.2 特征提取 .................................................... 4
2.2.1 基于形变的表情特征提取 ................................. 5 2.2.2 基于运动的表情特征提取 ................................. 6 2.3 表情分类 .................................................... 7 2.4 表情识别类型 ................................................ 7 2.5 本章小结 .................................................... 8 第三章 单张表情图像情感识别 ...................................... 10
3.1 主动外观模型 ............................................... 10 3.2 基于主动外观模型的特征提取 ................................. 12 3.3 BP分类算法 ................................................. 14 3.4 本章小结 ................................................... 15 第四章 表情图像序列情感识别 ...................................... 16
4.1 特征提取 ................................................... 16 4.2 分类方法 ................................................... 21 4.3 本章小结 ................................................... 23 第五章 表情识别实验 .............................................. 24
5.1 实验目的 ................................................... 24 5.2 识别率与实验数据库 ......................................... 24 5.3 实验设计 ................................................... 25
5.3.1 单张表情图像情感识别实验 .............................. 25 5.3.2 表情图像序列情感识别实验 .............................. 29
第六章 表情识别系统 .............................................. 34
6.1 单张表情图像情感识别实验 ................................... 34
6.1.1 实验具体实现 .......................................... 34 6.1.2 实验过程展示 .......................................... 35
6.2 表情图像序列情感识别实验 ................................... 36
6.2.1 实验具体实现 .......................................... 36 6.2.2 实验过程展示 .......................................... 37
第七章 总结与展望 ................................................ 38
7.1 工作总结 ................................................... 38 7.2 未来展望 ................................................... 38 参考文献 .......................................................... 39 发表论文和参加科研情况说明 ........................................ 43 致 谢 .......................................................... 44
第一章 绪论
第一章 绪论
1.1 课题背景
情感是人们在日常生活中表达自己意愿的体现，即人与人之间可以在无语言的情境下进行交流，因此，在如今这个自然人机交互的时代，如何准确获取情感便成为了一个必须突破的关键课题之一。
在1997年，R.W.Picard[1]教授提出了情感计算的概念，并且认为计算机主动计算可以应用在艺术、娱乐以及健康等实践领域，以达到真正意义上的人机交互。其中，情感计算是指通过人的言辞、声音、表情以及动作等多种途径，来将情感划分为特定的类别。这个概念的提出使得人机交互更加智能化，即进一步满足在人机交互领域中以人为中心的理念：机器可以主动识别人类行为，并对情感加以理解，同时做出合适的回应等。
人们交流要传达的情感信息可以通过视觉、听觉和触觉等多种感官来实现，可见交流的主要特性主要表现在：交流渠道的多样性和多态性。迄今为止，很少有研究将交流的多态性结合在一起来分析，绝大多数都是具体针对人们交流的某一个渠道展开，比如声音、肢体语言、手势、面部表情等。
有三种最基本的心理学家A.Mehrabian[2]认为在这些理解人类情感的途径中，
元素，同时每一种元素所包含的信息量也是各不相同：语言包含有7%的信息量，声音的语气为38%，而视觉部分含有的信息量高达55%。这三种途径是互相支持的，它们之间具有一致性。从日常交流中，我们不难发现，理解情感的主要方式就是观察交互对象的面部表情，这足可以说明人脸表情在视觉信息中的重要地位。针对面部表情和人类情感之间的关系，早在1982年，C. Darwin[3]就已经开始了探索，发现表情在人群中具有一致性，这在一定程度上验证了对此研究的可行性。 表情识别在实践中的应用前景和市场价值也越加凸显：随着人们消费水平的提高，私家车数量不断增加，自驾游产业发展迅猛，而自驾游中人们最为关心的问题之一便是行车安全，因为自驾游的驾驶者往往不是专业的司机，缺乏远行的经验。如果通过表情识别可以掌握驾驶者的身体状态，便可提供相应的安全防范，通过外部预警来弥补驾驶者经验不足的缺陷。
目前，机关侦查案件审讯犯人主要依靠各种审讯技巧和经验，然而对于团伙性犯罪或者有经验的犯罪嫌疑人而言，他们往往已经经过了反审讯的培训或具备反审讯的经验，这就为审讯嫌疑人带来时间、成本和技术等各方面的挑战。
1
第一章 绪论
如果采用计算机进行表情识别，便可以捕捉人眼难以察觉到的细微表情变化，进而解决侦查审讯中的难题。
在游戏产业，从计算机键盘、专业操作台，到目前流行的通过视频识别捕捉肢体动作的体感游戏，电子游戏输入设备不断发展完善。可见，让使用者更加真切的参加到游戏中，更加个性化的满足人们的游戏需求是游戏产业的发展方向。如果可以建立识别人脸表情和游戏输入设备的关系，那游戏中便可以智能的加入人喜怒哀乐的感情色彩，使得游戏更逼真吸引人。而在医疗行业上，对于一些重症病人或精神病患者，可以通过佩戴具有表情识别能力的设备，来预测病人异常并采取相关预防措施。
面部表情在情感状态定位中的关键作用，使得面部表情识别已成为拟人化新型人机交互模式研究中的关键课题之一。目前，国内外有多所研究机构和高校研究人员专注于这一领域，并且通过不同的方法对人脸表情识别相关技术和算法进行了探索。
1.2 研究内容
本文的研究目标是开发一个能够对表情图像进行情感识别的系统：需要针对不同类型的图片输入集进行不同方式的表情识别，即单张表情图片情感识别与表情图片序列情感识别。其中，单张表情图片情感识别可以对单张人脸表情图片直接进行情感识别，而表情图片序列的情感识别需要输入连续的表情图片帧。针对此目标，本文的研究内容如下：
1. 单张表情图像情感识别
针对单一图片直接进行情感识别，表情特征如何提取便是需要重点研究的问题。在应用主动外观模型进行特征点检测的过程中，可以为每张表情图片作个性化的调整，加之原有的平均人脸生成合成人脸。因此，在主动外观模型适应过程中，是否已经在运行中生成了表情特征这是一个需要探索的问题，同时在选取特征以后应该应用何种机器学习算法适应此类特征也是一个需要解决的问题。
不仅如此，在建立主动外观模型的过程中，需要设置主成分分析的信息保留量，这个参数与识别率之间存在何种关系需要加以总结，因为信息保留的程度将决定特征的维数，同时也会在一定程度上影响识别的结果。
2. 表情图像序列情感识别
在表情识别过程中，各类表情均存在区别于其他类别的共性关系，使得自动表情识别成为可能。如何很好的利用此共性关系完成情感识别是本文方法重点解决的问题。不难发现，每类表情生成的过程中都会伴随部分器官的变化，第一步需要筛选出合理的筛选出物理意义比较强的特征；然后针对共性关系需要利用线
2
第一章 绪论
性组合的方式进行识别的特点，如何对已提取特征进行一部分优化也需要加以实现；最后应该应用何种特征选择方法在数值上对特征进一步精简也需要被考虑到。
当然，针对适应于组合方式的表情特征，需要采用何种分类方法进行识别变得更为重要，即如何很好的抓取此种共性关系进行情感识别是本文方法应该解决的问题。
1.3 全文安排
本文分为六章。论文内容安排如下：
第一章为绪论，介绍课题背景、研究内容和全文的安排。
第二章为文献综述，主要包含了表情识别里程碑式的研究成果；表情识别的三个步骤，同时针对每一个步骤都介绍了一定的研究工作；针对表情图片输入集的类型将情感识别分为两类介绍近期的研究现状；最后引出本文的研究工作。
第三章为单张表情图像情感识别，根据面部特征点的形状和面部特定区域的纹理信息来对表情分类。
第四章为表情图像序列情感识别，统计分析表情——特征器官变化的对应关系，在此基础上提取表情特征，而后通过特征选择方法进行特征筛选，最后通过特征空间变换完成表情分类。
第五章为两种表情识别的实验，包括实验目的，识别率与实验数据库以及实验设计。
第六章为表情识别系统，设计软件实现情感识别过程，从实验角度对论文作进一步支撑。
第七章为课题总结与展望。
3
第二章 表情图片情感识别研究现状
第二章 表情图片情感识别研究现状
在面对面的交流中，人们可以通过观察对方表情来了解其想传达的情感，是因为人们在头脑中已经存储了某种情感所对应的表情特征。通过计算机对人脸面部表情进行识别就是模拟面对面的交流，其关键也在于确定各种情感所对应的特定的表情特征。Pantic M和Rothkrantz L[4]认为人脸表情识别主要包含三个步骤：人脸检测，表情特征提取，表情分类，每一步骤都影响着表情识别结果的准确性。国内外对于人脸面部表情的情感识别研究也基本在此三个方面展开。
2.1 人脸检测
人脸检测是表情识别过程中的第一步，它对表情识别的结果将会起到决定性的作用。迄今为止的大多数研究都事先设定好了人脸清晰可辨的场景，即使如此，由于人脸大小和位置等的不同，检测人脸依旧存在一定的难度。从一张图片中定位和检测人脸主要有两种途径，其一，将人脸作为一个整体来识别；其二，通过检测人脸的某些重要特征来定位人脸。Pantic和Rothkrantz等[5]对于人脸检测的初期研究是将人脸作为一个整体来识别，通过对人脸形状、颜色等的判定实现人脸检测，然而整体识别很难排除头发或者眼镜遮盖的干扰。
人脸检测的近期研究，主要关注人脸的某些重要特征，进而定位人脸，而且达到了较高的识别速度和准确率。2001年，Paul Viola[6]提出了将AdaBoost学习算法应用于人脸检测过程中，即结合积分图，AdaBoost算法选取一些关键特征以构造分类器，通过级联器迅速聚焦于类似人脸的区域。此种方法的提出不但在检测速度上提高很多，而且检测率也达到了非常高的水平。而现在的人脸检测系统也大都是以AdaBoost算法为原型进行改进的。
人脸检测的研究不仅仅是表情识别的第一步骤，也被应用于其他很多领域，如身份认证、媒体娱乐活动以及图像检索和人脸识别等等，因此作为一个有重要意义的研究方向，其得到了广泛的关注和探索。
2.2 特征提取
由于目前人脸检测技术已经具备了较高的速度和准确性，基本上满足了研究的需要，对人脸面部表情情感识别的研究便主要集中在：如何确定各种情感所对应的特定表情特征。普遍意义上，表情分类大多是依据Ekman P和Friesen R[7]定义的六种基本表情或其子集：惊奇、恐惧、厌恶、愤怒、高兴、悲伤。因而，
4
第二章 表情图片情感识别研究现状
大多数表情识别的研究都聚焦于表情特征提取这一步骤。
同时，Ekman P和Friesen R[8]提出了面部运动编码系统（FACS），这一系统的提出主要根据人脸解剖学，因此使得应用运动单元描述面部表情更加方便。其中，在44个运动单元中，有30个与人面部相关，同时这些运动单元之间既相互又相互联系。虽然运动单元的数量不是很多，但是已经发掘超过7000多种不同的组合方式[9]。面部运动编码系统的强描述性为表情识别的细节研究打下了基础。
表情特征提取的方法主要包含两类：基于形变的表情特征提取和基于运动的表情特征提取。在基于形变的表情特征提取中，主要分为基于图像本身和通过建立某种模型进行特征提取。
2.2.1 基于形变的表情特征提取
1． 基于图像的方法
人们对于表情特征提取的研究开始于提取具体某一张图片中的表情特征，即充分提取人脸表情所揭示的可视化信息，如表情图像的纹理、形状、特征点位置等。基于图像的表情特征提取，国内外研究较多，也有很多方法取得了比较不错的效果。在2009年，周晓彦等[10]将人脸表情图像中的34个基准点作为几何特征，同时应用Gabor小波变换提取基准点处的Gabor特征，并将此两种特征进行融合，而后利用模糊核判别分析方法进一步提取表情特征，并在此分析方法中引入样本的类隶属度信息，在一定程度上提高了识别效果。2011年，胡步发等[11]应用层次分析法对人脸表情图像进行高层语义描述，建立了高层语义向量。在识别阶段，对主成分分析所提取的纹理特征并应用K-NN算法并结合语义特征向量完成表情分类，此方法获得了比较高的表情识别准确率。 Qiang Zhou[12]将Gabor变换和局部二值模式(Local Binary Patterns)结合用于表情识别，实验表明该方法虽然优于几何特征提取方法和LBP方法，但是Gabor小波变换的计算复杂度过高。2010年应自炉等[13]提出一种基于表情加权距离的有监督SLLE算法，依靠对不同类别的表情选择不同的加权值，使表情识别的准确率得到了不错的提升。Liao等人[14]从人脸图像中提取了两种表情特征集。纹理特征通过应用局部二元模式特征和Gabor滤波器的Tsallis熵，而全局外观特征是在人脸训练图像集中应用线性判别分析方法获得，其实验结果在很大程度上优于以往方法。Kotsia等人[15]提取表情图像的纹理和形状特征并应用神经网络完成融合，以此特征对基本人脸表情进行分类。
2. 基于模型的方法
Edwards G和Cootes T等人[16-17]开创了通过主动外观模型模拟人脸的方法，此方法的提出为人脸表情特征的提取提供了坚实的基础。Huang C和Huang Y[18]
5
第二章 表情图片情感识别研究现状
通过点分布模型和灰度模型来找到面部特征点，并将特定点的位置变化通过10个动作参数来描述，识别过程大致为：在训练阶段，将全部训练表情集的动作参数分到六个特定的类别中；在识别阶段，针对给定的表情序列，提取这10个动作参数，通过计算动作参数为进行面部表情的识别。Pantic M和Rothkrantz L[19]提取眼嘴等面部器官的特征点，并结合32个既又相互联系的面部肌肉运动单元进行基于规则的推理，达到了较高的识别率。Tang等人[20]使用主动外观模型（AAM）来提取面部特征点, 并结合局部形状特征进行情感识别，其中，为了提升AAM的效果，应用Adaboost算法定位人眼位置来初始化AAM。Hammal等人[21]基于转移可信度模型提取嘴、眼、眉毛等的轮廓特征和精简的距离系数,然后由基于规则的决策系统对此距离系数进行情感识别。然而，针对动态图像序列作为输入，其动态表情识别结果与连续的人脸特征却不一定是同步的。
2.2.2 基于运动的表情特征提取
Johansson[22]的实验表明，人脸的可视化特性能够通过描述人脸特征点的运动和分析这些运动之间的关系来识别，这为基于运动的表情特征提取提供了依据，国内外关于这一点的研究方法很多，而且还在不断出现新的视角研究基于运动的表情特征提取，有的研究是采用特定方法定位特征点，并对特征点进行跟踪；还有部分研究直接定义特征点的变化为某类参数或向量，以此表示运动特征等。 在基于运动的表情特征提取中，代表方法有光流法[23],但由于人脸表情变化属于非刚体运动，识别效果并不是很准确。Essa等人[24]使用光流法并结合几何、物理和基于运动的动态模型描述面部结构。Cootes[25]针对面部特征点定位和跟踪提出一种有效的模版匹配方法，即可对每幅图像自动选取局部特征模版，快速并且准确的完成跟踪。Tong等人[26]依靠多状态层级方法跟踪面部特征点。其主要包含四个贡献，第一统计形状模型的层级表达表征人脸的全局形状约束和面部组件的局部结构细节；第二结合Gabor小波和灰度级轮廓有效表征面部特征点；第三，依靠人脸姿态估计调整平均形状信息；第四，依靠多模跟踪方法动态评价面部组件的状态和面部特征点的位置。此方法在不同表情和姿态下都可以准确地追踪面部特征点。Aleksic, Petar S[27]提出的面部动画参数与隐马尔可夫模型结合的方法，以面部动画参数作为表情识别的特征，通过隐马尔可夫模型对此特征进行分类。2012年，Niese等[28]通过几何变换把每一帧表情图片的三维特征作为一个特征向量，并应用光流法追踪几何特征点的运动变化，依靠此种方式提取表情特征进行情感识别。2010年，周慧[29]通过运动单元分解与表情过程重组，提取了表情动作的共同变化特征。进而，采用多元尺度分析进行运动轨迹降维。但基于运动轨迹相似性的表情识别依赖于曲线几何形状特征点的数学描述，有些表情的曲线特征比较复杂，很难找到统一特征，因此识别率比较低。
6
第二章 表情图片情感识别研究现状
2.3 表情分类
在表情特征提取完成以后，需要选取适应于所提取特征的分类器，即将不同特征分到不同的表情类别。可以进行表情分类的方法有很多。近年来,比较主流的表情识别方法主要有隐马尔可夫模型、人工神经网络、支持向量机和Adaboost算法等。
隐马尔可夫模型(HMM)是一种用于描述随机过程信号统计特性的概率模型。Zhou等人[30]针对基于Adaboost的嵌入式隐马尔可夫模型，提出一个新的网络结构和参数学习算法,并将此应用在了实时面部表情识别问题。Kaliouby等人[31]应用隐马尔可夫分类包含头部运动的表情序列，对输入视频进行实时表情识别。
人工神经网络(ANN)是一种模拟人脑神经系统的网络结构,具有较强的自学习、自组织、联想及容错能力。Tian 等人[32]提出一个基于几何特征、Gabor小波特征和FACS系统的基于特征的系统 ,该系统采用神经网络作为分类器,得到了比较高的识别准确率。Seyedarabi等人[33]从正面图像序列中选取一部分面部特征点,而后依靠光流算法自动跟踪这些特征点,最后使用RBF神经网络和模糊推理系统完成表情的分类。Ma等人[34]首先对人脸图像进行2维离散余弦变换,然后使用前馈神经网络对人脸表情进行分类。Soyel等人[35]展示了概率神经网络可以被用来进行3D人脸表情的识别，其应用3维距离矢量达到了取得了不错的识别效果。
支持向量机是在统计学习理论发展起来的一种模式识别方法,具有出色的学习性能和结构风险最小化的优点,其能够解决在类间空隙最大的情况下将样本无错误或接近无错误的分开，克服了传统方法中过学习和陷入局部最小的问题。Lu等人[36]应用基于像素模式的纹理特征进行人脸表情识别，在CK人脸表情数据库中使用Adaboost算法和SVM对基本表情的平均识别率达到95.4%。Littlewort等人[37]提出了应用Adaboost算法筛选一部分Gabor特征，并将其送人SVM分类器，以此方式可以从连续的视频序列中很好的识别表情。
Adaboost算法作为一种健壮、快速的检测算法,其被广泛应用在表情分类领域。Wang等人[38]使用基于Look-Up-Table类型的boosting Haar特征弱分类器训练分类器，可以自动的识别出7种表情。Jung等人[39]提出一种创新的矩形特征,应用Adaboost算法从所有可能矩形中选择矩形特征,取得了比使用Haar矩形特征更好的识别效果。
2.4 表情识别类型
两种不同类型的图片输入集形成了单张表情图像情感识别和表情图像序列情感识别两种途径实现特征提取。由于表情图像中变化幅度最大的图片包含着充分
7
第二章 表情图片情感识别研究现状
表情判定信息，因而单张表情图像情感识别能够在一定程度上保证准确度，甚至不逊色于表情图像序列。其大多是依据一些主要器官的位置，大小，形状进行判断但忽略了相邻帧之间的变化信息，这在一定程度上损失了准确度，且不能准确量化表情序列的变化过程。虽然如此，但是其依旧可以达到较高的准确度，文献[40]应用局部二值模式进行表情识别，提取眼睛和嘴巴两区域的表情特征，以此种方式较快地完成表情识别。文献[41]依靠主动外观模型对六种情感的每一种都计算一个平均参数向量，并通过简单最近邻来分类。文献[42]即是使用主动外观模型建模过程中的外观参数c来分类六种基本情感，其使用3层MLP神经网络进行情感分类，达到了很高的识别率。但是其外观参数c有94维，这在很大程度上增加了计算复杂度。
表情图像序列情感识别的关键则是基于运动的表情特征提取。动态图像序列表情识别可以得到更多的表情运动变化信息，同时大量图片作为输入便带来了难以估量的计算量。如果这些计算量没有带来准确度的大幅度提升，这种识别便很难成为最佳选择。文献[43]提取两部分面部特征，一个是面部每个特征点的变化信息，还有一个是应用局部二值模式来获取局部纹理信息。最后结合这两部分信息分类表情。文献[44]针对实时追踪人脸提出了平均位移算法，并且应用此算法可以从面部表情序列中提取出表情信息。文献[45]提出一个基于动态贝叶斯网络的框架，以此框架对面部特征点跟踪和表情识别。通过对不同层次面部运动系统地表示和建立模型，很好地完成特征点跟踪和运动单元的识别。因为只是根据运动单元和面部特征点来推理表情，所以并没有达到很高的准确率。文献[46]提出了一个混合面部表情识别的框架，在此框架中，依靠径向网格有效的降低gabor过滤器的取样，然后依靠组合局部分类器的结果准确地完成表情识别。
2.5 本章小结
表情识别的相关研究人员在人脸检测，特征提取，表情分类等三个步骤都做了大量的工作。同时，针对不同类型的图片输入集，存在不同的方式进行表情识别：单张表情图像情感识别和表情图像序列情感识别。
其中，特征提取步骤对表情识别的结果起到了至关重要的作用，主要包含两类：基于形变的表情特征提取和基于运动的表情特征提取。在基于形变的表情特征提取中，主要分为基于图像本身和通过建立某种模型进行特征提取，而基于运动的表情特征提取则是将表情序列中的变化信息作为表情特征。
然后，针对表情特征，需要选取适应的分类算法进行情感识别，使表情特征可以最大力度的为情感类别的确定作出贡献。
针对单张表情图像，本文改进文献[42]中的方法，提取主动外观模型建模过
8
第二章 表情图片情感识别研究现状
程中的形状以及纹理参数作为表情特征，而后依靠BP神经网络进行表情识别。同时，通过权衡主动外观模型训练过程中的信息保留量与识别率之间的关系，调整了特征向量的维数，即以较低的特征维度获得高的表情识别率。
针对表情图像序列，本文在统计分析基础上，提取了可以体现各类表情差异性的共性特征：基于形变的表情特征和基于运动的表情特征。同时加入优化特征使得差异性更加明显；然后使用支持向量机（Support Vector Machine）作属性评估以进一步精简各类表情的共性信息；最终针对线性组合的方式进行情感识别，选取最小二乘方法将特征空间投影到基向量空间实现表情识别。
9
第三章 单张表情图像情感识别
第三章 单张表情图像情感识别
本文的静态图片表情识别是基于主动外观模型实现的，根据面部特征点的形状和面部特定区域的纹理信息来对表情分类，进一步，调整主动外观模型建模过程中的信息保留量，以实现通过较低维度的特征比较准确地完成表情识别。
3.1 主动外观模型
1. 相关介绍
主动外观模型是T. F. Cootes[47]提出的一种为弹性物体图像建立统计模型的方法，它是依据主动形状模型发展而来。Cootes认为，即使是同一类弹性物体，在不同的情况下，也会表现成不同的形状。根据这一前提，Cootes提出借助训练集图像中的形状信息来完成弹性模型的建立。
主动形状模型的建立过程大致为首先手工标注一部分特征点，并应用最小化对应点距离的原则对齐，在此过程中对物体形状进行放缩、旋转和平移操作，其中，凭借最小二乘方法实现对齐原则。而后，应用主成分分析方法，建立主动形状模型。借助主动形状模型，可以检测出一幅图像中弹性物体的所包含的特征点坐标位置。首先初始化特征点的坐标，例如可以采用Cootes提出的基于遗传算法的初始化方法；而后依据特征点附近灰度与训练集对应点附*均灰度的匹配程度，迭代的对特征点坐标进行调整，直到所检测出的物体形状不再有明显变化
[48]
。
但是，该模型仅仅依靠了图像集的形状信息而忽略了纹理信息，由于人体的
个性化差异，这一方法使得在特征点检测时定位并不是很准。针对这一问题，Cootes等人又提出了结合了形状信息和纹理信息的主动外观模型。 2. 建立面部表情图像的主动外观模型
主动外观模型是由形状模型和纹理模型组成的统计模型。这一模型被广泛应用于面部特征点检测上，其运行过程的关键是找到合适的模型参数使得合成人脸更接近于当前图像。主动外观模型是主动形状模型的延伸，并且在加入纹理信息后得到了更高的准确度。既然主动外观模型综合了形状与纹理两种信息，本方法首先针对两种信息分别建立模型。 1） 形状建模
形状信息建模主要包含三个步骤：特征点位置标注，对齐各个样本特征点组成的形状，通过主成分分析方法建立模型。 特征点位置标注
10
第三章 单张表情图像情感识别
训练集中每一幅样本图片都标注了68个特征点的位置，这些特征点都处在眉毛，眼睛，鼻子，嘴以及脸的边缘上，如图3-1中红色标记点所示。
图3-1 特征点标注
形状对齐
由于每一幅样本图片中脸的角度、比例和位置都不尽相同，因此，为了比较相同位置的特征点，需要先将各个样本特征点组成的形状对齐。对齐过程主要进行放缩、旋转和平移操作，直到使得各个样本图片与平均形状的距离最小。 建立形状模型
将对齐后的各个样本图片做主成分分析，可以得到形状变化的统计模型。具体过程为计算各张图片与平均形状的差值，以此计算协方差矩阵以及此矩阵中的特征值与特征向量。这样各个样本图片的形状信息都可以表示为平均形状与变化信息之和：
x=x+𝑃𝑠b𝑠， (3-1)
2） 纹理建模 模型。 纹理映射
纹理信息建模主要包含两个步骤：纹理映射，通过主成分分析方法建立纹理
将训练集中各个人脸形状和平均形状分别进行Delaunay 三角化，形成三角网格。并通过分段线性仿射方法将三角网格中的纹理信息映射到平均形状形成的基准网格中。三角网格与基准脸如图3-2所示。
图3-2 三角网格与基准脸
11
第三章 单张表情图像情感识别
建立纹理模型
将映射后的各个样本图片中的纹理信息进行主成分分析，得到纹理变化的统计模型。具体过程为计算各张图片与平均灰度的差值，以此计算协方差矩阵以及此矩阵中的特征值与特征向量。这样各个样本图片的纹理信息同样亦可以表示为平均灰度与变化信息的求和：
g=g+𝑃𝑔b𝑔， (3-2)
3） 主动外观模型建模
每张图片都可以通过形状参数和纹理参数来表示。由公式(3-1)、(3-2)可以得到𝑏𝑠𝑠和b𝑔𝑠。因为形状信息和纹理信息具备一定关联性，联合两部分向量，进行主成分分析，进而可以得到联合的模型参数。
𝑔𝑠
适应形状与纹理之间的比例差异性。
𝑠𝑏𝑠𝑠
设𝑏𝑠=�𝑊� ，（i=1,2,3…）,其中𝑊𝑠是每一个形状参数的对角权重矩阵，以𝑏
两式改写为下式：
𝑉𝑠对联合向量进行主成分分析，可以得到b=V*c，其中，V=�𝑉�，因此(3-1)(3-2)
𝑔
由以上两个公式可知，每一幅样本图片都可以表示为基准部分与变化部分的和，改变其中的参数向量c，则可以逐渐改变合成脸的形状和纹理，逐步达到面部表情图像的重建。
g=g+𝑃𝑔𝑉𝑔c， (3-4)
x=x+𝑃𝑠𝑉𝑠c， (3-3)
3.2 基于主动外观模型的特征提取
1） 特征提取
鉴于主动外观模型中的参数c融合了形状和纹理两部分变化信息，对参数c进行加工可以逐步使合成表情趋近于原始表情。对每一张待分类表情图片计算其初始参数向量c，然后用迭代的方法逐步减小合成表情与原始表情之间的差距。当差距不再明显时，保存此时的参数向量c，此时参数c计算的形状与纹理信息即是最终的合成表情。
以上述参数c作为特征简化了使用主动外观模型定位特征点后再进行特征提取的步骤，在速度上得到了很大提升，对应的计算复杂度也降低了很多。虽然参数c结合纹理与形状两种信息确保了精确度，但这两种信息却有一定的冗余性，而致使直接使用参数c并不是适应于表情分类的特征，而仅仅是重建人脸的参数
12
第三章 单张表情图像情感识别
向量，需要提取适应于表情分类的特征。
在主动外观模型的适应过程，除了外观参数c以外，还有形状与纹理参数可以表现表情类别间的差异性，如图3-3所示，其中，𝑉𝑠c代表形状参数， 𝑉𝑔c代表
纹理参数，c代表外观参数。
图3-3 物理意义描述
由图3-3可以看出外观参数、形状参数以及纹理参数都可以用来在一定程度上构建人脸，即外观参数c可以计算形状参数与纹理参数，形状参数可以确定面部特征点的位置，纹理参数则是在形状信息基础上，确定对应位置的纹理信息。针对于人脸表情识别可以发现形状参数仅提取有限的位置信息作为表情特征，无疑会丢失一部分重要的表情信息。例如，一些皮肤的褶皱信息会因为只提取位置信息而被忽略掉。与之相对，纹理参数就可以比较全面的保留表情信息，但因其信息量较大，导致计算复杂度较高，会相应增加分类时间。因此，形状参数可以较快的进行表情分类；而纹理参数可以比较准确的进行表情分类。
本文通过提取图片适应过程中的形状以及纹理参数，分别构建包含物理意义的特征，利用机器学习分类算法进行表情分类以证明两种特征都可以很好的区分表情类别。 2) 维度约减
为了解决文献[42]中方法的特征维数过高的问题。基于主动外观模型参数的
13
第三章 单张表情图像情感识别
表情识别，其特征维数决定于训练主动外观模型时用来训练的图片数量。因为，随着训练图片的增多，所求得的协方差矩阵的特征值所占权重都会相应减小，那么去除掉权重较小的信息就变得尤为重要，否则将会引入大量的噪声信息，影响表情分类。去除掉权重较小的信息的过程也就是降低维度的过程。因此，表情特征参数的提取需要一个合理的信息量。
为了寻求这一合理信息量，首先要明确决定信息量大小的两个维度，即训练图片的数量和训练模型过程中的信息保留量。由于本文重点探讨信息保留量与识别率的关系，因此只需确定一个训练图片的数量等级即可。选定数量等级后，在识别率较高的区间内随机选择多个信息保留比例，以期找到信息量与识别准确率间的最优关系。这样可以以最优信息量进行特征提取，也就完成了降低维度的过程。
本文通过对主动外观模型训练过程中信息保留量的调整，降低表情特征的维数，同时利用机器学习分类算法再次实验，以验证降低维度的可行性。
3.3 BP分类算法
在1986年，Rumelhart等人[49]提出了误差反向传播训练算法，即BP算法，
这一算法的提出系统解决了在多层网络中，隐含层之间的连接权值的学习问题。BP神经网络依靠此算法成为神经网络中应用最广的算法模型。其模仿人脑中的神经元对外部激励信号的反应过程，建立多层感知器模型，利用信号正向传播和反向过程的学习机制，通过多次迭代学习，逐渐建立处理非线性信息的智能化模型。
BP神经网络是一个需要同时提供输入集和期望输出集的有监督的学习方法。它有三个层次：输入层、隐含层和输出层。在BP神经网络中，需要依赖于问题的复杂程度来决定需要几层隐含层。在BP神经网络学习过程中，有两个步骤： 1） 正向传播
在这一步骤中，每一个隐含单元或者输出单元都是依靠上一层的单元，连接权值和阈值计算得到。这些单元求得的值作为输入被送往激发函数，其中， Sigmoid函数被广泛应用为激发函数，Sigmoid函数见公式(3-5)。
S(t)=
1+𝑒−𝑡1， (3-5)
2） 反向过程
在这一步骤中，反向逐层计算期望输出值与实际输出值之间的偏差，并根据此偏差调整各节点的连接权值和阈值。
本文针对所提取的主动外观模型建模过程中的形状参数和物理参数的特点：特征的每一维很难找到其所对应的物理意义。因此，选取BP神经网络作为分类
14
第三章 单张表情图像情感识别
方法，只关心输入特征整体以及所对应的输出即可很好的完成人脸表情的情感识别。
3.4 本章小结
本章针对单张图片作为输入来识别表情，通过提取待测表情在主动外观模型中的形状与纹理特征，直接应用此类特征进行表情识别，形状特征只考虑外部轮廓点而丢失了皮肤的一些褶皱信息，而纹理特征保留了比较完整地表情特征，但速度上面有所降低。针对维数问题，本章对主动外观模型建模过程中主成分分析的信息保留量进行了研究，调整此信息量参数对特征降维的同时完成去噪功能，为进一步表情识别做好准备。
15
第四章 表情图像序列情感识别
第四章 表情图像序列情感识别
统计分析表情——特征器官变化的对应关系，在此基础上提取表情特征，而后通过特征选择方法进行特征筛选，最后通过特征空间变换完成表情分类。
4.1 特征提取
结合面部运动编码系统，统计发现各类基本表情与此系统中运动单元的对应关系，如表4-1：
表4-1 对应关系
表情 高兴 悲伤 愤怒 恐惧 厌恶 惊奇
规律 AU6+AU12 AU1+AU4+AU15 AU4+AU5+AU7+AU23
AU1+AU2+AU4+AU5+AU20+AU26 AU9+AU15+AU16 AU1+AU2+AU5+AU26
表4-2 运动单元
其中，与此相关的运动单元定义如下：
表情 AU1 AU2 AU4 AU5 AU6 AU7 AU9 AU12 AU15 AU16 AU20 AU23 AU26
规律 内眉毛抬高 外眉毛抬高 眉毛降低 上眼睑抬高 脸颊抬高 眼睑收缩 鼻子紧皱 嘴角抬高 嘴角下压 下嘴唇下压 嘴唇拉伸 嘴唇紧缩 下巴下压
16
第四章 表情图像序列情感识别
由此可见，每一类表情均有明显区别于其他表情的变化过程，这些变化过程即可作为识别此类表情的依据。通过大量统计性实验，排除一部分人们的个性化表情变化过程，本文筛选出一部分明显可以代表各类表情特点的变化规律：
表4-3 表情规律
表情 高兴 悲伤 愤怒 恐惧 厌恶 惊奇
规律
嘴角横向拉伸，嘴角上移，眼睛变小 嘴角下移，内眉毛上升 嘴变小，眉毛下移 嘴角横向拉伸，嘴分开 上嘴唇上移，眼睛变小
嘴张开，嘴变大，眼睛变大，眉毛上移
由表4-3可见，嘴、眉毛、眼睛等区域是体现各类表情之间差异性的主要区域，由此三个区域就可以较准确地区分各类表情。基于此，本文选取这三个区域作为表情特征的提取区域，提取基于形变的表情特征和基于运动的表情特征两种类型的特征。其中，在对待测表情进行情感识别时，本文应用主动外观模型（AAM）对面部特征点进行标注，即应用AAM获取特征点坐标，而后完成特征提取和表情分类步骤。
4.1.1 基于形变的表情特征提取
由于表情图片的形状特征在一定程度上可以区分各类表情，因而这部分静态
信息对表情识别也是极为重要的。本文提取眼睛、嘴巴、眉毛等三个区域的形状特征，即计算这三区域内关键特征点之间的相关斜率信息，完成基于形变的表情特征提取，在此部分共提取16维特征，此类特征的具体描述见表4-4。
4.1.2 基于运动的表情特征提取
人类表情变化一般都是渐变的，由较平静到表情峰值，表情特征逐渐趋于明显，其中，这种明显的变化过程在很大程度上决定了表情类别。鉴于此动态变化对于表情识别的重要意义，本文对三个区域内的关键特征点进行追踪，提取相应的位移信息；同时，本文还提取了表情图片的特定特征点之间的距离信息，将距离均与平静图片作差，得到距离的变化信息，以更全面的表示动态特征变化。在此部分，本文共提取了20维特征，此类特征的具体描述见表4-4。
4.1.3 特征优化
统计发现，如果某类表情包含明显区别于其他类别的表情特征，且此特征不
17
第四章 表情图像序列情感识别
能由其他类别线性表示，此类表情将更容易被准确识别。在此六类表情中，恐惧缺少这类特征，很容易被其他表情所表示，例如其嘴角横向拉伸可以通过高兴与悲伤组合而成，其嘴分开的程度都可以由比其张开程度更大的高兴与惊奇表示。针对此类问题，本文在表情识别过程中，将嘴角纵向变化的绝对值加入到特征集中，这解决了通过高兴与悲伤组合产生恐惧表情的情况。
为了更直观、准确地阐述选取的特征，本文将用到的坐标点进行了标号，如图4-1。
图4-1 特征点标示
综合以上三部分特征，共提取特征37维，如表4-4所示：
表4-4 特征提取
特征类别
区
编
特征值的获取
域 号
基于运动的表情特征提取（所求得的值均与平静帧的对应值作差 )
3 嘴 1
2
横坐标方向距离：（48,54）
纵坐标方向距离：（48,65）+（54,65）+（48,67）+（54,67）
[横坐标方向距离的绝对值：（48,54）]+[ 纵坐标方向距离的绝对值：（51,57）]
18
第四章 表情图像序列情感识别
4 5
纵坐标方向距离：（62,66）
纵坐标方向距离：（48,61）+（54,61）+（48,63）+（54,63）
6 7
纵坐标值：（49）+（50）+（51）+（52）+（53） 纵坐标方向距离：（49,59）+（50,58）+（51,47）+（52,56）+（53,55）
8 [横坐标方向距离的绝对值：（48,54）]+[ 纵坐标方向距离的绝对值：（62,66）]
9 纵坐标值：（48）+（54）
10 两点连线斜率所对应的角度值：（51,54） 11 两点连线斜率所对应的角度值：（57,54） 12 两点连线斜率所对应的角度值：（51,48） 13 两点连线斜率所对应的角度值：（57,48） 眉毛
14 纵坐标值：（17）+（18）+（19）+（20）+（21）
+（22）+（23）+（24）+（25）+（26） 15 纵坐标值：（20）+（21）+（22）+（23） 16 纵坐标值：（17）+（18）+（25）+（26） 眼睛
17 纵坐标方向距离：（38,40）+（37,41）+（43,47）
+（44,46）
18 纵坐标值：（7）+（8）+（9）
19 纵坐标值：（37）+（38）+（43）+（44） 20 纵坐标值：（40）+（41）+（46）+（47）
基于形变的表情特征提取（所求得的值即为特征值 )
嘴 21 两点连线的斜率：（51,54）
22 两点连线的斜率：（57,54） 23 两点连线的斜率：（51,48） 24 两点连线的斜率：（57,48） 眉
25 两点连线的斜率：（21,19）
毛 26 两点连线的斜率：（19,17）
27 两点连线的斜率：（22,24） 28 两点连线的斜率：（24,26） 眼
29 两点连线的斜率：（38,39）
睛 30 两点连线的斜率：（39,40）
31 两点连线的斜率：（37,36） 32 两点连线的斜率：（36,41）
19
第四章 表情图像序列情感识别
33 两点连线的斜率：（42,43） 34 两点连线的斜率：（42,47） 35 两点连线的斜率：（44,45） 36 两点连线的斜率：（45,46）
优化特征
37 动态特征2的计算结果的绝对值
4.1.4 特征选择
本文使用递归属性排除及线性向量机作属性评估[50]。为了在数值上对所提取特征进行去噪，依靠支持向量机方法计算各维特征所包含的信息量。支持向量机属于一般化线性分类器，因此适应于线性组合方式分类表情的方法。在此特征选择方法中，采用软边缘算法，训练过程包含执行如下二次规划算法：
表4-5 SVM算法
输入： 训练集 类标签 过程：
x1,x2,x3,…xk y1,y2,y3,…yk
最小化参数𝛼𝑘 W=�1��𝑦𝑦∝∝(𝑥𝑥+𝛾𝛿)−�∝
ℎ𝑘ℎ𝑘ℎ𝑘ℎ𝑘𝑘
2 输出：
参数𝛼𝑘
保持0≪∝𝑘≪𝐶 且 ∑𝑘∝𝑘𝑦𝑘=0 ℎ𝑘
𝑘
其中，在表4-5中，γ和C均为软边缘参数。具体的特征选择方法采用支持向量机计算的权值大小作为排序准则，算法大致流程如下:
表4-6 特征选择算法
输入： 训练集 类标签 初始化： 待排序特征子集 特征子集排序列表 递归终止条件 递归过程： 输入特征集 训练分类器
20
X0=[x1,x2,x3,…xk]𝑇 y=[y1,y2,y3,…yk]𝑇 s=[1,2,3,…n] r=[] s=[]
X根据s确定,即X=X0(:,s) α=SVM-train(X,y)
第四章 表情图像序列情感识别
计算权重向量 计算排序准则
找到排序准则中最小的c 更新特征子集排序列表
W=∑𝑘𝛼𝑘𝑦𝑘𝑥𝑘 f=argmin(c) r=[s(f),r]
Ci=(Wi)2,对于所有的i
消除待排序特征子集中的元素 s=s(1:f-1,f+1:length(s)) 输出：
排序完毕的特征集合
r
采用此种方法进行特征选择，较好的适应于线性组合方式的分类方法，可以很好的降低维度，与此同时去除一部分针对表情库中个性化的人脸表情信息。在此部分，将输入的37维特征降为21维，对应的特征编号为1,2,3,5,6,7,8,9,10,11,12,13,15,17,18,21,22,23,24,25,37。
4.2 分类方法
由于每类表情都存在各自的共性信息，本文便只提取了可以体现各自特点的表情特征。基于共性信息，本文用已知标签的表情特征制造基向量空间，待测表情通过将其特征投影到此空间来判断表情类别，这充分利用了同类表情间的相似性。为解决表情分类问题，本文引入最小二乘规则，并在此基础上改进评判标准，使其可以更好的针对线性组合的方式进行表情识别。 1）最小二乘方法的应用
最小二乘方法是一种应用在超定方程组中的标准优化方法。其中，超定方程组是指方程个数大于未知量个数的方程组。其通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘方法可以简便的求得未知量，使函数模型可以最好的拟合观测值。
代表每一类表情图像的特征集，即x𝑠=𝑅𝑘𝑠，其中𝑘𝑠代表在第i类中，图像集包含多少张图片，而R代表每一张图像的所有特征。 因此，可以得到如下n个等式：
𝑣1=𝑎1𝑅11+𝑎2𝑅21+𝑎3𝑅31+⋯+𝑎𝑘𝑅𝑘1−𝑦1 … …
𝑣2=𝑎1𝑅12+𝑎2𝑅22+𝑎3𝑅32+⋯+𝑎𝑘𝑅𝑘2−𝑦2
假使X作为n类已知标签的特征，即X=[x1, x2，…, x𝑛]，其中x（𝑠i=1,2,…,n）
𝑣3=𝑎1𝑅13+𝑎2𝑅23+𝑎3𝑅33+⋯+𝑎𝑘𝑅𝑘3−𝑦3
其中，v𝑠(i=1,2,…,n)即为第i维特征的残差值,y𝑠(i=1,2,…,n)即为待测图
21
𝑣𝑗=𝑎1𝑅1𝑗+𝑎2𝑅2𝑗+𝑎3𝑅3𝑗+⋯+𝑎𝑘𝑅𝑘𝑗−𝑦𝑗
第四章 表情图像序列情感识别
片的第i维特征，𝑅𝑝𝑝(p=1,2,…,k)(q=1,2,…,j)即为训练集图片中第p张图片的维度，k代表一共包含多少张图片。
基于最小二乘准则，V𝑇𝑉=min， 其最小二乘解即为：
的第q维特征，而𝑎𝑠(i=1,2,…,k)即为每一张图片的投影系数，j代表表情特征
2
即∑𝑛𝑠=1||𝑎1∗𝑅1𝑠+𝑎2∗𝑅2𝑠+⋯+𝑎𝑛∗𝑅𝑘𝑠−𝑦𝑠||=min
因变量残差即为：
a=(𝑋𝑇𝑋)−1𝑋𝑇𝑦， (4-1)
v=aX−y， (4-2)
因为本文特征的提取都是当前帧与平静帧的比较，只有峰值图片可以更好的
体现表情间差异性，所以本文的基向量空间仅仅由视频序列的峰值图片组成。针
对每一张待测图片y，通过改变投影系数，使得合成特征值更趋近于原始值，即 求解(4-3)式即可得到由每类表情合成待测表情的残差。 2) 表情识别
v = argmin {||𝑦−𝑋𝑎||22}， (4-3)
普遍意义上，应用最小二乘方法，应该以真实值与合成待测表情之间的残差
作为评判标准，即针对每一类表情，分别计算残差，以残差最小的表情类别作为最终结果，见公式(4-4)。
其中，𝑥𝑠(i=1,2,…,n)即为第i类的表情图像集特征,𝑎𝑠(i=1,2,…,n)即为针
图像集，来表示待测表情y的残差。而后，通过选取最小的𝑣𝑠确定y的表情类别。
但是以残差最小的那类表情作为待测表情的表情类别存在问题，因为人们的表情都包含各自的个性化信息。因此，基向量空间中可以依赖这种个性化，表示不属于自己类别的表情，以致影响分类结果，即以残差方式作为表情分类依据会存在波谷，稍后会在实验阶段加以验证。 3） 方法改进
针对上述问题，可以做如下改进：由于各类表情存在共性关系，因此在待测表情的合成中，本类表情所占权重会更大，即通过求解待测表情图片在基向量空间的投影系数，就可以确定每一张测试图片的表情类别。
本文以系数向量作为判别标准，将同一类的系数向量求和，然后依据投影系数权重，说明接近的表情类别。结合公式(4-1)，求取投影向量a，而后通过将每一类表情的系数求和确定表情类别，见公式(4-5)。
𝐶𝑠=∑𝑗=𝑠𝑠
𝑠
22
𝑗=𝑠+𝑘𝑠
对第i类表情空间得到的投影系数向量，𝑣𝑠(i=1,2,…,n)即为仅依靠第i类表情
𝑣𝑠 = argmin {||𝑦−𝑥𝑠𝑎𝑠||22}， (4-4)
𝑎𝑗， (4-5)
第四章 表情图像序列情感识别
即为第i类表情的图片个数，𝑎𝑗(j=1,2,…,k)即为第j维投影系数的值，𝐶𝑠(i=1,2,…,n)即为第i类表情的投影系数之和。此过程等价于依靠最小二乘方变化。
法将特征空间变换到基向量空间进行表情分类。以此种方式进行表情识别，可以量化每一帧的情感状态，并将这种情感状态连续化，很好的体现人们连续的情感
其中，𝑠𝑠(i=1,2,…,n)即为第i类表情的起始图片编号，而𝑘𝑠(i=1,2,…,n)
4.3 本章小结
本章针对动态图片序列作为输入来识别表情，通过结合FACS在物理意义方面提取一部分表情特征，而后结合统计数据，加入可以提升适应于线性组合方式的表情特征，在此特征集基础上，应用支持向量机作属性评估，在数值上对特征进一步去噪，以增加表情识别率。最后，依靠最小二乘方法将特征空间变换到基类空间上以完成分类，即判断待测图片更接近于哪一类表情。
23
第五章 表情识别实验
第五章 表情识别实验
设计实验验证人脸面部表情识别算法。利用Cohn-Kanade2010人脸表情库分别针对两种不同类型的输入图片集进行人脸面部表情情感识别实验。
5.1 实验目的
设计两类情感识别实验，针对不同类型的图片输入集，完成提取表情特征和表情分类的步骤。
针对单张表情图像，提取主动外观模型适应过程中的形状和纹理参数进行表情识别，并依靠BP神经网络进行表情识别。同时，权衡主动外观模型训练过程中的信息保留量与识别率之间的关系，调整特征向量的维数，即以较低的特征维度获得高的表情识别率。
针对表情图像序列，首先在统计分析基础上，提取体现各类表情差异性的共性特征，同时加入优化特征使得差异性更加明显；然后使用支持向量机（Support Vector Machine）作属性评估以进一步精简各类表情的共性信息；最终依靠最小二乘方法将特征空间投影到基向量空间实现表情识别。
5.2 识别率与实验数据库
1） 识别率
本文实验的识别率计算方法见公式(5-1)。
识别率=
2） 实验数据库
两种类型的表情识别实验均采用Cohn-Kanade2010人脸库作为面部表情数据库[51]。CK表情数据库是由18岁到50岁年龄区间内的210名成年人组成，其中有69%是女性、31%是男性；81%是欧美人、13%是黑人、6%的其他人种。
在数据库中包含593组面部表情图像序列，每组表情序列均是从平静状态下的人脸表情开始，到达表情峰值结束；每幅图像均处在光照不变化的条件下、且都带有不同面部表情的正面人脸，图像格式为PNG,大小为0*490（灰度图像）或者0*480（彩色图像）。图5-1为CK2010库中的随机选取的8张表情图片。
同时，CK2010库中的每幅人脸图像带有一个标注文件，用于记录68个面部特征点在图像中的坐标位置。这些特征点分别来自眉、眼、鼻、外唇、内唇和
24
相关图片正确分类数量全部相关图片数量
， (5-1)
第五章 表情识别实验
下巴。
图 5-1 Cohn-Kanade2010人脸表情库
5.3 实验设计
5.3.1 单张表情图像情感识别实验
本文对外观参数、形状参数和纹理参数作为特征做了大量对比实验，验证了形状和纹理特征可以很好的体现各类表情的个性化信息，同时，在不损失识别准确率的前提下，对三种特征进行了有效降维。进一步，为了验证实验结果具有鲁棒性，依靠表情数据库中全部图片训练主动外观模型再次进行实验。 1) 实验描述
本实验表情分类以Ekman 和Friesen[7]提出的六种基本面部表情为划分依据，同时以公式(5-1)作为识别率的计算公式。分类过程主要包含3个步骤：训练主动外观模型，提取面部表情特征以及基于此特征的表情分类。 训练主动外观模型
主动外观模型的训练采用CK表情数据库[51]。在六种基本表情中各取一定数量的表情峰值的图片，并将相应的坐标点标注文件一起被用来训练，这样就完成了主动外观模型的建立。
提取面部表情特征以及基于此特征的表情分类
在主动外观模型训练完毕之后，将CK表情数据库中表情峰值的图片作为输入测试集图片，提取其能够很好体现出表情差异特征的参数，进而以此参数作为表情特征，并通过BP神经网络对特征进行分类，即实现表情的识别。 2) 实验安排
实验选择CK表情数据库中307张图片进行表情识别，其中悲伤表情28张，惊奇表情81张，愤怒表情45张，厌恶表情59张，高兴表情69张，以及恐惧表
25
第五章 表情识别实验
情25张。每组实验都是基于六种表情进行分类，通过十折交叉验证得到以下结果。 实验1
由于识别准确率与数量等级并非完全正相关，为了选取恰当的数量等级，以期实现更高的识别率，本文将建立主动外观模型过程中信息保留量预先定为97.5%，实验分别从六类基本表情中选取10、15、20和25张图片，即以四个数量等级建立主动外观模型。不同数量等级下，分别以外观参数c、形状参数𝑉𝑠c和
95%90%85%80%75%70%60张图片 90张图片 外观参数 纹理信息 120张图片 形状信息 150张图片 纹理参数𝑉𝑔c作为特征进行表情分类的准确率如图5-2所示。 图5-2 图片数量维度实验效果
相对于外观参数c而言，形状与纹理参数都更好的体现了表情类别间的差异性；在各个数量等级下，基于纹理特征的表情识别率均为最高，然而其维数也最高。由于本文的重点在于探索信息保留量与识别率之间的关系，因此选取合适的数量等级即可，对于其他信息保留量下的最优数量等级不再进行实验验证。 实验2
由图5-2可知，在97.5%的信息保留量下，90张图片的数量等级实现了较高的准确率，因此，实验2就基于90张图片的数量级进行特征维数与识别准确率之间的研究。首先，在信息保留量这个维度上进行85%到98.5%之间随机变动，求出识别准确度在何量级范围内不会有大的波动。实验结果如图5-3所示。
26
第五章 表情识别实验
100%95%90%85%80%75%70%外观参数 纹理信息 形状信息 图5-3 图片信息保留量维度实验效果
对比实验的结果显示：在实验设定的信息保留量范围内，信息保留量与识别率并非完全正相关，而是呈现曲线波动相关的态势；其中90%左右信息保留量的识别准确率已达到三者的一个峰值，接近95%的表情识别准确率已足以区分表情类别。
外观、形状和纹理特征的维数都与信息保留量呈现正相关关系。随着信息保留量的增加，三者维数的增速也逐渐加快，其中纹理维数增速最快，具体相关性如图5-4所示。
80706050403020100外观维数 纹理维数 形状维数 图5-4 维数与保留信息量关系
由以上两个实验可以发现：90%左右信息保留量是权衡识别准确率和特征维数的较优选择。在这个选择下进行表情识别，其外观参数、形状信息和纹理信息
27
第五章 表情识别实验
对应维数分别为18、11和36。各个表情识别率如表5-1所示。
表5-1 表情识别实验结果
识别率
高兴
悲伤
愤怒
厌恶
惊奇
恐惧 平均识别率
.9023 % 92.1824% 94.1368%
外观参数c识别 100% 71.4% 75.6% 96.6% 93.8% 80% 形状信息识别 纹理信息识别
100% 78.6% 82.2% 96.6% 97.5% 76% 98.6% .3% 88.9% 94.9% 97.6% 84%
实验3
为了验证实验结果具有鲁棒性，用307张图片训练主动外观模型，通过调整信息保留量来找到在307张图片的数量等级下的最优识别率区间。实验结果如图5-5所示。
100%90%80%70%60%50%40%30%20%10%0%外观参数 纹理信息 形状信息 图5-5 表情识别实验结果
可以发现，相比于外观参数而言，形状参数和纹理参数在随机选取的各个信息保留量下也都获得了更高的表情识别率，因此，本实验结果具有鲁棒性。 3) 实验分析
由于外观参数融合了形状与纹理两部分信息，而形状信息与纹理信息有一定的冗余性，致使外观参数并不是适应于表情分类的特征，而仅仅是重建人脸的参数向量。因此单纯的形状或纹理信息进行表情识别反而可以发挥各自的优势。形状参数仅仅提取有限的位置信息表示表情，便可以较快的进行表情分类；而纹理参数可以比较全面的保留情感信息，可以比较准确的进行表情分类。因此，形状参数依靠其低维数的特点在要求快速进行表情识别的领域会有很大的价值，与之相对，在要求准确表情识别的领域需要依靠纹理参数进行表情识别。
28
第五章 表情识别实验
在训练主动外观模型过程中，随着输入图片数量的增多，各个图片信息所占权重都会相应减小，使得表情分类过程中所引入的噪声信息增多，以致影响分类。因此，一个合理的信息量可以充分的减少噪声信息，同时很好的体现表情类别间的差异性。
通过引入全部图片验证了优秀的实验结果具有鲁棒性，即不会随着训练主动外观模型库的不同而影响形状参数和纹理参数的物理意义。
综上，相比于外观参数c而言，形状和纹理参数也都可以很好的分类不同表情图片，同时形状参数凭借其低维数优势可以快速识别，而纹理参数以小部分速度代价换来了更高的识别率。同时，在三种特征降低维度后，仍可以保持较高的识别率。由于主动外观模型的训练只依靠于少部分图片，因此，对于未知的同类型的表情图片也可以达到类似本实验的识别结果。 4) 实验结论
本文提出提取主动外观模型适应过程中的形状与纹理参数来分别构建包含物理意义的特征进行表情识别。同时通过对信息保留量的调整，完成对表情特征维数的降低。实验结果表明，利用文章提出的方法提取的形状以及纹理的特征向量进行表情分类取得了优秀的分类结果且具有鲁棒性，并且在此基础上对特征维度的降低没有损失识别率。未来的工作将是在主动外观模型的适应过程中，使表情差异性较大的部分具备更大的权重，这必会进一步提高表情分类的识别率。
5.3.2 表情图像序列情感识别实验
本实验基于最小二乘方法进行表情识别。首先，验证以残差作为标准的最小二乘方法不适应于此分类过程。然后，验证以投影系数作为判别标准的可行性，可行性验证过程仅选择所有峰值图片进行实验，即依靠峰值图片集中一部分图片制作基向量空间，剩余部分进行测试。进一步，进行鲁棒性验证，依靠全部图片完成基向量空间同时对全部表情进行测试，然后与其他研究进行对比，以验证实验结果具有鲁棒性且优于以往研究。最后，输入测试集序列，将其中的表情变化量化，并以曲线形式呈现，证实这种方式可以实时地抓取视频序列中人脸表情的变化过程。最后，展示恐惧之外其余5类的实验结果。 1) 实验描述
本实验表情分类以Ekman 和Friesen[7]提出的六种基本面部表情为划分依据，同时以公式(5-1)作为识别率的计算公式。分类过程主要包含3个步骤：提取面部表情特征、特征选择以及基于此精简特征的表情分类。 2) 实验安排
实验选择CK表情数据库中307个表情图片序列进行表情识别，其中悲伤表
29
第五章 表情识别实验
情序列28个，惊奇表情序列81个，愤怒表情序列45个，厌恶表情序列59个，高兴表情序列69个，以及恐惧表情序列25个。每组实验都是基于六种表情进行分类。
实验1（残差作为标准的表情识别）
由于人们的个体化差异，在以残差作为最小二乘的检验标准时，每类表情都可以由其余表情类别中的元素近似组合而成，使得残差的变化区间都很小，即波谷。实验过程为针对307张图片，以每类表情分别作为基向量空间，并以全部307张图片作为测试，其中，307张图片按顺序分别为：高兴69张、悲伤28张、愤怒45张、恐惧25张、厌恶59张、惊奇81张，得到结果如下：
图5-6 以残差作为评判标准的识别结果
即使把残差上限设为趋于0的值即1.2E-6，这307张图片仍旧可以在这个残差区间内被其他类表情所表示，可见由于个体化差异，基于残差的最小二乘方法并不适应于表情识别。但这种方式适应于包含个性化差异的识别，例如人脸识别等。
实验2（投影系数作为标准的可行性验证）
本实验随机采取每类15张图片作为基向量空间，其余图片均作为测试图片，包含高兴54张、悲伤13张、愤怒30张、恐惧10张、厌恶44张、惊奇66张。
30
第五章 表情识别实验
实验结果如下：
表5-2 识别结果
高兴
悲伤
愤怒
恐惧 厌恶
惊奇
平均识别率 93.09%
92.59% 69.23% 86.67% 80% 100% 98.48%
反过来，以这每类15张图片作为测试图片，其余图片作为基向量空间，结
果如下：
表5-3 识别结果
高兴
悲伤
愤怒
恐惧 厌恶 惊奇 平均识别率
86.67%
100% 93.33% 86.67% 40% 100% 100%
可以发现，恐惧的准确率上下波动很大，其一因为个性化差异很大，恐惧表情很难提取比较明显的共性信息，其二是其表情表现的程度可以由其余表情组合获得，以致影响识别准确率。 实验3（鲁棒性验证）
为了验证鲁棒性，本文将全部307张图片作为基向量空间，同时也全部作为测试图片，以此证明高准确率具有鲁棒性。
以文献11中的方法作为对比实验，设置较优化的参数，以全部307张图片作为测试。两实验的对比结果如下：
表5-4 识别结果（实验3）
实验结果 本文方法 文献[42]
高兴 100% 100%
悲伤
愤怒
恐惧 76% 80%
厌恶 100%
惊奇 100%
平静 - -
平均识别率 95.77% .90% 87.43%
91.51%
85.71% 93.33% 71.40% 75.60%
96.60% 93.80%
文献[45] 97.08% 80% 66.67% 80% 91.02% 96.88% - 文献[46] .80% 86.43% 63% 84.78% 91.86% 96.97% 93.57%
由实验3可以发现，通过投影系数确定表情识别的方式可以达到较高的表情
识别率。
实验4（视频序列曲线验证）
随机选取六段表情序列，其实验结果如下：
31
第五章 表情识别实验
图5-7 视频序列曲线验证
实验5（5类表情识别）
由于恐惧并未找到合适特征使其区别于其他类别，如果将此方法仅仅应用于剩余5类表情，识别优化的过程便可以去掉，实验结果如下：
表5-5 识别结果（实验5）
高兴
悲伤
愤怒
厌恶 惊奇 平均识别率
98.23%
100% 92.86% 93.33% 100% 100%
3) 实验分析
由上述实验可以发现，针对本文所提取的表情特征，在应用最小二乘方法后，以残差作为判别标准的方式进行情感识别存在波谷，即不适合于直接应用残差方法解决表情分类问题。相对的，凭借同类表情之间存在共性信息的性质，依靠特征空间变换将特征投影到基向量空间中，而后结合每一类表情内的投影系数可以准确地进行表情识别。同时，实验结果具有鲁棒性且优于以往研究，并且人们在表情变换过程中的情感变化也可以由视频曲线进行实时抓取。 4) 实验结论
本文结合面部运动编码系统与人脸表情的关系，筛选出各类表情类别之间明
32
第五章 表情识别实验
显的差异性特征。之后，引入最小二乘方法计算投影系数，并结合同一类基向量空间中的系数判断表情类别。此外，本文还对特征进一步优化提取，并在一定程度上提高了识别准确率。实验结果表明，在准确率方面，本文方法优于以往相关研究，且具有鲁棒性。同时，如果只针对恐惧之外的5类表情进行识别，将达到更高的准确率，如何提高恐惧这类表情的识别率是本文下一步的研究方向。
33
第六章 表情识别系统
第六章 表情识别系统
为了对论文的实验过程作支撑，本章主要介绍表情识别系统的设计、实现细节和表情分类结果展示。
表情识别系统的硬件设备要求为：AMD 2200+ / 512 RAM / 80G 硬盘 (或更高)，而软件设备要求为：操作系统Microsoft Windows XP / Windows 7，QT运行环境Qt 5.1.0，Opencv版本 2.4.3，weka3.7.0.
6.1 单张表情图像情感识别实验 6.1.1 实验具体实现
单张表情图像情感识别模块是系统的一个核心处理模块。它包括了一组用于获取表情图片和AAM训练库的交互页面，特征提取和分类算法的确定子模块。此静态图片表情识别模块可以依靠AAM训练库，计算表情图像的特征值，即纹理特征。通过引入BP神经网络方法进行表情识别。其中，AAM训练库是通过大量的表情图片进行训练，表情识别的过程实现了自动化选取，如图6-1所示。
单张表情图像情感识别输入：表情图片AAM训练库特征提取模块训练集特征测试集特征BP神经网络分类模块输出：分类结果
图6-1 单张表情图像情感识别
34
第六章 表情识别系统
其中，交互页面用于选择AAM训练库以及待分类的表情图片，当然AAM训练库也可以随时重新制作，以达到针对不同风格表情图片都可以很好地完成表情识别。
6.1.2 实验过程展示
在单张表情图片情感识别模块中，包含训练库制作、特征提取、开始分类、和结果显示四种功能，在每一个功能过程中，日志文件模块会随时更新制作步骤。
训练库制作功能完成对现有AAM训练库的替换，使得针对不同种风格的表情图片都可以达到很好的识别效果。此过程运行后，需要也更新训练集文件。
特征提取功能在建立AAM（主动外观模型）的过程中，通过提取表情图片的纹理参数作为特征，得到可以很全面表现表情信息的特征数据。此运行过程伴随将所测图片显示到峰值帧的对应位置，以更接近用户需求。
开始分类功能调用BP神经网络的分类方法，将每一张表情图片比较准确地分到不同类别。
结果显示功能通过对已知类别数据的解析，得到所对应的表情类别并显示到界面。
按顺序完成这些功能后，界面显示如下图6-2所示：
图6-2 单张表情图像情感识别结果
35
第六章 表情识别系统
6.2 表情图像序列情感识别实验 6.2.1 实验具体实现
表情图像序列情感识别是系统的一个核心处理模块。它包括了一组用于获取表情图片和图片坐标文件的交互页面，特征提取、特征选择以及分类算法的确定子模块。此动态图片表情识别模块可以依靠表情图片坐标点位置信息及各个坐标点的变化信息，计算表情图像的特征值，同时依靠特征选择算法对所选特征去除噪声，即取得优化以后的特征。最后通过最小二乘方法进行表情识别。其中，表情识别的过程实现了自动化选取，如图6-3所示。
表情图像序列情感识别输入：待检测表情序列图片体现表情共性信息的优化特征集合表情序列特征提取模块优化的表情序列特征文件特征选择模块优化的表情序列特征文件最小二乘分类模块输出：表情序列分类结果
图6-3 表情图像序列情感识别
其中，交互页面用于选择待表情图片以及其相应的坐标文件，并可以对当前特征进行特征选择，以达到针对不同风格表情图片序列都可以很好地完成表情识
36
第六章 表情识别系统
别。
6.2.2 实验过程展示
表情图像序列情感识别模块主要是对动态序列表情图片进行表情识别操作。流程大体如下：首先，对训练集图片进行特征提取，并制作特征文件，然后运行特征选择过程，筛选特征的子集，即在降低维度的同时完成去噪。然后，针对序列的峰值帧进行测试，因为如果峰值帧判断正确，序列中每一帧的变化便是正确的。这一步骤也就是对测试集序列进行特征提取。在载入表情特征集以后，开始进行分类，包含两种方式作对比，一种是常规的以残差为判别标准的最小二乘方法，一种是本研究提出的以投影系数为判别标准的最小二乘方法。本软件还存在针对待测的表情图片序列，每一帧都判断表情类别的功能。
按顺序完成这些功能后，界面显示如下图6-4所示：
图6-4 表情图像序列情感识别结果
由图6-4可见，动态图片序列表情的变化过程可以从此序列所属表情类别中获得：其为从平静帧到峰值帧的变化序列，而表情类别也随接近峰值帧而逐渐准确，当然这也符合人们表情变化的规律。
37
第七章 总结与展望
第七章 总结与展望
7.1 工作总结
本文从图片输入集的角度完成了两种不同类型的表情识别方法：针对单张图片表情图片实现静态表情识别，即根据面部特征点的形状和面部特定区域的纹理信息来对待测表情进行表情分类；针对表情图片序列实现动态表情序列情感识别，提取适应于线性组合方式的表情特征，最后依靠特征空间变换完成表情分类。
静态表情识别过程中，首先，通过分析主动外观模型中主要参数的物理意义，发现表情图片适应过程中的形状以及纹理参数可以很好的体现各类表情的个性化信息，利用机器学习分类算法实现以这两参数作为特征的表情分类。然后，通过权衡主动外观模型训练过程中的信息保留量与识别率之间的关系，理解到信息保留量增加的同时还会在表情分类过程中引入噪声信息，需要调整特征向量的维数，即以较低的特征维度获得高的表情识别率。
动态表情序列情感识别过程中，首先在统计分析基础上，提取体现各类表情差异性的共性特征，同时加入优化特征使得差异性更加明显；然后使用支持向量机（Support Vector Machine）作属性评估以进一步精简各类表情的共性信息；最终依靠最小二乘方法将特征空间投影到基向量空间实现表情识别。
在QT环境下搭建实验平台；采用Cohn-Kanade2010人脸表情库作为情感识别数据库；实验测试的情感状态有六种，分别是高兴、悲伤、愤怒、恐惧、厌恶和惊奇。实验表明，在以上两种类型的表情识别方法中，本文均提取了更适合于人脸表情识别的特征，并且在不损失识别率的条件下，有效地降低了特征维数。本文的研究角度和方法优化了静态和动态表情识别的效率，并且更具准确性，为表情、声音和动作等结合的跨模态情感识别做出了贡献。
7.2 未来展望
面部表情特征提取是情感识别的关键环节，也是情感跨媒体识别的重要环节。因此，面部表情识别的准确性需要进一步的提高。未来的工作应该从两个角度下继续：针对静态图像表情识别，应该在主动外观模型的适应过程中，使表情差异性较大的部分具备更大的权重，这将会进一步提高表情分类的识别率；而动态表情序列情感识别，则应该聚焦于如何提高特征不明显的表情识别，即如何提高恐惧这类表情的识别率是下一步的研究方向。
38
参考文献
参考文献
[1] Picard R. Affective computing[M]，Cambridge，MA，USA： MIT Press，1997.
[2] Mehrabian A. Communication without words[J]， Psychology Today，1968，2 (4): 53～56. [3] Darwin C. The Expression of the Emotions in Man and Animals[M]，London: J. Murray，1872. [4] Pantic M，Rothkrantz L. Automatic analysis of facial expressions: The state of the art. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(12)：1424-1445. [5] Pantic M, Rothkrantz L J M. Expert system for automatic analysis of facial expressions[J]. Image and Vision Computing, 2000, 18(11): 881-905.
[6] Viola P, Jones M J. Robust real-time face detection[J]. International journal of computer vision, 2004, 57(2): 137-154.
[7] Ekman P，Davidson R. The Nature of Emotion: Fundamental Questions， Oxford Univ. Press，New York (1994)
[8] Ekman P, Friesen W V. Facial Action Coding System: A Technique for the Measurement of Facial Movement, Palo Alto: Consulting Psychologists Press,1978.
[9] Handbook of methods in nonverbal behavior research[M]. Cambridge: Cambridge University Press, 1982.
[10] 周晓彦, 郑文明, 邹采荣, 等. 基于特征融合和模糊核判别分析的面部表情识别方法[J]. 中国图象图形学报, 2009, 14(8): 165-171.
[11] 胡步发, 黄银成, 陈炳兴. 基于层次分析法语义知识的人脸表情识别新方法[J]. 中国图象图形学报, 2011, 16(3): 420-426.
[12] Zhou Q, Zhang S. A Comparative Study of Geometry, Gabor Wavelets Representation and Local Binary Patterns for Facial Expression Recognition[C]//2010 4th International Conference on Intelligent Information Technology Application. 2010: 129-132.
[13] 应自炉, 李景文, 张有为. 基于表情加权距离 SLLE 的人脸表情识别[J]. 模式识别与人工智能, 2010 (002): 278-283.
[14] Liao S, Fan W, Chung A C S, et al. Facial expression recognition using advanced local binary patterns, tsallis entropies and global appearance features[C]//Image Processing, 2006 IEEE International Conference on. IEEE, 2006: 665-668.
[15] Kotsia I, Zafeiriou S, Pitas I. Texture and shape information fusion for facial expression and facial action unit recognition[J]. Pattern Recognition, 2008, 41(3): 833-851.
[16] Edwards G，Taylor C，Cootes T. Face recognition using active appearance models[J]. Computer Vision — ECCV’98，1998：581–595.
[17] Edwards G，Taylor C，Cootes T. Interpreting face images using active appearance models[C].
39
参考文献
Third IEEE International Conference on Automatic Face and Gesture Recognition，1998. Proceedings，1998:300–305.
[18] Huang C，Huang Y. Facial expression recognition using model-based feature extraction and action parameters classification[J]. Journal of Visual Communication and Image Representation，1997，8(3):278–290.
[19] Pantic M， Rothkrantz L. Facial action recognition for facial expression analysis from static face images [J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B，2004,34(3)：1449-1461.
[20] Tang F, Deng B. Facial expression recognition using AAM and local facial features[C]//Natural Computation, 2007. ICNC 2007. Third International Conference on. IEEE, 2007, 2: 632-635.
[21] Hammal Z, Couvreur L, Caplier A, et al. Facial expression classification: An approach based on the fusion of facial deformations using the transferable belief model[J]. International Journal of Approximate Reasoning, 2007, 46(3): 542-567.
[22] Bassili J N. Facial motion in the perception of faces and of emotional expression[J]. Journal of Experimental Psychology: Human Perception and Performance, 1978, 4(3): 373.
[23] Lucas B，Kanade T. An iterative image registration technique with an application to stereo vision. Proceedings of International Joint Conference on Artificial Intelligence, 1981.
[24] Essa I A, Pentland A P. Coding, analysis, interpretation, and recognition of facial expressions[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1997, 19(7): 757-763.
[25] Cristinacce D, Cootes T F. Feature Detection and Tracking with Constrained Local Models[C]//BMVC. 2006, 17: 929-938.
[26] Tong Y, Wang Y, Zhu Z, et al. Facial feature tracking using a multi-state hierarchical shape model under varying face pose and facial expression[C]//Pattern Recognition, 2006. ICPR 2006. 18th International Conference on. IEEE, 2006, 1: 283-286.
[27] Aleksic P. Automatic facial expression recognition using facial animation parameters and multistream HMMs. IEEE Transactions on Information Forensics and Security，2006，1(1)：3-11.
[28] Niese R, Al-Hamadi A, Farag A, et al. Facial expression recognition based on geometric and optical flow features in colour image sequences[J]. IET computer vision, 2012, 6(2): 79-. [29] 周慧. 人脸表情特征表达与识别算法研究[D]. 哈尔滨工业大学, 2010.
[30] Zhou X, Huang X, Xu B, et al. Real-time facial expression recognition based on boosted embedded hidden markov model[C]//Image and Graphics, 2004. Proceedings. Third International Conference on. IEEE, 2004: 290-293.
40
参考文献
[31] El Kaliouby R, Robinson P. Real-time inference of complex mental states from facial expressions and head gestures[M]//Real-time vision for human-computer interaction. Springer US, 2005: 181-200.
[32] Cohn Y T T K J F. Recognizing Facial Actions by Combining Geometric Features and Regional Appearance Patterns[J]. 2001.
[33] Seyedarabi H, Aghagolzadeh A, Khanmohammadi S. Recognition of six basic facial expressions by feature-points tracking using RBF neural network and fuzzy inference system[C]//Multimedia and Expo, 2004. ICME'04. 2004 IEEE International Conference on. IEEE, 2004, 2: 1219-1222.
[34] Ma L, Khorasani K. Facial expression recognition using constructive feedforward neural networks[J]. Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on, 2004, 34(3): 1588-1595.
[35] Soyel H, Demirel H. Facial expression recognition using 3D facial feature distances[M]//Image Analysis and Recognition. Springer Berlin Heidelberg, 2007: 831-838. [36] Lu H C, Huang Y J, Chen Y W. Real-time facial expression recognition based on pixel-pattern-based texture feature[J]. Electronics letters, 2007, 43(17): 916-918.
[37] Littlewort G, Bartlett M S, Fasel I, et al. Analysis of machine learning methods for real-time recognition of facial expressions from video[C]//Computer Vision and Pattern Recognition. 2004,2.
[38] Wang Y, Ai H, Wu B, et al. Real time facial expression recognition with adaboost[C]//Pattern Recognition, 2004. ICPR 2004. Proceedings of the 17th International Conference on. IEEE, 2004, 3: 926-929.
[39] Jung S U, An K H, Chung M J. Efficient rectangle feature extraction for real-time facial expression recognition based on AdaBoost[C]//Intelligent Robots and Systems, 2005.(IROS 2005). 2005 IEEE/RSJ International Conference on. IEEE, 2005: 1941-1946.
[40] Verma R, Dabbagh M Y. Fast facial expression recognition based on local binary patterns[C]//Electrical and Computer Engineering (CCECE), 2013 26th Annual IEEE Canadian Conference on. IEEE, 2013: 1-4.
[41] Ratliff M，Patterson E. Emotion Recognition using Facial Expressions with Active Appearance Models. In Proc. of HRI, 2008.
[42] Kuilenburg H，Wiering M，Uyl M. A Model Based Method for Automatic Facial Expression Recognition. Machine Learning: ECML 2005 Lecture Notes in Computer Science，2005,3720:194-205.
[43] Meng H, Romera-Paredes B, Bianchi-Berthouze N. Emotion recognition by two view SVM_2K classifier on dynamic facial expression features[C]//Automatic Face & Gesture
41
参考文献
Recognition and Workshops (FG 2011), 2011 IEEE International Conference on. IEEE, 2011: 854-859.
[44] Zhao-yi P, Zhi-qiang W, Yu Z. Application of Mean Shift Algorithm in Real-Time Facial Expression Recognition[C]//Computer Network and Multimedia Technology, 2009. CNMT 2009. International Symposium on. IEEE, 2009: 1-4.
[45] Li Y, Wang S, Zhao Y, et al. Simultaneous Facial Feature Tracking and Facial Expression Recognition[J]. IEEE transactions on image processing: a publication of the IEEE Signal Processing Society, 2013.
[46] Gu W, Xiang C, Venkatesh Y V, et al. Facial expression recognition using radial encoding of local Gabor features and classifier synthesis[J]. Pattern Recognition, 2012, 45(1): 80-91. [47] Cootes T F，Edwards G J，Taylor C J. Active appearance models[C]. Proceedings of European Conference on Computer Vision，1998：484-498.
[48] Cootes T F, Taylor C J, Cooper D H, et al. Active shape models-their training and application[J]. Computer vision and image understanding, 1995, 61(1): 38-59.
[49] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive modeling, 2002, 1: 213.
[50] Guyon I, Weston J, Barnhill S, et al. Gene selection for cancer classification using support vector machines[J]. Machine learning, 2002, 46(1-3): 3-422.
[51] Lucey P，Cohn J，Kanade T，et al. The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression [C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW),2010：94–101.
42
发表论文和参加科研情况说明
发表论文和参加科研情况说明
参加科研项目情况：
实验室与航天恒星科技有限公司合作项目：无人机通用数据处理平台软件架构
实验室与清华大学合作项目：大规模分布式仿真控制软件
发表论文：
1. 软件著作权《表情识别工具软件》
2. 论文《Facial expression recognition based on texture and shape》
（在投）
3. 论文《Facial expression recognition for image sequences》（在投）
43
致 谢
致 谢
首先要感谢石红老师，石老师严谨的治学态度和科学的工作方法给了我很大的帮助和影响。
本论文的完成离不开冯志勇教授的悉心指导，冯老师不但让我在技术水平上得到了很大的提高，更教会了我该如何解决问题、如何在团队中寻求共同进步，这些将使我受益终生。在此衷心感谢冯老师对我的关心和指导。
在实验室工作及撰写论文期间，还得到了许多老师和同学的帮助。特别要感谢的是徐超老师，在研究工作和论文写作期间给我了许多具体的指导，在此表示由衷的感谢。
我感谢实验室的师兄师姐师弟师妹对我的关心和帮助，感谢李超、丹、薛万利、张东萍、陆泽萍、彭伟龙、李超、尹晓燕、常方媛、吕亚丹。
我感谢室友对我的关心和帮助，感谢陈栓、陈赛、杜长霄。
我感谢我的父母，也感谢刘江曼，正是由于他们的理解和支持，才使我更有动力的完成科研工作，克服学习道路上的种种困难，最终完成学业。
师长与同学在工程实现与论文编写过程中对我提供的帮助不仅于此，但本文篇幅有限，未能一一列出，在此一并感谢。
44
因篇幅问题不能全部显示，请点此查看更多更全内容
Copyright © 2019- huatuo9.cn 版权所有 赣ICP备2023008801号-1
违法及侵权请联系：TEL:199 18 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务