深度学习下的微表情研究：困难、进展及趋势

深度学习下的微表情研究：困难、进展及趋势

　　收支记账软件,电脑录播软件,电商比价软件人是善于通过表情伪装情绪的动物，但心理学家却能够通过“微表情”来揭示人们试图隐藏的真实情绪。

　　所谓微表情，是一种持续时间极短、在人们试图掩饰自己真实情绪时泄露出来的面部动作。

　　如果看过美剧《Lie to Me》，应该对微表情不会陌生。男主卡尔?莱特曼是一个微表情专家，他不需要借助测谎仪之类的设备，也不需要收集各种证据，甚至不需要对话，只需要观察细微的表情变化便可以判断一个人是否说谎。

　　之所以能够这样，是因为人们在体验情绪时会有一系列肌肉动作不自觉地表现出来。

　　或者一个人在对事物表示惊讶时，下颚会自然下垂，嘴唇和嘴巴放松，眼睛张大，眼睑和眉毛会微微上抬：

　　当然，我们知道面部表情是可以受主观意识控制，例如一个人可能因其知识、阅历、能力等原因，在内心波涛汹涌的时候做到面不改色。然而，微表情是面部肌肉条件反射地表现出情绪所对应的行为。正是因为如此，微表情往往能够揭示人类试图隐藏的真实情绪。

　　但正如对微表情的定义，微表情持续时间短暂、变化幅度微弱和动作区域较少，很多时候人们很难注意到其存在。只有那些经过大量训练的专家才能准确地检测，而且不同的专家还往往会判断不一致。靠人工来观察微表情真的是一个耗费人力、耗费时间，而且准确度低的事情！

　　耗费人力物力、工作机械、需要大量专家……这不正是机器学习所擅长的吗？事实上，目前已有许多学者在用机器学习的方法进行微表情研究了。

　　对微表情的研究，在方法上事实上类似于人脸识别，一般包含检测和识别两个具体问题。

　　对于人脸识别，一般都是先进行人脸检测，然后对检测到的人脸进行识别。这个过程同样也适用于微表情识别：先从一段长视频中把发生微表情的视频片段检测出来，然后识别该微表情属于哪一类微表情。

　　微表情检测，就是指在一段视频流中，检测出是否包含微表情，并标记微表情的起点(onset)、峰值(apex)和终点(offset)。起点(onset) 是指微表情出现的时间；峰值(apex) 是指微表情幅度最大的时间; 终点(offset) 是指微表情消失的时间。

　　微表情识别是指给定一个已经分割好的微表情片断，通过某种算法，识别该微表情的情绪种类（例如厌恶、悲伤、惊讶、愤怒、恐惧、快乐等）。如同三维动态表情识别一样，其处理的对象是视频片断，而不只是单幅图像。对其处理过程中，不仅要考虑空间上的模式，还要考虑时间上的模式。所以许多微表情识别的算法都考虑了时空模式。

　　相对于微表情检测来说，微表情识别的难度要小一点。所以对微表情的研究一般从微表情识别开始入手。

　　不过对微表情的检测和定位往往会更有实用价值。如果能在一段视频中准确地检测和定位到某个时间点有微表情出现，那么就说明这个人在这个时间点上可能会有异常。

　　目前微表情数据库并不多，已知的有：USF-HD数据库，Polikovsky数据库， SMIC数据库, CASME数据库, CASME II数据库，SAMM数据库，CAS(ME)2数据库。在这八个数据库中，前两个都是非自然诱发的，且非公开的。

　　另外5个数据集，CASME、CASME II、CAS(ME)2是中国科学院心理研究所傅小兰团队所建立，SMIC是由芬兰奥鲁大学赵国英团队建立。各个数据集的细节如下表所示：

　　需要强调的是，这些数据库的样本量都非常小，到目前为止，公开发表的微表情样本只有不到800个。是典型的小样本问题。这就造成当前基于深度学习的方法在微表情问题上无法完全发挥出它应有的威力。

　　事实上，微表情数据库的建立非常困难。一个原因是微表情的诱发很难，研究者往往要求被试观看情绪视频，激发他们的情绪同时要求他们伪装自己的表情。有些被试可能并没有出现微表情或者出现得很少。

　　另一方面，微表情的编码也十分费时费力。微表情的编码依赖于肉眼，需要观察者慢速观看视频，并且选择脸部运动的起始、高峰、结束并计算他们的时长。而且对于微表情的情绪标定，目前没有统一的标准。

　　微表情数据库面临的另外的问题。因为微表情的运动幅度非常小，并且相对于常规表情常常是局部的运动，导致在情绪分类上并不是很明确，所以不同数据库的情绪标定标准不一样，所以相似的运动被作为不同类的微表情而不同的运动被视作为同类的表情。这一特点导致使用各种数据库进行微表情识别算法训练得出的结果并不一致。

　　此外，由于微表情持续时间短、强度低且经常是局部运动，现在的许多微表情数据库视频质量并不能满足微表情识别分析的需要，这需要具有更高的时间和空间分辨率的视频片段才能进一步改进目前的识别算法。

　　2009-2016年计算机科学领域中微表情论文发文量的统计（数据来自Scopus）

　　上图对2009-2016年计算机科学领域中微表情论文发文量进行了统计。可以看出，近三年来，有关微表情论文的发文量在急剧增长。2009-2016年一共发文81篇，其中2016年就发文30篇，占总数37%。特别是2013年两个微表情数据库（CASME和SMIC）公开发布以后，微表情相关的论文发文量逐年递增。

　　目前，国外做的较好的以芬兰奥鲁大学赵国英团队为主，他们为微表情识别提出了一个系统的框架，并且公开以布了一个微表情数据库SMIC。其他包括马来西亚Multimedia大学的John See团队、英国曼彻斯特都会大学的Moi Hoon Yap团队、美国南佛罗里达大学的Shreve、日本筑波大学的Polikovsky和日本早稻田大学Yao等。

　　而国内做微表情检测和识别的科研机构主要有中国科学院心理研究所傅小兰团队，前面提到的三个数据库都是他们建立的。其次还有东南大学郑文明团队、山东大学贲晛烨团队、复旦大学张军平团队、清华大学刘永进团队、中山大学的郑伟诗团队等。可以看出，国内在这方面有相对较多的研究队伍。

　　从微表情论文发文数量可以看出，微表情检测和识别的研究属于一个小众的研究。其限制的主要原因在于大规模、高质量、公开的数据资源的稀缺。所以，用机器学习方法做微表情研究，面临的一个重要的问题便是：如何建立大规模、高质量的数据库资源。这面临着从硬件，到软件，到标准的一系列严峻挑战。

　　在国内，关于微表情研究的会议或论坛并不是很多，大多只是小圈子内一些研究者之间的相互交流，其他研究人员以及大众对于这方面的研究进展知之甚少。

　　论坛概述：微表情是一种持续时间极短的、在人们试图掩饰自己真实的情绪时泄露出来的面部动作。这种无法压制的属性使微表情成为欺骗检测的重要线索。人们欺骗他人时，个体会有众多反映内心真正情绪体验的信号出现（如害怕欺骗被发现导致的恐惧、愚弄他人的快乐等)。相对于研究较多的持续时间较长的宏表情，对微表情的产生、识别（自动识别）及相应的认知神经机制都有待进一步探索。微表情不可自主控制的属性使其可以应用到国家安全（安检）、司法实践（审讯）、临床医学（医患沟通）、广告与消费（监测消费者的真实态度）等等各个行业领域的真实意图检测。本论坛邀请心理学和计算机专家，从两个学科的角度对微表情检测和识别分别给出报告。

　　主席：王甦菁，IEEE,CCF高级会员。中国科学院心理研究所副研究员，从事微表情检测和识别的研究，采用计算机视觉技术，对微表情检测和识别展开了卓有成效的工作。通过计算机科学与心理学学科交叉研究，在自发微表情诱发、微表情检测和微表情识别等方面取得了系统性的创新成果。“微表情识别方法”荣获2018年第八届吴文俊人工智能科学技术奖一等奖。

　　贲晛烨，副教授，硕士\博士生导师，山东大学未来计划学者。主要研究方向为图像处理、模式识别。获得哈尔滨工程大学优秀博士学位论文奖，黑龙江省优秀毕业生荣誉称号，入选教育部“全国博士后特别资助计划”。2010年4月至2012年5月在哈尔滨工业大学交通信息与控制专业流动站做博士后，2011年11月进入山东大学信息科学与工程学院图像处理与模式识别技术研究所工作，2015年1月至2015年12月在澳大利亚悉尼科技大学人工智能中心（全澳排名第一）陶大程教授研究组访问交流学习一年。主持国家自然科学基金面上、青年基金、科技部国家重点研发计划子课题、山东省重点研发计划、教育部博士点基金，博士后一等资助项目以及博士后特别资助等项目。

　　颜文靖，心理学博士，毕业于中国科学院心理研究所。原温州大学心理系主任、副教授、硕士生导师、韩国全南大学兼职博士生导师。长期开展心理学与计算机的交叉研究，研究兴趣主要包括表情与姿态、欺骗以及心理健康，建立了国际上使用最多的微表情数据库CASME。现在京东数字科技开展心理学与人工智能结合的应用研究。

　　郑文明，二级教授，博士生导师，现任儿童发展与学习科学教育部重点实验室主任、IEEE高级会员、中国认知科学学会理事。2004年9月博士毕业于东南大学无线电工程系信号与信息处理专业。先后在微软亚洲研究院、香港中文大学、美国伊利诺伊大学香槟分校、剑桥大学从事访问研究。主要研究方向为多模态情感计算、神经信息处理、计算机视觉，机器学习。2005年入选教育部新世纪优秀人才支持计划，先后获首届微软青年教授奖、全国优秀博士学位论文提名奖、江苏省杰出青年基金等荣誉。担任IEEE Transactions on Affective Computing、Neurocomputing、The Visual Computer、《图学学报》等国内外期刊编委。主持了科技部973课题、国家自然科学基金重点项目、江苏省杰出青年基金项目等，获国家技术发明二等奖1项、教育部自然科学二等奖2项和江苏省科技进步二等奖1项。