用专利情报洞察「人脸识别」的发展机遇与挑战！

背景故事：

国内多家人脸识别技术公司正在致力于突破人脸识别中的活体验证技术，通过各种技术手段（例如红外）判断进行人脸识别的对象是活人而非照片、屏幕、3D面具等攻击者。他们希望通过专利情报对全球范围内该领域内的最新创新动态进行了解从而指导技术研发、合作与并购的开展。

于是，合享组织行业情报分析专家，利用incoPat展开了一场为期一周的“极客行动”（合享发起的专利情报分析服务的众包模式）......多位专家提交了分析严谨、结构合理、观点犀利、具有启发性的分析报告，经过同行评审，南京知识（马鞍山）律师事务所的专家团队获得最佳报告。

以下为报告节选内容

1.背景

对于人脸识别技术的研究开始于二十世纪六七十年代，Bledsoe以人脸特征点的间距、比率等参数，构建了一个初步的人脸识别系统。进人九十年代后，随着人脸识别技术的广泛应用和各行业对其需求的增加，许多企业、研究机构在从事加快了对人脸识别技术的研究。为促进人脸识别算法的深入研究和实用化，美国国防部发起了人脸识别技术( FaceRecog nition Technolog y 简称FERET )工程。如今，人脸识别已经成为图像分析与图像理解领域最成功的应用之一，且许多成功的人脸识别商业软件投人市场，传统技术中基于人脸认证流程图如图1-1所示。

图1-1 传统技术中基于人脸认证流程图

人脸识别作为模式识别的分支，可分为三个组成部分：检测、分割人脸→抽取人脸特征→匹配和识别人脸，人脸识别技术和方法可以分为基于几何特征方法和基于模板的方法两大类。

1.1 人脸活体检测技术的现状

从2000年后，人脸识别技术逐渐走向市场，人们开始关心人脸识别安全问题，于是构建了模型来模拟活体人与假冒物体对识别系统的欺骗。2002年，L. Thalheim通过实验发现，用照片或简短的视频画面可以轻易地入侵人脸识别系统，绕过了身份的验证。人脸识别的安全隐患得以更加体现，因此人们越来越意识到活体检测的重要性。

对于人脸识别技术来说，基本是基于可见光图像的人脸认证技术，其欺骗手段主要有3类：合法用户的人脸照片、合法用户的人脸视频、合法用户的三维人脸模型。

1.2人脸识别活体验证技术现状

近些年来，为了提供更加安全可靠的活体人脸识别技术，各种算法原理得到不断的应用。活体人脸的检测技术主要有：三维深度信息分析、面部运动的光流估计、人脸和语音混合模型、傅立叶频谱分析、眨眼检测、热红成像等。

2.人脸识别中的活体验证专利分析

2.1 国内外专利申请趋势分析

如图2-1所示，人脸识别活体验证技术在全球的专利分布状况。申请地区集中于中国、美国和韩国等。由图2-2和图2-3中分析发现，人脸识别活体验证领域近年来一直呈快速增长态势，特别是自2000年以后，人脸识别系统逐渐开始运用于商业，对安全性的要求就越来越高；自2000年以后，专利申请量开始快速增加。

图2-1全球人脸识别活体验证的专利分布

图2-2主要国家/地区的专利申请量      

图2-3世界/中国/美国的专利申请趋势

但2006年以后人脸识别活体验证领域，不论是世界专利的申请量，还是中国专利的申请量，都出现了周期性的波动。而中国在活体验证领域的专利申请呈现了高速增长态势，并在2012年之后开始追赶美国。

图2-4 中国主要省份的专利申请量          

图2-5 活体验证技术中国申请人地域分布

如图2-4和图2-5所示，全国范围内排名前三的省/直辖市分布为北京、广东和广东。人脸识别技术领域属于智力密集型企业，北京、江苏具有较多的重点大学，为人脸识别技术的研发提供了智力基础，而且广东、江苏强大的制造业、研发优势积攒的配套系统为人脸识别的研发和制造提供了巨大的动力，特别是在广东诸如华为、腾讯的在人脸识别技术上具有较大的研发突破。人脸识别的主要市场也为经济较为发到的沿海地区，市场的驱动下同样推动着人脸识别技术研发。

2.2 主要申请人及发明人分析

2.2.1 主要申请人申请量分析

如图2-6可知，关于人脸识别活体验证领域的申请量排名前十公司中（未合并申请人），申请量最大的为：SAMSUNG ELECTRONICS CO LTD（三星电子公司），其次为北京旷世（BEIJING KUANGSHI）科技有限公司和北京小孔科技有限公司；这说明我国的公司已经涉足人脸识别活体验证技术，并取得一定的技术突破。并在技术方面已经开始追赶国外企业。

图2-6排名前十的申请人分析

2.2.2 主要申请人申请趋势

如图2-7所示，北京旷世科技与北京小孔科技在2014年之前并未申请相关专利，北京旷世科技与北京小孔科技的申请量集中于2015年。进一步的研究发现，检索得到专利均为：北京旷世科技与北京小孔科技作为共同申请人。如图2-8所示，通过天眼查对北京旷世科技与北京小孔科技进行检索发现，北京旷世科技与北京小孔科技具有较深的渊源，两者主要的投资人基本相同。

图2-7主要申请人专利申请趋势图  

图2-8北京旷世科技与北京小孔科技关系图

2.2.3主要发明人分析

图2-9为主要发明人的排名，其中曹志敏、印奇、贾开和范浩强均为北京旷世科技的员工，这与上述的分析是吻合的。排名第一和第二的申请人均为外国的发明人，这说明在该领域内，主要技术的发明人还是国外发明人，该领域的主要技术还掌握在外国。

图2-9 主要发明人排名

2.3技术构成分析

2.3.1 技术构成随年度的变化

分析图2-10可以发现，自2008-2016年间年在人脸识别活体检测领域申请的专利主要分布于G06K9大类；而且，G06K9大类的申请量的在整体上呈现增长的趋势，其具有期间的波动趋势与图2-3的趋势基本吻合。这同样表面G06K9是未来人脸识别活体验证的主要技术发展方向。

图2-10技术构成大组随年度的变化

2.3.2 主要申请人技术构成分析

技术构成小组的申请随年度的变化如图2-11所示。分析小组中可以发现，2008-2016年之间，主要的专利申请量同样集中于G06K9/00小组，这与图2-10是基本吻合的。由图2-12分析发现G06T7/00（图像分析，例如从位像到非位像）和G06T1/00（通用图像数据处理）是仅次于G06K9/00的小组分类号，这也明显说明了人脸识别技术与图像处理技术的息息相关。

图2-11技术构成小组随年度的变化

图2-12主要申请人技术构成小组分析

2.3.3 主要发明人技术构成分析

图2-13所示，除了G06K9/00的小组以外，其他主要的小组分类号为G06K9/62（应用电子设备进行识别的方法或装置）、G06T7/00（图像分析，例如从位像到非位像）、G06K9/46（图像特征或特性的抽取）；这与主要申请人在技术小组的分布趋势基本相似。

图2-13主要发明人在技术领域小组的分布图

2.4主要活体验证技术分析

（1）采用面部姿态进行活体验证

基于面部姿态人脸识别活体验证技术的专利申请始于2002年左右，KR1020030091345A（用于面部识别活体检测的方法和系统测试），从而通过面部表情、嘴巴说话、眨眼等姿态进行活体验证，进而增大人脸识别的欺骗难度。2002-2016年关于专利申请量如图2-14所示，虽然不同的年份的专利申请量有一定的波动，但对数据进行拟合，专利申请量呈上升趋势，而且后续还会继续增长。

图2-14面部姿态活体验证技术的专利申请情况

（2）三维深度信息活体验证技术

如图2-15所示，基于三维深度信息活体验证人脸识别活体验证技术的专利申请始于2004年左右，DE102004039937A1（人脸识别、验证和识别方法和系统）。该技术采用对面部牙齿等特征的三维判断，通过三维深度信息有效的对人脸识别的活体进行验证。进而提高了防欺骗的效果，具有显著的效果。采用三维深度的活体验证技术无需增加附加设备，而且抗照片的欺骗能力一般，特别是抗视频的欺骗能力较弱，通过拟合曲线分析可以发现专利申请量逐渐增加。

图2-15基于三维深度信息活体验证技术的专利申请

（3）基于红外活体验证技术

如图2-16所示，通过拟合曲线可以看出，每年的专利申请量具有波动，但是从拟合曲线分析可以发现专利申请量逐渐增加，但是专利增加的趋势有所放缓。在大规模数据集上进行热红外图像的人脸识别测试比较，研究表明热红外图像的人脸识别性能在大规模数据集上低于可见光系统。这也是未来的主要研究方向。降低基于红外热辐射检测活体的检测成本，将是未来的人脸识别活体检测的主要研究方向。成本和技术运行的稳定性将是未来研究人员的主要技术突破的方向。

图2-16基于红外热辐射活体验证技术的专利申请

（4）基于傅里叶频谱分析活体验证技术

如图2-17所示，通过拟合曲线可以看出，基于傅里叶频谱分析活体验证技术每年的专利申请量具有波动，但是从拟合曲线分析可以发现专利申请量逐渐增加，但是后期的增加趋势逐渐放缓，并开始出现S曲线特征。2000年，US6744909B1-Authentication system and method，其将基准和输入的图像作傅里叶变换后再用处理器作非线性变换和反傅里叶变换以确定其证实性。但是，频率动态描述子(FDD)对光线变化敏感，当照片上的光照发生变化时，能量也会动态变化，进一步提高频率傅里叶频谱分析活体验证技术。

图2-17基于傅里叶频谱分析活体验证技术专利申请情况

（5）基于多模生物认证活体验证技术

如图2-18所示，基于多模生物认证活体验证技术每年的专利申请量具有波动，从拟合曲线分析可以发现专利申请量逐渐增加，其中在2002年之前增长比较快，2002到2014年之间专利申请量处于持平的状态，近些年随着网络贸易的增加对网络人脸认证的要求越来越高，采用活体验证的技术专利技术又在此快速增加。

图2-18基于多模生物认证活体验证技术专利申请情况

2.5活体验证技术特点分析及技术发展方向

2.5.1技术特点分析

通过上述分析可以发现，九十年代后全球人脸识别技术可分为 3 个发展阶段，2001年之前专利数量少于100件，处于初步研究阶段；2001年到2010年的十年，日本、美国、韩国等国家在该领域较快发展，主要一方面原因可能是受恐怖袭击的影响，发达国家迫切需求更可靠的安全识别技术。2011年到2015年间，人脸识别技术飞速发展，特别是在2015年，人工之智能科技成为行业热点，促使人脸识别技术成爆发式增长。结合人脸识别过程中的实际应用，活体验证技术应该具有四个特点：易用性、易采集，隐蔽性、抗攻击性，普遍性、唯一性，活体检测性能。

2.5.2技术发展方向

（1）基于面部姿态的人脸检测，具有人脸识别过程简单方便、效率较高，且成本较低；但是复杂图像中的人脸检测技术多数是针对正而端正的人脸，多姿态人脸的检测还存在很大的困难，这将是未来人脸识别活体验证技术中的一个主要研究方向。

（2）小波分析的出现是傅里叶分析的突破性进展，小波变换具有时频局部特性和变焦特性，神经网络具有自学习、自适应、容错性和推广能力，随着神经网络的理论研究日趋深入，神经网络与傅里叶分析的优势结合起来，也是未来的主要研究方向。

（3）三维人脸识别研究真实世界中的人脸是三维的，三维信息特别是三维图像较之一维图像能提供更完整而真实的内容，如何有效地利用直接的三维图像信息进行人脸识别已经成为研究重点。

（4）人体血液流动的过程中产生了温度，会被皮肤发散，使皮下血液系统呈现出一种独特的面部信号。但是这种方法需要增加新的设备，成本较高，降低成本将是未来主要的研究方向。

3.研发、并购、技术合作建议

3.1人脸识别活体验证技术的发展前景

随着网络贸易、国土安全、社会安全的需要，身份验证已经成为安全防护中关注的重点，生物特征识别将迎来一个快速发展的时期；人脸识别技术经历了数十载的发展，如今已经取得了很大的进展，人脸识别系统对采集图像中的人脸辨认准确率较高，却无法准确识别采集的人脸图像是来自人体本身还是来自照片、视频或三维模型。为了更安全的进行身份认证和检测身份来源的真实性，这样就给人脸识别技术工作者提出了更高的要求，人脸识别活体验证技术也必将迎来更为广阔的发展机遇。

3.2研发、并购、技术合作建议

（1）技术研发方向

面部姿态的人脸检测具有人脸识别过程简单方便、效率较高、成本较低；但是多姿态人脸的检测还存在很大的困难，这将是未来活体验证技术中的主要研究方向。小波分析的出现是傅里叶分析的突破性进展，小波变换具有时频局部特性和变焦特性，神经网络与傅里叶分析的优势结合起来，也是未来的主要研究方向。三维人脸识别研究真实世界中的人脸是三维的，三维信息特别是三维图像比一维图像能提供更完整而真实的内容。在人睑活体检测研究中，图片和视频画面或者戴有面具时其表面是没有温度的，而根据人体温度产生的人睑红外感应成像就成为一个新的人睑活体检测的研究热点。人脸识别活体验证技术在商业应用的过程中，降低经济成本、降低技术的简单性、检测的高效性是主要目的。

（2）技术合作建议

中国科学院自动化研究所对人脸识别技术中的活体验证技术的研究起步较早，且持续的有恒定的活体验证技术的专利申请，具有好的技术积淀，其将是技术合作的较好的科研机构；此外，清华大学、中山大学和南京理工大学也是较好的科研机构。自身技术实力又较差的情况下，将难以实现与较大公司的技术合作。着重分析竞争对手的专利布局状况，并有针对性构建自己的专利布局，实现技术并购、交叉许可，达到杠杆效应。

（3）技术并购建议

技术并购的过程中可以选择科研院所和资金相对匮乏的小企业。但是在并购科研院所专利的过程中，要考虑科研院所专利的实用性和商业价值，因为科研院所的技术往往是前瞻性较强，但实用性可能较差。