全球最权威人脸识别测试 刚被中国团队夺了第一

   <p style="text-align: center;"><a href="/misc/goto?guid=4958190462259388048" title="程序员"><img alt="全球最权威人脸识别测试 刚被中国团队夺了第一" src="https://simg.open-open.com/show/a08e318ff2ebc4ad30d5e6ff0cd93701.jpg" /></a></p>    <p>中国公司依图科技获得目前为止全球公开的、最大规模测试集、最权威测试指标下的最好成绩。在最近公布的国际权威人脸识别供应商测试 FRVT（Face Recognition Vendor Test）结果中，中国公司依图科技获得了四项测试的第一名，超过了俄罗斯公司 Vocord （Vocord 是国际老牌安防厂商，长久以来超越 Google 等公司盘踞人脸识别算法第一名）。</p>    <p>FRVT 是由美国国家标准技术局 NIST (National Institute of Standards and Technology)组织的人脸识别供应商测试，作为美国国家采购的官方指导，其测试的权威性是全球工业界实际应用的黄金标准。</p>    <p>FRVT 的人脸识别测试集合来自美国国土安全局的真实业务场景，例如出入境、刑侦过程中收集的大量照片。与时下热门的由学术机构举办的 LFW、MegaFace 测试相比， FRVT 更贴近实战，测试规模更大，不仅拥有百万量级测试数据，同时这些测试数据均不公开，有效避免算法过拟合甚至是作弊手段。</p>    <p style="text-align:center"><img alt="全球最权威人脸识别测试 刚被中国团队夺了第一" src="https://simg.open-open.com/show/3ae258ff21932a3bed584917d78acadf.jpg" /></p>    <p style="text-align:center">表一:主流的人脸识别测试场景、测试集、指标比较</p>    <p style="text-align:center"><img alt="全球最权威人脸识别测试 刚被中国团队夺了第一" src="https://simg.open-open.com/show/1464ca11ba920d9189291eaea148bfe3.jpg" /></p>    <p style="text-align:center">表二: 在三个测试集上代表厂商成绩比较。安防厂商海康威视未发布公开测试成绩。</p>    <p>LFW 是由美国马萨诸塞大学发布并维护的公开人脸数据集，测试数据规模为万，国内多个团队例如百度、腾讯、大华、旷视、商汤都曾获得了 99.5% 以上的成绩。</p>    <p>MegaFace 是由美国华盛顿大学发布并维护的公开人脸数据集，测试规模比 LFW 大 100 倍，更能区分各个算法的性能差异。第一名是创立于 1999 年的老牌俄罗斯公司 Vocord，获得 91.7% 的成绩，比第二名腾讯优图高出8%，优势明显。由此可见，虽然国内大互联网公司拥有超大规模计算算法训练平台、互联网级的数据优势，但离全球顶级的测试结果还有差距。</p>    <p>在顶级的竞争中，数据和计算的优势并不能保证输出最优秀的算法性能。</p>    <p>由美国国家标准技术局（NIST）主持的 FRVT，除了主持机构的权威性外，测试结果的权威性还来自其评测的严谨和全面性:</p>    <p>1、数据均来自真实业务场景，测试结果好则代表该技术可以在实战场景中直接应用。</p>    <p>2、数据规模是通过对百亿对样本采样，达到百万量级。如此大规模的测试集可以稳定评估算法性能，详细区分不同算法的优劣。</p>    <p>3、测试数据不公开(盲测)，这保证了测试的公正性。因为参赛的算法团队无法利用测试数据做模型训练，可以有效避免过拟合或直接作弊等手段，因此相对于 LFW、MegaFace 而言，FRVT 则更能体现测试的公正性。</p>    <p>4、科学专业性，FRVT 对不同实战场景、人种、年龄、性别，做了详细分解下的识别性能比较，并在模型速度、特征库大小、比对阈值等做了详细评估。</p>    <p>据官方最新发布的报告，FRVT 的第一名是中国公司依图科技，在千万分之一误报下(采样百亿对样本)的准确率为 95.5%，比第二名俄罗斯公司 Vocord 93.5% 的准确率高出 2%。这是目前为止全球公开的、最大规模测试集、最权威测试指标下的最好成绩，比 2014 年参与同样测试的第一名日本公司 NEC 在准确率上有大幅提高。</p>    <p>NIST 针对测试作了不同场景、不同人种、不同性别、不同年龄的识别性能比较。从 FRVT 的官方描述来看，其提供的测试数据对应了出入境管理、身份门禁认证、平安城市监控等实战应用场景，依图在四项主要的测试场景中均获得第一名。</p>    <p>在更详细的人种（黑人、白人、亚洲人等）、性别比较中，依图的算法表现几乎没有差异；而其他算法随着识别难度增加，识别率出现了不同程度的较大降低。对比结果说明依图的算法可以在不同类型数据分布的实用场景中，例如黑人较多的场景下，算法也可有稳定表现。</p>    <p>具体报告来源于 Ongoing FRVT 2017.6.19 报告 (链接地址：<a href="/misc/goto?guid=4959009772712100460">https://www.nist.gov/sites/default/files/documents/2017/06/20/frvt_report_2017_06_19.pdf</a>)</p>    <p><strong>智能万倍增长</strong></p>    <p>过去四年，从 LFW 到 FRVT，测试指标已经从千分之一误报到千万分之一误报，识别性能已经提高一万倍，意味着误报降低万倍。可以预见，很快就会出现测试指标在亿分之一、十亿分之一、百亿分之一误报下的识别性能比较，这将是另一个千倍的智能识别能力的增长。</p>    <p>可以想象，在十亿级超大规模比对、十亿分之一超低误报下的高识别性能，意味着智能技术将解锁更多的应用场景，从楼宇建筑到城市量级，甚至多城联动，再到全国范围内的人脸比对、安防布控都将成为可能。</p>    <p>依图科技 CEO 朱珑说到：“NIST 是工业界最权威的测试，有最直接的应用指导价值。从测试的结果来说，有两个意义: 我们可以平静的接受，来自中国的算法技术超过全球的竞争对手；更大的意义在于，掌握标准制定话语权和实际全球影响力的美国国家标准技术局，已经显得‘没见过世面’，千万分之一的误报下的识别率并不能拉开我们和第二名的差距，我们的算法已经在 10 亿分之一的误报下达到超过 90% 的识别率。希望将来，国际主流学术机构能接受，只有中国参与的标准测试，才反映全球最前沿的技术理解。”</p>    <p>来自: <a href="/misc/goto?guid=4959009772805070783" id="link_source2">雷锋网</a></p>