FRVT赛程全纪录:格灵深瞳全球排名前五

640?wx_fmt=jpeg


作者 | 张德兵,格灵深瞳首席科学家&算法部负责人

来源 | 转载自知乎张德兵


最近两个月,格灵深瞳首席科学家&算法部负责人张德兵与算法团队参加了全球人脸识别算法测试(FRVT、Face Recognition Vendor Test)。虽然是第一次参加此比赛,格灵深瞳还是取得了不错的成绩,排名世界前五,在国内领先,且具体的成绩接近世界最好水平(见表一)。


赛后,张德兵回忆了竞赛的准备过程并记录下来,希望激励团队在不久的将来能够更上一层楼,以下为参赛记录:


640?wx_fmt=jpeg
640?wx_fmt=jpeg

表一:FRVT 1:1 最新排名的前20名(基于第四列的跨14岁嫌疑人识别结果排序)


先介绍一下 FRVT。FRVT 由美国国家标准与技术研究院主办,号称是当今全球规模最大、标准最严、竞争最激烈、最权威的人脸识别算法竞赛,到目前为止,全球已经有近百家公司和研究机构参与了此项测试,包括VisionLabs(俄罗斯)、Ever AI(美国)、Vocord(俄罗斯)、 依图、商汤、旷视、海康、大华、腾讯等等。关于这个比赛,网上也能找到很多介绍,我大概总结一下我觉得比较重要的几个点:


  1. 独特的测试模式。在FRVT评测中,测试集是完全不公开的,只有简略的几段话描述。这意味着FRVT用的不是传统那种通过在本地跑一遍测试集,然后提交结果的评测方式(在传统评测中,大家往往不太考虑模型的计算效率,为了获得更好的成绩,经常会通过大幅提升模型容量的方法来提高效果,而且往往还会采用更加耗时的多模型甚至多尺度预测的融合策略。

    所以,很多比赛中排名靠前的算法,它们的实用价值有可能并不高)。但在FRVT的测试中,官方要求每个厂商或者研究机构都要提供完整的预测代码,并且由主办方在同一个平台上来运行所有提交,得到最终各个测试集上的结果。而且,该测试对于算法的运行时间也有着很严格的限制,所有提交都只能使用不超过CPU单线程1秒的计算资源来处理一张图片从人脸检测、人脸对齐到人脸特征提取和识别的所有功能。这些特点使得FRVT非常客观且直接面向实际应用。

  2. 最严格的提交频率限制。为了避免测试厂商通过反复提交来过拟合测试集,2019年6月以前的规定是,每个厂商每次只能提交一个算法版本,且两次提交之间相隔至少要3个月,其中第一次提交的时候为了避免大家成绩太差,官方允许同时提交两个算法版本。但在2019年6月以后,规则变得更加严格了一些,每个厂商的两次提交间隔变成了4个月,而且不管是不是第一次提交,每次都只能提交一个算法版本。这也就是说我们只有一次提交机会,风险还是挺大的。

  3. 丰富多样的测试场景。FRVT主要覆盖了四种类型的测试场景照片,分别是签证照片(Visa),嫌疑人照片(Mugshot),自然场景照片(Wild)和儿童照片(Child),下面简单介绍一下:

  • 签证照片(如图一(a))。签证照片是非常清晰、正面、无遮挡的一种受控测试场景,成像质量很高,且覆盖了多达上百个国家的人脸数据。

  • 嫌疑人照片(如图1(b))。嫌疑人照片也是比较高清的,跟签证照片相比,嫌疑人两张照片间的年龄跨度一般会更大,有很多都超过了十年的年龄间隔。这个测试又分为两个场景,一个是混合的测试,一个是基于专门挑出来年龄跨度达14年以上的照片进行的更有挑战的评测。

  • 自然场景照片(如图1(c))。自然场景的照片是在非限制场景下采集的,各种光照,角度,遮挡,模糊,低分辨率的情况都可能会出现,是难度非常大的一种场景,某种意义上也更接近安防场景的实际应用。

  • 儿童照片。儿童照片也是在非限制场景下采集的,因为年龄分布跟大家的训练集可能差别比较大,所以也是非常难的一个任务。很多厂商提供的算法,完全无法支持这个场景,以至于得分都没有显示(成绩差于某个数值就不会显示了)。


    640?wx_fmt=jpeg

    图一,签证照片,嫌疑人照片和自然场景的拍摄照片


FRVT对以上每种场景都会进行单独的评测,然后给出一个最终的排名表。在早期的排名表中,是以签证照片识别结果的优劣对大家进行排名的,最近几次的评测则改成了以跨年龄嫌疑人照片的识别结果优劣进行排名。我个人认为,所有这些场景都是挺重要的,在实际应用中都会用到,都不能有短板。且随着人脸识别技术的不断提升,非配合式的自然场景识别肯定是未来需求的大趋势,只有真正做好非配合且无场景限制下的识别才能支持解锁更多的、更广泛的、更大规模的各行各业应用。


比赛前:


一直以来,我们对于刷LFW或者MegaFace之类数据集的就没有太大的兴趣,因为大家都知道,这里面的各种排名其实也都有不公平或者不合理的地方。FRVT则非常专业(看看它上百页的测试报告也能感觉到这一点)。但是对于FRVT竞赛,我个人一直下意识的认为Visa签证照片涉及到了上百个国家的人脸照片,如果没有类似的数据做训练,结果应该很难能做到非常好。而收集相关数据又挑战巨大。


首先想收集覆盖这么多国家的人脸数据已经是非常困难了;其次, 就算收集到一些数据,跟签证的场景也会差别很大;且经过一些尝试后发现,在现阶段,想大量采集签证场景的真实数据几乎是不可能的。­­­­­­­另外,当看到以往成绩较好的一些厂商的结果后,在团队自己内部制作的中国人测试集上对比估算了一下,也发现我们在低误识率下的召回率还是明显要差一些,所以就一直没有尝试。


直到4月份的某一天,当我看到ArcFace在NIST上表现是超出预期的好(github.com/deepinsight/),我才突然意识到,FRVT对于我们的难度很可能被高估了。有了ArcFace这个baseline,感觉就踏实了很多。我个人猜测排名靠前的厂商也不一定真有多少能覆盖到众多国家的签证数据,大家可能更多的还是在用一些开源数据和自己的业务数据来训练的。


同时我们也注意到了大部分厂商其实还并不能在每个任务上都得到很好的结果,有明显的domain差异带来的识别率下降,所以也能多少猜出来一些可能用了什么样的数据之类的信息。


比赛中:


既然如此,那必须要试一下了。


首先仿照ArcFace在开源数据上做一些baseline的模型出来作为参照。这里要强调一下,丰富的测试集对于衡量模型效果是非常必要的。在平时的产品研发中,我们已经积累了大量的多场景测试集,可以测试到非常低的误识别率(我们也发布过一个人脸测试平台,支持接近万亿分之一低误识率且非常高效率的在线模型评测,trillionpairs.deepglint.com,该测试平台也支持了ICCV 2019 的人脸识别 workshop 竞赛 insightface-challenge.com)


接下来就是把长期以来产品研发中积累下来的模型结构设计经验,分布式模型训练经验,数据集融合经验和CPU平台上的高效inference经验快速移植到官方指定的测试环境下。

  • 关于模型结构设计和压缩,在产品的持续研发和迭代中,我们已经积累了比较多的经验,可以很快的设计一批各种各样的CPU友好的模型结构。

  • 关于分布式模型训练,可以参考我们之前的一个分布式人脸识别算法介绍(zhuanlan.zhihu.com/p/35),可以获得几乎线性的加速。

  • 关于数据集融合,在很多场景我们可能都会发现,直接融合两个不同源的数据可能会有一些问题。我们也曾经思考了很久,最终找到了一种可以有效利率各个数据源的融合策略,使得在多个不同的产品场景中都能表现得很好。所以要做的就是把手头上所有的跟NIST比赛数据类型有关的数据都巧妙的融合起来,但是由于时间有限,全量数据做实验是不现实的,这次比赛还是只能用一部分。

  • 关于高效的CPU inference。这里有个小插曲。我们曾经做过一个业余项目,基于强化学习的五子棋AI训练。我们仿照AlphaZero的思路,并且做了针对性的改进,使得基于几十张卡就可训练到强职业的水平,最后这个项目也参加了2019年的五子棋AI世界锦标赛(Gomocup 2019),并且拿了平衡开局的无禁手世界第四名(StarDust),是所有基于深度学习算法中最好的(gomocup.org/results/gom)。为什么只有第四呢?深度学习算法潜力巨大,如果有充分的训练资源,再加上GPU支持的走棋策略当然可以完胜传统算法,但是这个比赛为了公平性的考虑,也有一个限制就是必须要提供CPU单线程下的可执行程序,所以在这么有限的计算资源条件下(而且评测的19x19路的大棋盘),我们觉得能到第四名已经还不错了。虽然没有颠覆所有传统算法,但这次的业余项目,也使得我们对CPU单线程下的inference优化有了比较好的积累。


在这个过程中,我们根据以往的经验,在这个特定比赛任务上,不断的试验各种模型优化策略、数据集融合策略,也包括调整和尝试各种模型结构、超参数、迭代次数、损失函数等等。因为要试验验证的细节非常多,我们先以很高优先级,走通了基于fp16的训练方式,使得训练速度提升了几乎一倍。


这段时间在印象里是过得飞快,但大家都非常兴奋,因为高效率的试验使得我们几乎每隔几天就能看到新的提高。但时间总是很有限,在我们迭代了几十个模型后,就已经六月初,临近比赛结束了。虽然感觉还有很多的想法没有试验完,但是也没办法,差不多就打算选个最好的模型提交了。当时根据我们的自测,结果还凑合,按照ArcFace之前成绩的估算,应该大概率能进入前五名(按FRVT 4月份的成绩)。


之后恰好是CVPR 2019的会议时间(6.15-6.21),FRVT相关的一切基本准备就绪后(只差最后的确认提交),我就带着几个瞳学去了Long Beach,去了解最新的学术动态去了。没想到还没等到开会,就收到了小伙伴新的消息,在半精度模型训练的过程中,发现了一处隐藏的bug,在复杂Loss和数据源的情况下会造成模型训练的不稳定。于是,中美两地开始不分白天黑夜的紧急修改(倒也省得倒时差了),一阵忙活之后,又看到了非常显著的提升,那种感觉是非常不错的。


之后就按照官方要求进行了最终的邮件提交,之后就一直没有什么信息了,直到7.3号,比赛结果出来,看到三项的结果都超过了依图。如果按照4月份的排名,这个成绩基本上能跟当时的VisionLabs并列第一。不过因为VisionLabs也有了小幅提升,然后又冒出来一个成绩还挺不错的Ever AI,所以我们在7.3号最新的榜单里是世界第三名(按公司来看) 或者世界第四名(按模型提交数来看)。只看国内的话,是顺利的暂列第一了(大部分任务都超过了友商,当然在签证照片上还逊色依图,在儿童照片上比旷世差一点)。


我觉得我们有一个比较大的优势是在所有任务上表现都相对比较一致,不像大部分友商的提交,会在某些场景表现得比较差,似乎是出现了一些domain的偏向性,这在实际应用中,有可能会遇到一些问题。仔细看一下结果我们会发现,在这方面Ever AI其实做得更加优秀,非常值得我们学习。

最后再做一个总结吧,简单分三个方面:


一:感谢

  1. 感谢ArcFace的Baseline, 以及在我们比赛中提供的一些支持。

  2. 感谢靠谱的团队成员,人数不多,在产品压力下,还敢做挑战世界的事情,而且还能做得不错。

  3. 感谢友商,给我们提供了阶段性的追赶目标。


二:不足

  1. 训练数据仍没有充分使用起来

  2. 在新型网络结构的探索、模型结构搜索(NAS)和模型inference优化(如定点化, 模型压缩等)等方面还有一定的空间

  3. 在人脸识别的问题建模、损失函数的进一步优化、泛化性能的保证、优化策略的影响等方面仍然缺乏足够的清晰理解


三:未来


人脸识别在真实场景的应用效果,其实远不是一个比赛能够完全衡量的。人脸识别发展到现在,也包括基于人脸识别而衍生出来的行人ReID等以图搜图技术,其实离真正解决工业界大规模的应用都还有不小的距离,万路、十万路、乃至百万路的刚需,仍在前面等着我们去不断优化和探索。


当然,因为涉及到公司内部的很多研发细节,这里无法更加详细的介绍具体技术,但我们非常期待对相关技术有浓厚兴趣、有独特想法、有很强执行力的朋友加入我们,你将有机会了解到所有的技术细节,并与我们一起进一步推进相关研究,做更多有意义的事情。另外,本文的很多内容都是我个人的一些理解和分析,应邀匆忙整理了一下,有些疏漏或者错误也是难免的,如有发现,欢迎指出。


格灵深瞳算法团队格灵深瞳核心团队,负责公司所有产品线的各类不同算法的支持(安防、零售、智能相机、机器人等等,检测、跟踪、识别、检索、商品推荐、数据挖掘、定位和导航等)。同时关注前沿算法研发和踏实的产品落地,拥有大规模的业务数据积累。


作者介绍:


张德兵,格灵深瞳首席科学家和算法部负责人。发表学术论文多篇,并多次担任NIPS、ICML、ICLR、CVPR、ICCV、ECCV、AAAI 和 IJCAI 等学术会议审稿人,推动了深度学习和机器学习技术落地。


原文链接:

https://zhuanlan.zhihu.com/p/72518307


(*本文为 AI科技大本营转载文章,转载请联系原作者


精彩推荐




“只讲技术,拒绝空谈”2019 AI开发者大会将于9月6日-7日在北京举行,这一届AI开发者大会有哪些亮点?一线公司的大牛们都在关注什么?AI行业的风向是什么?2019 AI开发者大会,倾听大牛分享,聚焦技术实践,和万千开发者共成长。


目前,大会盲订票限量发售中~扫码购票,领先一步!


640?wx_fmt=jpeg


推荐阅读

  • 干货 | 20个教程,掌握时间序列的特征分析(附代码)

  • 从发展滞后到不断突破,NLP已成为AI又一燃爆点?

  • 长点心吧年轻人,利率不是这么算的!我用Python告诉你亏了多少!

  • 一文看懂数据清洗:缺失值、异常值和重复值的处理

  • Libra 骗局来了! 受害者会是你吗?

  • 那个裸辞的程序员,后来怎么样了?

  • FreeWheel是一家怎样的公司?| 人物志

  • Mac 被曝存在恶意漏洞:黑客可随意调动摄像头,波及四百万用户!

  • 文末送书啦!| Device Mapper,那些你不知道的Docker核心技术


640?wx_fmt=png 你点的每个“在看”,我都认真当成了喜欢

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/55002.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

格灵深瞳开源量化算法EasyQuant

深度学习给人工智能算法带来了跃阶式的突破,引领了近几年的AI繁荣发展。相应的,“AI”和“AI”落地应用在各产业领域遍地开花。而深度网络模型的嵌入式应用和加速,则是人工智能落地的重要方向。 为了实现深度网络模型的加速,量化…

格灵深瞳上市的背后:AI商业化得打技术牌还是内容牌?

当今时代的人工智能,可谓是正值热潮。随着人工智能应用场景的不断扩展,AI赛道也变得越来越热闹。 近日,AI企业上市大潮又将再添一员。 3月17日,国内知名人工智能科技公司格灵深瞳成功挂牌上海交易所,正式成为A股科创…

格灵深瞳重回视线,沉寂多时后宣布新融资,抢占物联网也备战科创板?

作者|震霆 同步首发至 新芒xinmang.ai 出品|新芒X 公众号|xinmangx 55亿韩元! 当看到这笔投资金额时,多少还是会惊叹一下。 但通过简单换算,差不多3353万元人民币,也就是刚好500万美金&#…

持续高营收增速,格灵深瞳正式成为A股科创板人工智能第一股

成立于2013年的格灵深瞳,是国内计算机视觉行业和算法技术的早期探索者和实践者,在计算机视觉领域拥有大量自主研发的核心算法,并多次在国内外人工智能算法竞赛中夺冠。成立多年来,保持着持续的高营收增速,据招股书显示…

科创板首发过会,格灵深瞳“三变”交出IPO答卷

杨净 发自 凹非寺量子位 报道 | 公众号 QbitAI 就在昨日,格灵深瞳科创板首发过会。 创业8年,这家CV公司,终于向IPO发起最后的冲刺。 格灵深瞳,以视觉感知起家,由前谷歌总部研究院资深研究员赵勇创办,是国内…

格灵深瞳,天才AI公司跌入谷底之后 | 小败局

https://www.toutiao.com/a6714998702441759246/ 文 | 苏建勋 编辑 | 杨轩 一年前入职格灵深瞳时,陈乐就觉得有些不太对劲,“没有加班费,项目提成算进年终奖”,熬到年尾,上司的一句话比北京冬天的风还刺骨&#xff0…

V神身价超过马云,你不知道的天才少年成长历程

作者 | 0x28 本文转载自区块律动BlockBeats 作为以太坊的创始人,Vitalik 究竟有着怎样的成长史?是什么意念在驱动着这位少年前进? 创业 5 年,这位 24 岁的小伙子创办的区块链公司市值高达 3000 亿元,超过马云的 2700 …

格灵深瞳将登陆科创板募资18亿,AI天才未来能否走出巨亏困局?

数据智能产业创新服务媒体 ——聚焦数智 改变商业 又一家顶着巨亏压力的AI公司上市了。 3月4日,上交所发布公告,格灵深瞳首次公开发行股票并在科创板上市。本次发行定价39.49元/股,发行股数不超过4624万股,发行后总股本约1.85亿股…

格灵深瞳发布“深瞳阿瞳目”,体育课离AI越来越近

向上探索更普适的大语言模型,向下寻找更具体的应用场景,AI厂商正在这两条路上狂奔。 在众多应用场景中,教育是AI最重要的应用方向之一。中国有2.91亿在校学生、1844.37万专任教师、2800万台校园终端设备,庞大的用户体量汇聚了海量…

读《徐远的投资课》

双休的周末、阴天,看了段永平的一些资料、阅读了他公开的言论(博客、媒体访谈等),对“价值投资、StopDoingList、“安全边际”等理念想加深认识,于是便找到了这个投资入门课——徐远的投资课。 ☺☺☺原始语音pdf

华为荣耀9升降级系统 | 华为荣耀9变砖后如何救砖 | 华为荣耀9获取BL解锁码以及如何解BL锁 | 华为荣耀9如何通过写ramdisk.img来获取root

文章目录 1. 按2. 通过官方华为手机助手升降级以及修复系统和安装驱动3. 使用百分之五模式刷高维禁用包355来安装指定的系统版本8.0.0.3554. 故意(或意外)刷错包把手机变砖5. 使用救砖模式刷高维禁用包355来安装指定的系统版本8.0.0.3556. 刷B212包以切换…

Android 手机如何改造成 Linux 服务器?

👆 “Python猫” ,一个值得加星标的公众号 剧照 | 《饮食男女》 目录 瞎比比什么都别说,先看看效果怎样?需要什么材料、设备?root 手机为 Android 手机装上 Linux 系统最后 瞎比比 自从没有了学生身份之后&#xf…

手机测试陨石软件,不用仪器检测,肉眼就能教你辨别你手上的陨石!

不用仪器检测,肉眼就能教你辨别你手上的陨石! 近几年,国内逐步兴起了一股陨石保藏热潮。三四年间,不光陨石的价钱飙升,国内陨石保藏商场也日渐成形。四五年前,陨石所带来的经济价值还不为人所熟知。“无人知晓、无人关心、无人过问、无人重视”,山东省出名陨石保藏喜欢者…

基于智能手机传感器数据的人类行为识别

原文链接: http://www.infoq.com/cn/articles/human-behavior-recognition-based-on-smart-phone-sensor-data?utm_sourcetuicool&utm_mediumreferral 人类行为识别的目的是通过一系列的观察,对人类的动作类型、行为模式进行分析和识别,…

android手机连nas,安卓手机照样行 NAS存储器大盘点_群晖 USB Station 2_移动存储新闻-中关村在线...

笔者在发布厅外面的走廊,使用安卓系统的HTC手机连接发布厅里的群晖小型家用NAS网络存储器,实验一下效果如何? 使用安卓系统的HTC手机,安装好DSM4.0系统 同样需要到网上下载相应的安卓版DSM4.0软件,安装后,和…

手机壳释放致癌物质“苯”吗?专家:确实会

央视视屏截图 □记者 宁田甜 贺笑天 文图 核心提示 | 手机壳真的会释放出致癌物质苯吗?在运行中的电梯和地铁里打电话,辐射会是平时的多倍,这是真的吗?针对这些网络传言,大河报《生活实验》栏目,联手央视财…

测试手机速度的软件叫什么,手机测速网速软件哪个最好(手把手教你自测网速的方法)...

每个人每天都离不开网络,无论是家庭宽带还是公共WiFi,网速都是极为重要的一部分,那能够清晰地知道自己的网速如何就显得尤为重要了!今天,就为大家带来了几款测速的软件,大家可以测一下自己的网速到没到心理…

手机视频连接计算机显示器播放,教您使用手机/平板电脑直接在计算机上播放视频...

我相信,在阅读了前面的教程之后,您已经在计算机上下载了许多电影和电视节目. 因此,是时候在国庆假期呆在家里了. 好吧,开个玩笑. 但是,本教程是为了使主要参与者更容易. 不必将视频复制到“手机/平板电脑”上&#xff…

练习英语口语的方法

练习英语口语的方法(知乎精华问答)整理版 1初期:我应该可以跳过去了,但是据说这个 eslpod 很不错,用来磨磨耳朵(还推荐了:Englishpod和BBC Learning English) 2.提高期:A…

InsCode AI 创作助手:解锁高效写作新姿势,让你的创作助手总在身边!

# 前言 CSDN AI写作助手上线了!InsCode AI 创作助手不仅能够帮助用户高效创作文章,而且能够作为对话式AI回答你想知道的问题。成倍提高生产力!欢迎大家使用新功能后分享自己的使用心得与建议! 目录 一、你平时会使用这类AI工具吗…