人脸识别算法中偏见检测的新进展

来自计算机视觉中心(CVC)和巴塞罗那大学的一个小组发布了一项研究结果，该研究结果评估了使用真实世界数据测试过的自动面部识别算法在性别和肤色方面的准确性和偏差。尽管顶级的解决方案超过了99.9%的准确度，但研究人员发现一些组的假阳性或假阴性率更高。

面部识别已被全世界的私人和政府组织常规使用。自动人脸识别可用于合法和有益的目的(例如，提高安全性)，但与此同时，其功能和普遍性也会增加不正当方法可能对社会产生的潜在负面影响(例如，对少数民族的歧视)。合法部署面部识别算法的必要条件(虽然不够充分)是所有人口统计群体的准确性均相等。

为此，由塞尔吉奥·埃斯卡拉(Sergio Escalera)领导的巴塞罗那大学计算机视觉中心(CVC)人姿势恢复和行为分析小组的研究人员在欧洲计算机视觉会议(ECCV)中组织了一项挑战2020年。最近发表在《计算机视觉—ECCV 2020研讨会》杂志上的结果评估了参与者在存在其他混淆属性的情况下进行面部验证任务时所提交算法的准确性。

“ [这项研究]吸引了151名参与者，总共提交了1,800多份意见书，超出了我们对参与者和意见书数量的预期，” UB数学研究所的成员Sergio Escalera解释说。

参与者使用了一个不平衡的图像数据集，该数据集模拟了一个真实世界的场景，其中基于AI的模型应该在不平衡的数据上进行训练和评估(白人男性多于黑人女性)。他们总共处理了来自6,139个身份的152,917张图像。

为图像添加了两个受保护的属性：性别和肤色;五个合法属性：年龄段(0-34岁，35-64岁，65岁以上)，头部姿势(额头，其他)，图像源(静态图像，视频帧)，戴眼镜和边框大小。

获得的结果非常有希望。CVC和CVC研究人员Julio CS Jacques Jr.说：“最成功的解决方案的准确性超过99.9%，同时在建议的偏差指标中得分非常低，这可以认为是朝着开发更公平的面部识别方法迈出的一步”。打开加泰罗尼亚大学。

对前十支球队的分析显示，深色肤色的女性和两个人都戴眼镜的样本的假阳性率更高。相比之下，肤色较浅的男性和年龄均在35岁以下的样本的假阴性率较高。此外，还发现在数据集中，年龄小于35岁的人戴眼镜的频率低于年龄较大的人，导致这些属性的综合作用。“这并不奇怪，因为采用的数据集在不同的人口统计属性方面不平衡。但是，这表明，当目标是建立公平的人脸识别时，整体准确性还不够 方法，未来在该主题上的工作必须同时考虑准确性和缓解偏差。” Julio CS Jacques Jr总结说。