作者与机构
Luis S. Luevano
Idiap Research Institute, Switzerland
Ünsal Öztürk
Idiap Research Institute, Switzerland
Hatef Otroshi Shahreza
Idiap Research Institute, Switzerland
Anjith George
Idiap Research Institute, Switzerland
Sébastien Marcel
Idiap Research Institute, Switzerland
解决了什么问题
该研究探讨哪种合成低分辨率策略在标注的原生数据有限时实际上有助于紧凑型人脸识别器，以及从人工下采样的 LFW 风格测试得出的结论是否在真实的 TinyFace 探针上成立。研究还建立了一个直接输入基准，以便超分辨率和转换模块必须证明它们保留了身份，而不仅仅是改善视觉效果。
关键结果
合成测试偏向 28 像素的降级，但该设置在真实 TinyFace 上的表现低于高分辨率训练基线。较温和的 56 像素插值增强是最佳紧凑配置，将 TinyFace 的 mAP 从 52.55 提升到 54.68，rank-1 识别率从 59.66% 提升到 61.40%。学习型 RRDB 超分辨率加域转换管线在 EdgeFace-base 上仅达到 57.53 mAP，而直接输入达到 65.12。知识蒸馏在合成测试中带来最大增益，但未能迁移到原生低分辨率，表明合成的真实度，而非复杂度，是限制因素。
摘要
监控环境中的面部识别（FR）系统经常遇到低分辨率（LR）面部，即面部区域低于标准112 × 112输入尺寸的情况。虽然标注的高分辨率（HR）训练数据丰富，但标注的原生LR数据，尤其是配对的原生LR/HR数据稀缺。一种解决方法是从现有HR面部合成LR数据，但究竟多少合成努力能提升识别精度仍不清楚。我们提出了一项针对紧凑型、面向边缘设备的面部识别系统的简单合成生成策略研究，包括基于插值的降级、知识蒸馏、前置域转换器（PDT）、真实ESRGAN风格降级，以及带身份感知损失的学习型超分辨（SR）前端。我们在合成跨分辨率面部基准（LFW、CFP-FP、AgeDB-30）以及真实世界原生LR数据集TinyFace上评估这些策略，并揭示了合成-真实差距：在合成基准上最佳的降级设置，在真实LR上并非最佳。我们发现，更多的合成努力并非单调有效：学习型SR前端并不优于将对齐的LR图像直接输入强大的主干，而简单插值增强的紧凑主干是唯一优于自身基线的合成方法。我们得出结论，LR面部识别的生成方法必须在真实LR上进行验证，并与直接输入基线进行比较，并在https://idiap.ch/paper/synth-lrfr 发布了我们的流程。
研究出发点
监控和名单系统通常将高质量的注册图像与对齐后面部远小于标准 112×112 输入的探测图像进行比较。原生低分辨率身份数据，尤其是同一人的低分辨率和高分辨率配对捕获数据，非常稀缺，因此团队通常从大量高分辨率人脸中生成低分辨率训练数据。实际风险是，降级方法在合成基准测试中可能得分很高，但却教授识别器一些与真实摄像机产生的模糊、噪声、压缩和对齐错误不相似的特征。
方法概述
作者使用 3.65百万参数的 EdgeFace-S 主干网络，并比较了五种不同的适应努力：基于插值的下采样-上采样增强、高分辨率教师知识蒸馏、前置域转换器、使用 Real-ESRGAN 风格降级训练的原生 32 像素主干，以及具备身份感知的学习型超分辨率前端。他们在 LFW、CFP-FP 和 AgeDB-30 上评估高分辨率到低分辨率以及低分辨率到低分辨率的验证，然后在两种对齐管线下对原生低分辨率 TinyFace 重复比较。一种较大的冻结 EdgeFace-base 模型提供了参考，用于测试生成前端是否优于直接将对齐探测图像送入强识别器。
论文总结
对于边缘计算或监控部署，应在真实捕获的低分辨率人脸上验证每一种低分辨率方法，并保持强大的直接输入基线。简单、温和的插值增强可能比超分辨率堆栈更值得投入；在激进分辨率下仅有的合成增益并不能可靠地证明现场性能。