← 返回博客

研究雷达人脸识别arXiv2026 年 10 月

每月 arXiv 雷达

2026 年 10 月人脸识别论文：困难样本注意力、数据审计与热成像规模化评测

十月的人脸识别研究不只关注单一排行榜得分。ViT-HarDis 改进 Transformer 在训练阶段的正则化方式，MS1MV3 审计检验哪些数据修复真正有效，VTF900 则在更大规模上测试跨光谱匹配，揭示高 AUC 可能掩盖实际工作阈值下的性能不足。

本月趋势判断

ViT-HarDis 将注意力头去相关约束重点施加于身份容易混淆的困难样本，不增加推理开销，并在 IJB-B、IJB-C 和 TinyFace 上领先所比较的 ViT 系统。MS1MV3 的受控审计表明，删除 15.44% 的重复图像可略微提高精度，并以少 23.7% 的训练步骤达到基线性能，但广泛过滤并不一定有效。VTF900 将可见光与热红外评测扩大到 900 名受试者：正面条件下 AUC 为 97.68%，但 FAR 为 1% 时 TAR 仅 51.10%，非正面条件下表现还会下降。这些研究提示，训练过程、数据缺陷、注册库规模和工作阈值需要分别评估。

论文 012026-10-30cs.CV

面向鲁棒人脸识别的困难样本条件去相关注意力

作者与机构

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD

解决了什么问题

ViT-HarDis 重点抑制身份嵌入接近其他类别时的冗余注意力，目标是在保持推理延迟、模型结构和嵌入接口不变的情况下，改善大规模和低分辨率人脸识别。

关键结果

在受控 ViT-S 消融中，FAR 1e-4 处的 TAR 在 IJB-B 上从 84.46% 上升到 85.72%，在 IJB-C 上从 88.18% 上升到 89.09%。 ViT-B 在 WebFace4M 上进行训练后，该方法在 IJB-B 上的准确率达到 95.84%，在 IJB-C 上的准确率达到 97.24%，在 TinyFace Rank-1 上的准确率达到 75.97%，领先于基于 ViT 的系统。尽管作者报告说 WebFace4M 上的训练时间延长了大约 30%，但推理成本没有变化，因为惩罚仅针对训练。

摘要

视觉 Transformer（ViT）的多头注意力允许不同注意力头学习独立模式，但缺少显式正则化时，各头可能学到冗余而非互补的信息。基于相关性的惩罚可以促进注意力头分工，却通常对所有训练样本采用相同强度。人脸识别中，嵌入靠近其他身份类别中心的困难样本对优化和泛化尤其重要。为此，ViT-HarDis 根据样本难度调节注意力头的去相关约束：样本与负类中心的余弦相似度越高，约束越强，从而在身份最容易混淆之处促进不同头的分工。实验在多数基准上优于基线和均匀去相关方式。分析显示，该方法同时降低困难样本与竞争类别中心的相似度，以及注意力头之间的相似度；仅在末段 Transformer 层施加约束比约束整个网络更有效。WebFace4M 训练的模型在所比较的 ViT 方法中取得 IJB-B、IJB-C 和 TinyFace Rank-1 最佳结果；MS1MV3 训练的模型也在 IJB-B 和 TinyFace 上领先，且无需修改架构或增加推理成本。代码：https://github.com/TaharChettaoui/Hard-Sample-Conditioned-Attention-for-FR

研究出发点

视觉 Transformer 能让不同注意力头关注不同面部区域，但多个头往往收敛到相似的冗余模式。统一的去相关惩罚会同样对待简单正面照和身份难以区分的困难样本，而靠近其他身份类别中心的样本往往更容易影响验证错误。研究因此探索：能否在不改变部署架构的前提下，把更多学习能力用于这些困难身份。

方法概述

方法先根据样本与最近负类中心的余弦相似度估计难度，再在选定的 Transformer 块中计算注意力头之间的相关性惩罚。对于已正确分类但较难的样本，给予更高的惩罚权重，并将其加入常规的间隔型人脸识别损失。实验对比基线、均匀去相关和难度条件去相关；层级消融表明，只约束最后四分之一的 Transformer 块比约束整个网络更有效。

论文总结

对于已采用 ViT 人脸编码器的团队，这是一项训练阶段的改进，无需重写部署流程。它在大规模和低分辨率的困难测试中收益较明显，但会增加训练时间，仍需在实际目标人群上验证。

论文 022026-10-20cs.CV

不同缺陷，不同影响：人脸识别训练数据的受控审计

作者与机构

Ana Dias

University of Beira Interior

Instituto de Telecomunicacoes

NOVA LINCS

João Ribeiro Pinto

Amadeus

Hugo Proença

University of Beira Interior

Instituto de Telecomunicacoes

João C. Neves

University of Beira Interior

NOVA LINCS

解决了什么问题

该研究将五个缺陷类别分开，并测量在相同的 IResNet-50 和 ArcFace 训练协议下纠正每个缺陷类别的效果。这使得数据所有者能够区分提高训练效率的干预措施和可能意外删除信息样本的广泛过滤。

关键结果

最佳的去重设置可删除 15.44% 的图像，将平均验证准确度从 97.20% 提高到 97.27%，并以减少 23.7% 的优化步骤达到基线性能。匹配的随机删除仅达到 97.18%，因此数据集收缩本身并不能解释结果。合并分割身份保留所有图像，同时以减少 21.8% 的步骤达到基线性能；删除无效内容也有类似的帮助，而组合每个有效性过滤器并不会自动生成最佳模型。

摘要

人脸识别的发展得到了大规模训练数据集的有力支持。其中，MS-Celeb-1M发挥了重要作用，提供了近10万个身份的数百万张面部图像。然而，此类数据集的大小和异质性增加了注释错误、冗余样本和其他形式的数据不一致的可能性。这促使了 MS1MV2 和 MS1MV3 等细化版本的引入，旨在提高训练数据的质量。尽管进行了这些清理工作，我们发现 MS1MV3 中仍然存在多种类型的训练数据缺陷。通过提出补充数据审核策略，我们确定了五种缺陷类别：精确和近似重复的图像、分裂的身份、裁剪错误、多脸模糊和无效内容。然后，我们评估在基于 IResNet-50 和 ArcFace 的受控人脸识别训练协议下纠正这些缺陷的效果。结果表明，有针对性的干预措施可以保持（在某些情况下）提高识别性能，同时需要更少的优化步骤即可达到原始训练集的性能。重复删除提供了最明显的整体效益，而分裂身份合并和无效内容删除也提高了训练效率。总体而言，结果表明数据集清理的效果在很大程度上取决于要解决的缺陷类型，并进一步证明训练数据质量仍然是大规模人脸识别中一个重要且相对未充分探索的因素。这项工作中使用的训练清单和代码将在接受后发布。

研究出发点

大型人脸识别数据集总体上通常被描述为干净或嘈杂，但重复、身份分裂、糟糕的裁剪、多个人脸和无效图像会产生不同的监督错误。 MS1MV3 已经是一个完善的基准，因此剩余的缺陷提供了一个有用的测试，可以测试另一次清理过程是提高识别率还是仅仅消除有用的多样性。

方法概述

通过感知散列可以找到精确和近似的重复项；使用身份级别表示发现分裂身份，然后进行图像验证；裁剪错误和多面模糊性使用几何和 OFIQ 检查；通过 BLIP 视觉问答来识别无效内容。作者创建受控数据集变体，包括与身份和图像计数匹配的随机删除控制，以相同的方式训练每个变体，并评估 IJB-B 和 IJB-C 上的验证准确性和早期检查点。

论文总结

实际启示是按缺陷类型分别审计，同时衡量训练效率和最终精度。本研究中，重复图像清理和身份标签修复值得投入，但不加区分的质量过滤并不保证有效。

论文 032026-10-17cs.CV

VTF900：包含 900 名受试者的可见光-热红外人脸识别数据集与基准

作者与机构

Jacob Abaare

University of Nebraska-Lincoln

Bianca Ianetta

University of Nebraska-Lincoln

Cedric Nimpa Fondje

AeroVironment

Shuowen Hu

DEVCOM Army Research Laboratory

Benjamin S. Riggan

University of Tennessee, Knoxville

解决了什么问题

VTF900 提供 900 名受试者的可见光与热红外配对基准，支持一对一验证和闭集身份检索。它用于揭示：当训练与测试来自不同采集环境，且查询图像的姿态、表情与遮挡变化时，跨光谱方法随注册库规模扩大所呈现的表现。

关键结果

在 900 人的注册库中，在正面条件下，ViT-B 在 1% FAR 下达到了 97.68% AUC，但只有 51.10% TAR。 DPIT-ResNet50 在非正面姿态时更具弹性，在 1% FAR 时具有 94.68% AUC 和 36.08% TAR。标题 AUC 和运营 TAR 之间不断扩大的差距，以及随着注册库规模增长而下降，说明了为什么大约 100 人的热基准测试结果无法建立生产准备状态。

摘要

尽管可见光-热红外人脸识别取得了进步，其中热红外查询图像（查询）人脸图像与可见光注册模板进行匹配，但现有基准目前受到图库尺寸较小（N 约 100个受试者）的限制。这种限制限制了大规模准确评估可见光-热红外面部识别和报告具有更好操作相关性的重要识别性能指标的能力。因此，我们引入了 VTF900，这是一种大规模可见光-热红外人脸识别基准，包含 900 个主体和配对图像，包括表情、姿势和遮挡变化。 VTF900 旨在支持可见光-热红外人脸识别的跨验证（1:1 匹配）和闭集识别（1:N 匹配）的大规模（即大图库）评估。此外，VTF900 特别解决了跨光谱和跨数据集分析的挑战性组合。在本文中，在 ARL-VTF 数据集上训练模型后，我们提供了跨卷积（基线）、视觉变换器和域自适应神经网络架构的基准分析，以评估这些方法的扩展方式。在全注册库规模（N = 900）下，Transformer模型在正面条件下实现了很强的判别性能（例如，ViT-B：97.68％AUC，51.10％TAR@1％FAR），而诸如DPIT-ResNet50之类的域自适应方法在非正面姿态条件下表现出更大的鲁棒性（94.68％AUC，36.08％TAR@1％FAR）。我们的结果表明，小规模的高 AUC 并不能转化为部署规模的可靠性能，并且这种变化会显着加剧性能下降。 VTF900 暴露了这些限制，从而能够对跨光谱人脸识别系统进行更严格的评估。

研究出发点

可见光与热红外人脸匹配适用于低照度和夜间场景，但大多数公开评测只有约一百名注册者。小规模注册库可能呈现较高 AUC，却掩盖实际规模检索时出现的误匹配和排序错误，尤其是在姿态变化和传感器分布偏移下。

方法概述

该数据集将 900 名同意受试者的可见光注册图像与热红外查询图像配对，并定义了受控且详尽的机会协议。模型在 ARL-VTF 而不是 VTF900 上进行训练，然后使用卷积、Transformer和域自适应架构在不断增加的注册库大小上进行测试。该分析分别报告正面和非正面姿态条件的验证和识别指标。

论文总结

VTF900 同时检验传感器差异和注册库规模，适合评估夜间身份识别系统。评测应报告实际工作阈值下的指标以及不同姿态下的表现，而不能只看 AUC。