← Retour au Blog

Radar de rechercheReconnaissance facialearXivoctobre 2026

Radar arXiv mensuel

Documents d'octobre 2026 sur la reconnaissance faciale : attention sur des échantillons concrets, audits de données et échelle thermique

Le travail de reconnaissance faciale d'octobre va au-delà d'un simple score de classement. ViT-HarDis modifie la façon dont un transformateur est régularisé pendant la formation, l'audit MS1MV3 mesure quelles réparations de données sont réellement utiles et VTF900 teste la correspondance multispectrale à une échelle où des valeurs attrayantes d'AUC peuvent masquer de faibles performances de point de fonctionnement.

Ce que révèle ce mois-ci

ViT-HarDis dirige la décorrélation attention-tête vers des échantillons à identité ambiguë et dirige les systèmes ViT comparés sur IJB-B, IJB-C et TinyFace sans modifier l'inférence. Un audit contrôlé MS1MV3 montre que la suppression de 15,44 % d'images en double améliore légèrement la précision et atteint les performances de base avec 23,7 % d'étapes en moins, tandis qu'un filtrage large n'est pas automatiquement bénéfique. VTF900 étend ensuite l'évaluation thermique visible à 900 sujets : une AUC de 97,68 % correspond à seulement 51,10 % de TAR à 1 % de FAR en position frontale, et les performances hors pose diminuent encore davantage. Ensemble, les articles soutiennent que la dynamique de formation, les défauts de données, l'échelle de la galerie et les seuils de fonctionnement doivent être évalués séparément.

Article 012026-10-30cs.CV

Attention décorrélée conditionnée par les exemples difficiles pour une reconnaissance faciale robuste

Auteurs & institutions

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD

Problème traité

ViT-HarDis cible une attention redondante spécifiquement là où l'intégration est dangereusement proche d'une autre identité. Il est conçu pour améliorer la reconnaissance faciale à grande échelle et à basse résolution tout en conservant inchangées la latence d’inférence, la forme du modèle et les interfaces d’intégration.

Résultat clé

Sur l'ablation contrôlée ViT-S, le TAR à FAR 1e-4 passe de 84,46 % à 85,72 % sur IJB-B et de 88,18 % à 89,09 % sur IJB-C. Avec ViT-B formé sur WebFace4M, la méthode rapporte 95,84 % sur IJB-B, 97,24 % sur IJB-C et 75,97 % TinyFace Rank-1, en tête des systèmes basés sur ViT comparés. Le coût d'inférence reste inchangé car la pénalité concerne uniquement la formation, bien que les auteurs signalent une formation environ 30 % plus longue sur WebFace4M.

Résumé

L'attention multi-têtes dans Vision Transformers (ViTs) permet des modèles d'attention indépendants entre les têtes, mais sans régularisation explicite, les têtes peuvent apprendre des modèles redondants plutôt que des rôles complémentaires. Les pénalités basées sur la corrélation encouragent le démêlage de la tête, tout en appliquant une régularisation uniforme à tous les échantillons d'apprentissage. En reconnaissance faciale (FR), les échantillons durs dont les plongements se situent à proximité d'identités concurrentes sont essentiels pour l'optimisation et la généralisation. Motivés par cela, nous proposons ViT-HarDis, qui conditionne le démêlage de la tête d'attention en fonction de la difficulté de l'échantillon : les échantillons présentant une similarité cosinusoïdale élevée avec les centres de classe négative reçoivent une décorrélation de tête plus forte, renforçant la spécialisation là où l'ambiguïté d'identité est la plus élevée. Les expériences montrent des améliorations par rapport à la ligne de base et au démêlage uniforme sur la plupart des critères. Notre analyse montre que ViT-HarDis réduit la similarité des échantillons durs avec les centres de classe concurrents tout en diminuant la similarité de l'attention entre les têtes, et que l'application du démêlage uniquement aux couches finales du transformateur surpasse la régularisation de l'ensemble du réseau. Formé sur WebFace4M, ViT-HarDis obtient des résultats SOTA parmi les méthodes basées sur ViT sur IJB-B, IJB-C et TinyFace Rank-1, tout en obtenant les meilleurs résultats IJB-B et TinyFace lorsqu'il est formé sur MS1MV3, améliorant FR sans modifications architecturales ni coût d'inférence supplémentaire. Code : https://github.com/TaharChettaoui/Hard-Sample-Conditioned-Attention-for-FR.

Point de départ de la recherche

Les Transformateurs de Vision peuvent attribuer différentes régions du visage à différentes têtes d'attention, mais ces têtes convergent souvent vers des modèles redondants. Les pénalités de décorrélation uniformes traitent de la même manière un portrait frontal facile et un échantillon dur à l'identité ambiguë, même si les échantillons difficiles proches de centres de classe concurrents sont les plus susceptibles de déterminer des erreurs de vérification. Le document se demande si la capacité de formation peut être concentrée sur ces identités difficiles sans modifier l’architecture déployée.

Méthode

La méthode mesure la dureté de l'échantillon depuis la similarité cosinus jusqu'au centre de classe négative le plus proche. Pour chaque bloc de transformateur sélectionné, il calcule une pénalité de corrélation d'attention entre les têtes, pondère plus fortement les échantillons plus durs et correctement classés, et l'ajoute à la perte de reconnaissance faciale basée sur la marge normale. Les expériences comparent la ligne de base, le démêlage uniforme et le démêlage conditionné par la dureté ; les ablations de couches montrent que régulariser uniquement le dernier quart des blocs de transformateurs est plus efficace que d'appliquer la contrainte partout.

À retenir

Pour les équipes utilisant déjà un encodeur facial ViT, il s’agit d’améliorer la procédure d’entraînement, sans refondre l’inférence. Les gains sont surtout visibles sur les tests difficiles à grande échelle et à basse résolution, au prix d’un entraînement plus long et d’une validation nécessaire sur la population cible.

Article 022026-10-20cs.CV

Différents défauts, différents effets : un audit contrôlé des données d'entraînement à la reconnaissance faciale

Auteurs & institutions

Ana Dias

University of Beira Interior

Instituto de Telecomunicacoes

NOVA LINCS

João Ribeiro Pinto

Amadeus

Hugo Proença

University of Beira Interior

Instituto de Telecomunicacoes

João C. Neves

University of Beira Interior

NOVA LINCS

Problème traité

L'étude sépare cinq classes de défauts et mesure l'effet de la correction de chacune d'elles selon le même protocole de formation IResNet-50 et ArcFace. Cela permet aux propriétaires de données de distinguer les interventions qui améliorent l'efficacité de la formation du filtrage large qui peut supprimer accidentellement des échantillons informatifs.

Résultat clé

Le meilleur paramètre de suppression des doublons supprime 15,44 % des images, augmente la précision de validation moyenne de 97,20 % à 97,27 % et atteint les performances de base avec 23,7 % d'étapes d'optimisation en moins. Une suppression aléatoire correspondante n'atteint que 97,18 %, donc la réduction de l'ensemble de données à elle seule n'explique pas le résultat. La fusion des identités divisées conserve toutes les images tout en atteignant les performances de base avec 21,8 % d'étapes en moins ; la suppression du contenu invalide est également utile, tandis que la combinaison de tous les filtres de validité ne produit pas automatiquement le meilleur modèle.

Résumé

Le développement de la reconnaissance faciale a été fortement soutenu par la disponibilité d’ensembles de données de formation à grande échelle. Parmi eux, MS-Celeb-1M a joué un rôle important en fournissant des millions d’images faciales provenant de près de 100 000 identités. Cependant, la taille et l’hétérogénéité de ces ensembles de données augmentent la probabilité d’erreurs d’annotation, d’échantillons redondants et d’autres formes d’incohérence des données. Cela a motivé l'introduction de versions raffinées, telles que MS1MV2 et MS1MV3, visant à améliorer la qualité des données d'entraînement. Malgré ces efforts de nettoyage, nous montrons que plusieurs types de défauts de données de formation subsistent dans MS1MV3. En proposant des stratégies complémentaires d'audit des données, nous identifions cinq catégories de défauts : images exactes et quasi-dupliquées, identités fractionnées, erreurs de recadrage, ambiguïté à faces multiples et contenu invalide. Nous évaluons ensuite l'effet de la correction de ces défauts dans le cadre d'un protocole d'entraînement à la reconnaissance faciale contrôlé basé sur IResNet-50 et ArcFace. Les résultats montrent que des interventions ciblées peuvent préserver, et dans certains cas améliorer, les performances de reconnaissance tout en nécessitant moins d'étapes d'optimisation pour atteindre les performances de l'ensemble de formation d'origine. La suppression des doublons offre l'avantage global le plus évident, tandis que la fusion des identités partagées et la suppression du contenu invalide améliorent également l'efficacité de la formation. Dans l’ensemble, les résultats indiquent que l’effet du nettoyage des ensembles de données dépend fortement du type de défaut corrigé et fournissent une preuve supplémentaire que la qualité des données d’entraînement reste un facteur important et relativement sous-exploré dans la reconnaissance faciale à grande échelle. Les manifestes de formation et le code utilisés dans ce travail seront publiés dès acceptation.

Point de départ de la recherche

Les grands ensembles de données de reconnaissance faciale sont généralement décrits comme étant globalement propres ou bruités, mais les doublons, les identités divisées, les mauvais recadrages, les visages multiples et les images invalides créent différentes erreurs de supervision. MS1MV3 est déjà une référence raffinée, donc les défauts restants fournissent un test utile pour savoir si une autre passe de nettoyage améliore la reconnaissance ou supprime simplement la diversité utile.

Méthode

Les doublons exacts et proches sont trouvés avec des hachages perceptuels ; des identités divisées sont découvertes à l'aide de représentations au niveau de l'identité suivies d'une vérification d'image ; les erreurs de recadrage et l'ambiguïté à faces multiples utilisent des contrôles géométriques et OFIQ ; le contenu invalide est identifié grâce à la réponse visuelle aux questions BLIP. Les auteurs créent des variantes d'ensembles de données contrôlées, incluent un contrôle de suppression aléatoire correspondant à l'identité et au nombre d'images, entraînent chaque variante de manière identique et évaluent à la fois la précision de la validation et les premiers points de contrôle sur IJB-B et IJB-C.

À retenir

La leçon opérationnelle consiste à auditer les types de défauts séparément et à mesurer l’efficacité de l’apprentissage ainsi que la précision finale. La suppression des doublons et la réparation de l'identité semblent ici intéressantes, tandis qu'un filtrage de qualité aveugle n'est pas une victoire garantie.

Article 032026-10-17cs.CV

VTF900 : un ensemble de données et une référence pour la reconnaissance faciale visible et thermique de 900 sujets

Auteurs & institutions

Jacob Abaare

University of Nebraska-Lincoln

Bianca Ianetta

University of Nebraska-Lincoln

Cedric Nimpa Fondje

AeroVironment

Shuowen Hu

DEVCOM Army Research Laboratory

Benjamin S. Riggan

University of Tennessee, Knoxville

Problème traité

VTF900 fournit une référence thermique visible appariée de 900 sujets pour la vérification et l'identification en ensemble fermé. Il est destiné à révéler comment les méthodes multispectrales évoluent lorsque les données d'entraînement proviennent d'une collection différente et lorsque la pose, l'expression et l'occlusion de la sonde varient.

Résultat clé

Dans la galerie complète de 900 personnes, ViT-B atteint 97,68 % AUC mais seulement 51,10 % TAR à 1 % FAR dans des conditions frontales. DPIT-ResNet50 est plus résilient hors pose, avec 94,68 % d'AUC et 36,08 % de TAR à 1 % de FAR. L'écart grandissant entre l'AUC globale et le TAR opérationnel, ainsi que la dégradation à mesure que la taille de la galerie augmente, montre pourquoi les résultats d'environ 100 personnes de référence thermique n'établissent pas l'état de préparation à la production.

Résumé

Malgré les progrès en matière de reconnaissance faciale thermique visible, où les images faciales de sonde thermique (requête) sont comparées à des modèles d'inscription visibles, les références existantes sont actuellement limitées par la petite taille des galeries (N environ 100 sujets). Cette limitation inhibe la capacité d’évaluer avec précision la reconnaissance faciale thermique visible à grande échelle et de rapporter des mesures de performances de reconnaissance significatives, qui ont une meilleure pertinence opérationnelle. Par conséquent, nous présentons VTF900, une référence de reconnaissance faciale thermique visible à grande échelle avec 900 sujets et des images appariées qui incluent des variations d'expression, de pose et d'occlusion. Le VTF900 est conçu pour prendre en charge les évaluations à grande échelle (c'est-à-dire une grande galerie) à travers la vérification (correspondance 1:1) et l'identification fermée (correspondance 1:N) pour la reconnaissance faciale thermique visible. De plus, VTF900 aborde spécifiquement la combinaison difficile de l’analyse multispectrale et multi-ensembles de données. Dans cet article, après avoir formé des modèles sur l'ensemble de données ARL-VTF, nous fournissons des analyses de référence sur les architectures convolutionnelles (de base), de transformateurs de vision et de réseaux neuronaux adaptatifs au domaine pour évaluer l'évolution de ces méthodes. À l'échelle de la galerie complète (N = 900), les modèles de transformateur atteignent de fortes performances discriminantes dans des conditions frontales (par exemple, ViT-B : 97,68 % AUC, 51,10 % TAR@1%FAR), tandis que les méthodes adaptatives au domaine telles que DPIT-ResNet50 démontrent une plus grande robustesse dans des conditions hors pose (94,68 % AUC, 36,08 % TAR@1%FAR). Nos résultats montrent qu'une AUC élevée à petite échelle ne se traduit pas par des performances fiables à l'échelle du déploiement, et que la variation de pose amplifie considérablement la dégradation des performances. Le VTF900 expose ces limites, permettant une évaluation plus rigoureuse des systèmes de reconnaissance faciale multispectrale.

Point de départ de la recherche

La reconnaissance faciale visible à thermique est intéressante pour les opérations en basse lumière et de nuit, mais la plupart des évaluations publiques contiennent environ une centaine d'identités. Les petites galeries peuvent donner à l'AUC une apparence solide tout en masquant les fausses correspondances et les erreurs de classement qui apparaissent lorsqu'un système doit rechercher une population de la taille d'un déploiement, en particulier sous pose et changement de capteur.

Méthode

L'ensemble de données associe des images d'inscription visibles à des sondes thermiques pour 900 sujets consentants et définit des protocoles opportunistes contrôlés et exhaustifs. Les modèles sont formés sur ARL-VTF plutôt que sur VTF900, puis testés sur des galeries de taille croissante à l'aide d'architectures convolutionnelles, de transformateur et adaptatives au domaine. L’analyse rapporte les mesures de vérification et d’identification séparément pour les conditions frontales et hors pose.

À retenir

Le VTF900 est utile pour les acheteurs évaluant les systèmes d'identité nocturnes, car il teste à la fois l'inadéquation des capteurs et l'échelle de la galerie. Ses résultats plaident en faveur de la communication de mesures de point de fonctionnement et de stratification de pose, et non de l'AUC seule.