Radar de rechercheReconnaissance facialearXivJuillet 2026

Radar arXiv mensuel

Articles sur la reconnaissance faciale de juillet 2026 : Modèles de base synthétiques, caméras NIR pour passage en voiture et caméras sans objectif

Les articles de juillet sur la reconnaissance faciale déplacent le débat de la simple précision de référence vers les données et les systèmes de capture qui déterminent la qualité du déploiement. Les travaux sélectionnés testent un apprentissage synthétique respectueux de la vie privée à deux échelles de données, présentent un ensemble de données de contrôle frontalier interspectral avec des sondes à travers le verre et mesurent les conséquences du remplacement de la caméra par un encodeur optique sans lentille.

Ce que révèle ce mois-ci

L'adaptation synthétique seule peut rendre un modèle de vision général compétitif pour la reconnaissance faciale, mais la stratégie gagnante change radicalement avec le volume de données. DriveFace montre ensuite qu'un modèle d'intégration performant présente toujours des erreurs significatives lorsque des images d'enrôlement visibles sont mises en correspondance avec des sondes NIR mobiles à travers des vitres automobiles. LFD pousse plus loin la chaîne de capture en traitant l'optique sans lentille, la reconstruction, la détection et la reconnaissance comme des composants liés. La leçon commune est que les performances de déploiement dépendent de l'ensemble du pipeline d'acquisition et d'intégration, et pas seulement de la perte de reconnaissance.

Article 012026-07-27cs.CV

IJCB-AFMFR 2026 : Concours sur l’adaptation des modèles de base pour la reconnaissance faciale à l’aide de données d’entraînement synthétiques

arXiv PDF

Auteurs & institutions

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Arturas Nakvosas

Vilnius University, Lithuania

Hatef Otroshi Shahreza

Idiap Research Institute, Switzerland

Sébastien Marcel

Idiap Research Institute, Switzerland

Rishabh Shukla

Indian Institute of Technology Jammu, India

Aditya Takkar

Indian Institute of Technology Jammu, India

Rushil Khullar

Indian Institute of Technology Jammu, India

Lalak Yadav

Indian Institute of Technology Jammu, India

Gourav Gupta

ArogyaPandit Private Limited, India

Anant Gupta

ArogyaPandit Private Limited, India

Shiqi Yu

Southern University of Science and Technology, China

Vitomir Struc

University of Ljubljana, Slovenia

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Problème traité

Les précédents tests de données synthétiques combinaient la qualité du générateur, le choix du réseau de base et les méthodes d'entraînement. Ce test de référence corrige CLIP ViT-L/14 et le générateur IDPERTURB afin que l'ajustement fin complet, l'adaptation LoRA, l'adaptation LoRA stabilisée par rang et l'adaptation par projection seule puissent être comparés avec les mêmes données d'identité et la même suite d'évaluation.

Résultat clé

L'optimisation complète avec Sub-Center ArcFace domine le parcours « Données complètes » avec une précision moyenne de 95,51 % sur les petits benchmarks et un TAR de 87,42 % à un FAR de 1e-5 sur IJB-C, contre 76,71 % pour la référence FRoundation. Avec des données limitées, rsLoRA se montre plus performant : Idiap-BSP atteint une précision moyenne de 94,52 % et un TAR de 81,13 % sur IJB-C à un FAR de 1e-5. L'évaluation de l'équité varie également selon le contexte : le vainqueur avec des données complètes atteint une précision RFW moyenne de 91,70 %, tandis que le vainqueur avec des données limitées atteint 88,92 %.

Résumé

Cet article présente un résumé du concours AFMFR (Adapting Foundation Models for Face Recognition Using Synthetic Training Data), organisé lors de la Conférence internationale conjointe sur la biométrie (IJCB 2026). Le concours a reçu huit soumissions valides, émanant de quatre équipes distinctes et réparties sur deux parcours complémentaires : un parcours « Données complètes », où les participants adaptent le modèle de base CLIP ViT-L/14 à l’aide de données d’identité synthétiques à grande échelle, et un parcours « Données limitées », conçu pour refléter des contextes d’adaptation avec des ressources plus restreintes. Toutes les données d’entraînement ont été générées exclusivement avec IDPERTURB. Les solutions soumises sont classées selon leurs performances de vérification et d’identification sur un ensemble diversifié de jeux de données de référence, incluant LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C et TinyFace, à l’aide de la méthode de Borda. Une évaluation de l’équité est également menée sur le jeu de données RFW pour quatre groupes démographiques. Les résultats démontrent que l'adaptation du modèle de base CLIP à l'aide de données d'entraînement synthétiques améliore sensiblement les performances du modèle standard et, dans plusieurs cas, surpasse même le modèle de référence. Notamment, l'ajustement fin complet avec Sub-Center ArcFace (DMSTI-Neurotechnology) domine le test « Full Data Track », tandis que l'adaptation LoRA à stabilisation de rang (Idiap-BSP) s'avère la plus efficace en conditions de données limitées.

Point de départ de la recherche

Les développeurs de systèmes de reconnaissance faciale manquent de plus en plus d'ensembles de données d'entraînement de visages réels, vastes et consentis, tandis que les modèles de vision généraux ne sont pas suffisamment discriminants aux points de fonctionnement biométriques stricts sans adaptation. Le concours vise à déterminer si les identités synthétiques peuvent assurer cette adaptation et quelle capacité d'entraînement est appropriée lorsque l'ensemble synthétique disponible varie de plus d'un ordre de grandeur.

Méthode

Le concours propose deux voies : une voie de données complètes (environ trois millions d’images issues de 35 000 identités synthétiques) et une voie de données limitées (250 000 images issues de 5 000 identités). Huit soumissions valides sont évaluées par agrégation de Borda sur cinq petits ensembles de vérification (IJB-B, IJB-C et TinyFace), tandis que RFW mesure la dispersion des performances selon quatre groupes démographiques. Les méthodes soumises explorent les mises à jour complètes du réseau de base, les classements LoRA et rsLoRA, les pertes de marge, l’augmentation de données et l’optimisation légère des projections.

À retenir

Pour les équipes qui adoptent une architecture visuelle à grande échelle, le volume de données synthétiques doit orienter la stratégie d'optimisation. Un réglage fin complet est payant à l'échelle de plusieurs millions d'images, tandis qu'un rsLoRA de haut rang constitue un régulariseur utile lorsque les identités et les images sont limitées ; il est peu probable qu'une seule solution soit optimale dans les deux cas.

Article 022026-07-15cs.CV

DriveFace : un ensemble de données faciales à travers le verre, multispectral, pour le contrôle des frontières des véhicules en mouvement

arXiv PDF

Auteurs & institutions

Anjith George

Idiap Research Institute, Switzerland

Luis S. Luevano

Idiap Research Institute, Switzerland

Alain Komaty

Idiap Research Institute, Switzerland

Zeina Al Amine

Idiap Research Institute, Switzerland

Vidit Vidit

Idiap Research Institute, Switzerland

Sebastien Marcel

Idiap Research Institute, Switzerland

University of Lausanne, Switzerland

Problème traité

DriveFace comble le manque de référentiel public reliant l'enrôlement RGB des smartphones à la capture d'images de véhicules par infrarouge proche. Il inclut également un sous-ensemble d'attaques par présentation permettant d'étudier la sécurité de la reconnaissance et de la capture dans une même configuration opérationnelle.

Résultat clé

La reconnaissance faciale en extérieur est relativement performante : AdaFace atteint 99,45 % d’AUC, 2,69 % d’EER et 97,42 % de rang 1. La simulation de teintes est plus complexe : la meilleure AUC est de 96,23 %, et xEdgeFace enregistre un EER de 8,09 % et une vérification de 88,63 % à 1 % de FAR. Les performances PAD se dégradent également face à des attaques inconnues ; le meilleur ACER rapporté pour les masques inconnus est de 26,20 %, malgré de faibles erreurs dans le protocole d’attaque connu.

Résumé

La croissance continue de la mobilité transfrontalière exerce une pression croissante sur les infrastructures de contrôle frontalier existantes, justifiant le recours à l'authentification biométrique en mouvement. Cette authentification permet d'identifier les voyageurs directement dans leurs véhicules aux points de contrôle. La reconnaissance faciale est particulièrement adaptée à ce contexte, car elle peut être réalisée passivement et à distance. Son développement est toutefois freiné par le manque de jeux de données représentatifs : les données de référence existantes sont collectées dans des environnements contrôlés et ne rendent pas compte des difficultés inhérentes à l'acquisition de données depuis un véhicule, telles que le flou de mouvement, les variations d'éclairage, les occlusions et l'enrôlement interspectral. Pour pallier cette lacune, nous présentons un jeu de données pour la reconnaissance faciale en mouvement dans des scénarios de contrôle frontalier. Ce jeu de données comprend des vidéos de passage de véhicules en infrarouge proche (NIR) couplées à des données de pré-enrôlement via smartphone. Des évaluations de référence réalisées avec des modèles de pointe révèlent des limitations de performance évidentes dans ces conditions réalistes, soulignant la nécessité de développer des méthodes dédiées pour faire progresser le domaine.

Point de départ de la recherche

Les points de contrôle routiers gagneraient à identifier les voyageurs préinscrits sans qu'ils aient à descendre de leur véhicule. Cependant, la sonde capture les données à travers des vitres réfléchissantes ou teintées, souvent lorsque le véhicule ou la personne est en mouvement. Les ensembles de données VIS-NIR existants pour l'intérieur ne prennent pas en compte cette dégradation optique, ni les informations relatives à la posture du profil, aux conditions météorologiques, à la vitesse et à l'inscription inter-sessions.

Méthode

L'ensemble de données suit 70 volontaires consentants sur deux sessions et enregistre l'inscription via smartphone ainsi que des mesures NIR en extérieur, en intérieur de véhicule et sous teinte simulée. Les métadonnées couvrent la teinte des vitres, l'éclairage, la position de la tête, les conditions météorologiques et la vitesse du véhicule. Des protocoles d'entraînement et de test disjoints évaluent AdaFace, LVFace, EdgeFace et une version xEdgeFace adaptée au spectre croisé à l'aide de l'AUC, de l'EER, du taux de vérification à 1 % de FAR et de l'identification de rang 1 ; des protocoles PAD distincts couvrent les attaques par empreintes ou masques connues et inconnues.

À retenir

DriveFace est un ensemble de données précieux pour les tests d'acceptation des déploiements dans les véhicules et aux frontières, car il centralise l'enrôlement, le spectre des capteurs, la reconnaissance faciale à travers le verre, la détection de mouvement et la détection d'usurpation d'identité au sein d'un seul protocole. Ses résultats de référence indiquent que de bons scores de reconnaissance faciale sans contrainte ne garantissent pas une marge de sécurité suffisante en cas de capture spectrale croisée avec des images teintées.

Article 032026-07-11cs.CV

LFD : Permettre la reconnaissance faciale sans lentille dans le monde réel grâce à un ensemble de données à grande échelle

arXiv PDF

Auteurs & institutions

Junho Kim

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Salman S. Khan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Sara Wan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Tomi Kuye

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Ashok Veeraraghavan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Problème traité

Le domaine manquait d'un ensemble de données conséquent associant des mesures réelles sans lentille, des images reconstruites et des images faciales conventionnelles en conditions intérieures et extérieures. Ce manque rendait difficile la distinction entre la qualité de la reconstruction et les défaillances des détecteurs et des systèmes de reconnaissance, ou encore la vérification de la transférabilité d'un modèle entre différents encodeurs optiques.

Résultat clé

Sur le prototype 1, le système de reconnaissance entraîné par LFD atteint une AUC de 0,946 sur l'ensemble de données facile en intérieur, de 0,808 en extérieur, de 0,851 sur l'ensemble complet et de 0,778 sur l'ensemble difficile. Le modèle d'image standard correspondant obtient des scores de 0,884, 0,625, 0,763 et 0,599. Avec un taux de faux positifs (FPR) de 0,05 % en correspondance intermodale, les reconstructions LFD atteignent un taux de vrais positifs (TPR) de 77,30 %, contre 66,02 % pour les données FCFD FlatNet précédentes. Cet avantage se confirme sur un second prototype optique.

Résumé

La reconnaissance faciale est une tâche de vision par ordinateur omniprésente, avec de nombreuses applications allant de la biométrie quotidienne des smartphones aux systèmes de sécurité critiques. La plupart des systèmes de reconnaissance faciale reposent sur des caméras traditionnelles, souvent limitées par leur format encombrant, leur coût élevé et une protection de la vie privée insuffisante. Pour pallier ces limitations, les caméras sans objectif constituent une alternative. Utilisant des encodeurs optiques fins, elles sont plus compactes, moins coûteuses et offrent une plus grande flexibilité de conception. Ces caméras sont généralement associées à des algorithmes de reconstruction qui transforment les images brutes en images reconnaissables. Cependant, ces images reconstruites contiennent souvent des artefacts, et les méthodes de reconstruction peinent à s'adapter aux conditions réelles. De plus, les bases de données faciales existantes ne prennent pas en compte les artefacts présents dans les images sans objectif. Pour résoudre ce problème, nous présentons la base de données Lensless Face Dataset (LFD). LFD comprend 21 080 mesures brutes, reconstructions et images standard de visages capturés sous différents éclairages, angles et distances. Nos principales contributions sont les suivantes : (1) Données faciales sans objectif en conditions réelles : LFD se concentre sur la capture d’un ensemble de données faciales diversifié présentant différents niveaux d’artefacts introduits par divers environnements ; (2) Captures en conditions réelles : 4 976 images ont été capturées en extérieur avec des intensités de lumière naturelle variables et différents motifs d’arrière-plan ; (3) Plusieurs dispositifs sans objectif : LFD comprend des images de visages collectées à l’aide de trois types différents de caméras sans objectif, chacune dotée d’un encodeur optique unique. Nous utilisons cette diversité matérielle pour démontrer la généralisation entre différentes caméras sans objectif. Grâce à des évaluations et des analyses complètes, nous montrons que LFD capture efficacement les caractéristiques et les artefacts communs à différents dispositifs d’imagerie sans objectif, ce qui en fait un ensemble de données précieux pour faire progresser la reconnaissance faciale sans objectif.

Point de départ de la recherche

Les appareils photo sans objectif remplacent les lentilles encombrantes par des éléments optiques minces et codés, ce qui permet de réduire leur taille et d'exposer une image moins nette au niveau du capteur. Cependant, leurs reconstructions présentent un flou, une distorsion des couleurs et un vignettage spécifiques à l'appareil ; par conséquent, les modèles de reconnaissance entraînés sur des photographies classiques ou des mesures simulées ne sont pas transposables de manière fiable aux images réelles.

Méthode

LFD collecte 21 080 mesures brutes sans objectif, reconstructions et images standard, dont 4 976 images extérieures et des captures issues de trois modèles de caméras sans objectif. Les auteurs entraînent séparément les composants de reconstruction et de détection de visage, puis comparent les modèles de reconnaissance SENet entraînés sur des images standard VGGFace2, des reconstructions sans objectif simulées ou sur les données d'entraînement physiques de LFD. La vérification utilise des paires équilibrées d'images positives et négatives sur des sous-ensembles faciles, extérieurs, complets et difficiles, suivie de tests inter-appareils.

À retenir

LFD démontre qu'un produit biométrique sans objectif doit être entraîné sur des artefacts de capteur réels plutôt que de considérer la reconstruction comme une simple étape de prétraitement. Il fournit une base concrète pour l'évaluation des caméras compactes ou respectueuses de la vie privée, tandis que l'écart persistant en extérieur montre que les avantages matériels s'accompagnent toujours d'un coût de reconnaissance important.