Améliorer la reconnaissance faciale à basse résolution sous des données limitées : comment la génération de données synthétiques peut combler l’écart de domaine
Auteurs & institutions
Luis S. Luevano
Idiap Research Institute, Switzerland
Ünsal Öztürk
Idiap Research Institute, Switzerland
Hatef Otroshi Shahreza
Idiap Research Institute, Switzerland
Anjith George
Idiap Research Institute, Switzerland
Sébastien Marcel
Idiap Research Institute, Switzerland
Problème traité
L’étude se demande quelle stratégie synthétique à basse résolution aide réellement un reconnaisseur de visages compact lorsque les données natives marquées sont limitées, et si les conclusions tirées de tests de type LFW artificiellement sous-échantillonnés survivent sur de vraies sondes TinyFace. Elle établit également une base d’entrée directe afin que les modules de super-résolution et de traduction doivent prouver qu’ils préservent leur identité plutôt que d’améliorer simplement l’apparence visuelle.
Résultat clé
Les tests synthétiques favorisaient une dégradation de 28 pixels, mais ce même réglage était en dessous du seuil de référence entraîné haute résolution sur le TinyFace réel. L’augmentation d’interpolation plus douce sur 56 pixels était la meilleure configuration compacte, faisant passer le mAP de TinyFace de 52,55 à 54,68 et l’identification de rang 1 de 59,66 % à 61,40 %. Le pipeline de super-résolution et traduction de domaine RRDB appris n’a atteint que 57,53 mAP avec la base EdgeFace, contre 65,12 pour l’entrée directe. La distillation de connaissances a apporté les gains synthétiques les plus importants mais ne s’est pas transférée à la basse résolution native, montrant que la fidélité de synthèse, et non la complexité, est le facteur limitant.
Résumé
Les systèmes de reconnaissance faciale (FR) dans les environnements de surveillance rencontrent souvent des visages de basse résolution (LR), ceux dont la région faciale est inférieure à la taille d’entrée standard de 112 $\ fois 112 $. Bien que les données d’entraînement haute résolution (HR) étiquetées soient abondantes, les données native LR, et surtout toutes les données LR/HR appariées, sont rares. Une solution consiste à synthétiser les données LR à partir des visages HR disponibles, mais l’effort de synthèse est récompensé en précision reste incertain. Nous présentons une étude de stratégies simples de génération synthétique pour un système compact orienté dispositif de périphérie, couvrant la dégradation basée sur l’interpolation, la distillation de connaissances, un Transformateur de Domaine Prépendé (PDT), la dégradation de type Real ESRGAN, et un front-end Super Resolution (SR) appris avec une perte consciente de l’identité. Nous évaluons ces stratégies sur des benchmarks faciaux synthétiques à résolution croisée (LFW, CFP-FP, AgeDB-30) et sur TinyFace, un jeu de données LR natif du monde réel, et exposons un écart synthétique-réel : le réglage de dégradation optimal sur les benchmarks synthétiques n’est pas celui optimal sur le LR réel. Nous constatons que plus d’efforts de synthèse ne sont pas efficaces de manière monotone : le front-end SR appris ne dépasse pas un flux direct de l’image LR alignée vers un backbone solide, tandis que l’augmentation simple par interpolation d’un backbone compact est la seule synthèse qui s’améliore par rapport à sa propre baseline. Nous concluons que les méthodes génératives pour la reconnaissance faciale LR doivent être validées sur LR réelle et par rapport à une base à alimentation directe, et libérons notre pipeline à https://idiap.ch/paper/synth-lrfr
Point de départ de la recherche
Les systèmes de surveillance et de liste de surveillance comparent régulièrement une image d’inscription de haute qualité avec une sonde dont le visage aligné est bien plus petit que l’entrée standard de 112 par 112. Les identités natives basse résolution, en particulier les captures jumelées à basse et haute résolution de la même personne, sont rares, si bien que les équipes fabriquent souvent des données d’entraînement à basse résolution à partir de nombreux visages à haute résolution. Le risque pratique est qu’une recette de dégradation puisse obtenir de bons résultats sur des benchmarks synthétiques tout en enseignant au reconnaisseur des indices qui ne ressemblent pas à des erreurs de flou, de bruit, de compression ou d’alignement provenant de caméras réelles.
Méthode
Les auteurs utilisent la colonne vertébrale EdgeFace-S de 3,65 millions de paramètres et comparent cinq niveaux d’effort d’adaptation : augmentation downsampling et upsampling basée sur interpolation, distillation des connaissances enseignante haute résolution, transformateur de domaine prépendé, une tige native de 32 pixels entraînée avec des dégradations de type Real-ESRGAN, et une interface super-résolution apprise consciente de l’identité. Ils évaluent la vérification high-to-low et low-to-low sur LFW, CFP-FP et AgeDB-30, puis répètent la comparaison sur TinyFace natif basse résolution sous deux pipelines d’alignement. Un modèle EdgeFace gelé plus grand fournit la référence pour tester si un front-end génératif bat le fait d’alimenter directement la sonde alignée à un reconnaisseur fort.
À retenir
Pour un déploiement en périphérie ou en surveillance, validez chaque recette basse résolution sur des faces basse résolution véritablement capturées et maintenez une base de base en alimentation directe forte. Une augmentation simple et légère par interpolation peut être un meilleur investissement qu’une pile super-résolution ; les gains synthétiques uniquement à des résolutions agressives ne sont pas une preuve fiable des performances sur le terrain.