Radar de rechercheDétection de visagearXivoctobre 2026

Radar arXiv mensuel

Documents sur la détection des visages d'octobre 2026 : fusion légère, conférenciers en ligne et vidéosurveillance réelle

Octobre a produit un article sur un détecteur direct et deux études utiles au niveau du système autour de la localisation. WeaveFace se concentre sur les visages petits et occlus avec des budgets de calcul serrés. CAST-ASD montre comment les visages suivis peuvent être comparés en ligne sans images futures, tandis que CVBL-CCTV-Face teste ce qui se passe après la détection lorsque la dégradation réelle de la surveillance atteint l'amélioration et la correspondance.

Ce que révèle ce mois-ci

WeaveFace entrelace les échelles de caractéristiques adjacentes avant une analyse Mamba et atteint 91,41 % d'AP moyen sur WIDER FACE avec 0,34 million de paramètres. CAST-ASD prend en entrée les traces de visage détectées et utilise une attention sans anticipation sur les locuteurs actuels, réduisant ainsi les fausses alarmes des locuteurs concurrents de 32 % sur MSDWild. CVBL-CCTV-Face fournit 223 identités capturées dans le cadre d'une dégradation de surveillance authentique et constate que le réglage fin de la dégradation synthétique aide davantage à la reconnaissance qu'un réglage fin direct de mauvaise qualité. La leçon combinée est que la qualité du détecteur, le raisonnement de scène en ligne et l’utilitaire de reconnaissance en aval doivent être testés comme un seul pipeline.

Article 012026-10-05cs.CV

Weave Mamba Fusion : interaction globale entre échelles pour la détection des visages avec un modèle léger

arXiv PDF

Auteurs & institutions

Dohun Kim

School of Data Science, The University of Suwon

Jinmyung Jung

School of Data Science, The University of Suwon

Problème traité

WeaveFace vise à ajouter une interaction globale à plusieurs échelles à un détecteur de visage de moins d'un million de paramètres sans payer les coûts de mémoire et de calcul liés à la concaténation de cartes de caractéristiques complètes ou à l'application d'une auto-attention quadratique.

Résultat clé

Sur WIDER FACE, WeaveFace rapporte un AP moyen de 91,41 % avec 0,34 million de paramètres et 1,16 GFLOP. Son AP du sous-ensemble dur est de 87,14 %, la zone où les faces petites et occluses mettent le plus l'accent sur la conception à échelle croisée. Le document fait état d'une précision plus élevée que celle des détecteurs précédents, inférieure à 0,5 million de paramètres.

Résumé

Les méthodes pyramidales de fonctionnalités, de FPN à BiFPN, ont atteint de solides performances en matière de détection de visages en fusionnant des fonctionnalités multi-échelles. Cependant, la détection de visages dans des conditions non contraintes, telles qu'une petite échelle, une occlusion et une pose extrême, reste difficile, car elle nécessite des dépendances globales à plusieurs échelles que la fusion locale ne peut pas modéliser. Les modèles d'espace d'états tels que Mamba fournissent un contexte global avec une complexité linéaire en analysant les caractéristiques sous forme de séquence, et offrent donc une direction prometteuse pour ce problème. Néanmoins, une telle analyse nécessite que les deux échelles pyramidales soient combinées en une seule carte de caractéristiques, et la manière dont elles sont combinées détermine si la structure multi-échelles est préservée. La sommation réduit les deux échelles avant l'analyse, de sorte que l'analyse n'a pas de structure multi-échelles à exploiter, tandis que la concaténation conserve les deux échelles mais à un coût bien plus élevé. Pour résoudre ce problème, nous proposons Weave Mamba Fusion (WMF), qui entrelace deux échelles pyramidales adjacentes colonne par colonne afin que chaque étape d'un scan SS2D bidirectionnel horizontal se déplace d'une échelle à l'autre. Grâce au traitement des canaux partiels et au détissage sans paramètres, WMF permet une interaction multi-échelle efficace tout en préservant la structure des fonctionnalités. L'intégration de WMF dans chaque nœud de fusion donne WeaveBiFPN, le cou de notre détecteur WeaveFace. Sur WIDER FACE, WeaveFace atteint un AP moyen de 91,41% avec seulement 0,34 M de paramètres et 1,16 GFLOP, surpassant les détecteurs précédents sous 0,5 M de paramètres. Ses gains les plus importants se situent sur le sous-ensemble Hard, où il atteint 87,14% AP. Le code est accessible au public sur https://github.com/dohun-mat/WeaveMambaFusion.

Point de départ de la recherche

Les faces petites, obstruées et fortement pivotées nécessitent des détails spatiaux fins provenant des niveaux pyramidaux haute résolution et un contexte sémantique provenant des niveaux basse résolution. La fusion FPN et BiFPN standard est locale, tandis qu'une attention totale peut s'avérer trop coûteuse aux résolutions utilisées par un détecteur léger.

Méthode

Weave Mamba Fusion entrelace les colonnes des niveaux pyramidaux adjacents afin qu'un scan SS2D horizontal bidirectionnel alterne entre les échelles à chaque étape. Seule une partie des canaux est traitée, et une opération de détissage sans paramètre restaure les échelles d'origine. Le remplacement de chaque nœud de fusion BiFPN par cet opérateur produit WeaveBiFPN, qui est utilisé comme col du détecteur WeaveFace.

À retenir

Ce détecteur est prometteur pour les systèmes embarqués limités en paramètres et en calcul, notamment en présence de petits visages. Les gains d’efficacité étant surtout mesurés par la complexité du modèle, il faut vérifier la latence réelle et la mémoire utilisée sur le matériel cible.

Article 022026-10-10cs.CV

CAST-ASD : attention causale entre locuteurs et dans le temps pour la détection en ligne du locuteur actif

arXiv PDF

Auteurs & institutions

Pratham Gupta

Indian Institute of Technology Kanpur

KTH Royal Institute of Technology

Haotian Qi

KTH Royal Institute of Technology

Tushar Sandhan

Indian Institute of Technology Kanpur

Gabriel Skantze

KTH Royal Institute of Technology

Problème traité

CAST-ASD apporte le raisonnement croisé à un détecteur à anticipation nulle dont le nombre de paramètres n'augmente pas avec le nombre de faces visibles. Il aborde la scène en ligne après la détection et le suivi des visages, où une faible latence et l'attribution du locuteur sont toutes deux requises.

Résultat clé

CAST-ASD réduit les fausses alarmes des locuteurs concurrents de 32 % par rapport à son squelette causal par visage et surpasse toutes les lignes de base causales sur les deux divisions de validation MSDWild. Un bloc CAST utilise 1,57 million de paramètres et environ un dixième des paramètres inter-enceintes d'une convolution à liste fixe de trois blocs. Sa pénalité causale est de 1,14 mAP contre 2,67 mAP pour la configuration LoCoNet correspondante.

Résumé

Nous présentons CAST-ASD (Causal Attention over Speakers and Time), un modèle causal conjoint pour la détection active du locuteur (ASD). Les modèles ASD récents améliorent les performances en traitant conjointement tous les visages d'une scène, mais fonctionnent hors ligne, le clip complet étant disponible avant qu'une image ne soit étiquetée. Les détecteurs causals à faible latence traitent chaque visage indépendamment. CAST-ASD combine le raisonnement commun avec une inférence entièrement causale. Il applique une attention au niveau de la scène sur les visages dans le cadre actuel et une attention temporelle causale sur l'historique de chaque visage, permettant le partage d'informations entre les locuteurs sans aucune anticipation. Son nombre de paramètres n'augmente pas avec le nombre de faces. Sur MSDWild, où la plupart des images de visage négatives contiennent un locuteur concurrent visible, CAST-ASD réduit les fausses alarmes des locuteurs concurrents de 32 % par rapport au détecteur causal par visage qu'il étend, avec des gains plus importants à mesure que l'occupation de la scène augmente. Il surpasse toutes les lignes de base causales sur les deux divisions de validation tout en utilisant seulement un dixième des paramètres inter-locuteurs d'une convolution à liste fixe à trois blocs. Le code et les modèles sont disponibles sur https://github.com/prathamg007/CAST-ASD.

Point de départ de la recherche

La détection du locuteur actif doit décider quelle face visible possède une piste audio partagée. Des modèles conjoints précis examinent généralement les images futures, tandis que les systèmes causals notent souvent chaque visage indépendamment et confondent donc les spectateurs silencieux avec l'orateur actuel dans les scènes bondées.

Méthode

Une structure audiovisuelle causale encode chaque piste de visage et le flux audio partagé. Chaque bloc CAST applique d'abord une auto-attention au niveau de la scène sur tous les visages de l'image actuelle, puis une attention temporelle causale sur le passé de chaque visage. Le modèle est évalué sur MSDWild, où la plupart des cadres de visage négatifs contiennent un locuteur visible concurrent, et comparé aux lignes de base causales par visage et à liste fixe dans des conditions d'entraînement appariées.

À retenir

Pour les conférences en direct, la diarisation et le contrôle de la caméra, la comparaison de tous les visages actuellement visibles peut récupérer une grande partie du contexte perdu en interdisant l'anticipation. Le modèle suppose des pistes de face fiables, de sorte que les pannes des détecteurs et des trackers restent une partie du risque de bout en bout.

Article 032026-10-27cs.CV

Ensemble de données CVBL-CCTV-Face pour l'amélioration et la reconnaissance des visages dans le monde réel dans la surveillance

arXiv PDF

Auteurs & institutions

Manish Das

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Ajay Kumar Yadav

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Shiv Ram Dubey

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Satish Kumar Singh

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Problème traité

Le travail fournit un ensemble de données de vidéosurveillance non appariées à référence et un pipeline complet de détection, d'amélioration et de reconnaissance des visages pour étudier la dégradation authentique des composés. Il compare également si l'amélioration pré-entraînée, le réglage fin de la dégradation synthétique ou le réglage direct direct de faible qualité sont les meilleurs transferts.

Résultat clé

L'ensemble de données contient 14 081 images d'entraînement de faible qualité, 2 186 références augmentées de haute qualité et un ensemble de tests comprenant 1 581 images de faible qualité et 528 images de haute qualité. Le réglage fin sur des images de haute qualité dégradées synthétiquement produit les résultats de reconnaissance les plus forts, tandis que le réglage fin direct sur des cultures réelles de mauvaise qualité n'améliore pas les lignes de base pré-entraînées. Ce résultat négatif met en évidence l’inadéquation persistante entre les objectifs de restauration et les artefacts de surveillance incontrôlés.

Résumé

Dans les contextes de surveillance réels, les captures faciales provenant des systèmes de télévision en circuit fermé souffrent de dégradations telles qu'une faible résolution, un flou de mouvement, du bruit et des occlusions, qui compromettent la fiabilité de la reconnaissance faciale. Dans cette étude, nous proposons un cadre de super-résolution et de reconnaissance d'identité, destiné aux applications de surveillance. À cette fin, nous présentons l'ensemble de données CVBL-CCTV-Face qui est un ensemble de données d'images du monde réel prises de manière non appariée, où chaque paire consiste en une image de faible qualité (LQ) d'un visage capturée par une caméra de vidéosurveillance IP Dome de 8 MP ainsi qu'une image de référence de haute qualité (HQ) prise dans des paramètres contrôlés. Afin de faire face aux différents problèmes posés par de tels ensembles de données, nous construisons un système modulaire qui implique la détection de visages, la super-résolution basée sur l'apprentissage profond d'images de visages de faible qualité et la reconnaissance d'identité via des intégrations normalisées L2 extraites par un modèle d'intégration. Les modèles d'amélioration sont formés et testés selon trois configurations différentes, et le système est déployé pour la vérification d'identité dans un environnement en temps réel sans contrainte.

Point de départ de la recherche

Les pipelines de surveillance des visages sont souvent testés avec des images de studio ou un sous-échantillonnage synthétique, tandis que les cultures de vidéosurveillance réelles combinent flou de mouvement, bruit de capteur, changements de pose, occlusion, distance et mauvais éclairage. Les modèles d'amélioration formés sur des données appariées bien rangées peuvent donc produire des images attrayantes sans améliorer la correspondance d'identité sur les caméras réelles.

Méthode

CVBL-CCTV-Face contient 223 identités capturées avec une caméra dôme IP de 8 MP ainsi que des références de haute qualité acquises séparément. Deux versions modélisent une inscription clairsemée et plus riche, et les divisions d'identité disjointes prennent en charge l'évaluation. Le benchmark utilise la détection MTCNN, quatre modèles d'amélioration de transformateur ou de diffusion, des intégrations de visages normalisées et une correspondance L2, puis déploie les mêmes modules dans une démonstration de vidéosurveillance en direct.

À retenir

L’apport principal est un jeu de données et un protocole réalistes pour tester les systèmes de surveillance, plutôt qu’un modèle prêt à déployer. Les images de caméras réelles sont indispensables, mais affiner un réseau de restauration sur ces recadrages de visages ne garantit pas une meilleure identification.