← Zurück zum Blog

ForschungsradarGesichtserkennungarXivOktober 2026

Monatliches arXiv-Radar

Oktober 2026 Papiere zur Gesichtserkennung: Aufmerksamkeit bei harten Proben, Datenprüfungen und thermische Skala

Die Gesichtserkennungsarbeit im Oktober geht über eine einzige Ranglistenpunktzahl hinaus. ViT-HarDis ändert die Art und Weise, wie ein Transformator während des Trainings reguliert wird, das MS1MV3-Audit misst, welche Datenreparaturen tatsächlich helfen, und VTF900 testet die spektrale Übereinstimmung in einem Maßstab, bei dem attraktive AUC-Werte eine schwache Betriebspunktleistung verbergen können.

Was dieser Monat zeigt

ViT-HarDis lenkt die Aufmerksamkeits-Kopf-Dekorrelation auf identitätsmehrdeutige Stichproben und leitet die verglichenen ViT-Systeme auf IJB-B, IJB-C und TinyFace, ohne die Inferenz zu ändern. Eine kontrollierte MS1MV3-Prüfung zeigt, dass das Entfernen von 15,44 % doppelter Bilder die Genauigkeit leicht verbessert und die Basisleistung mit 23,7 % weniger Schritten erreicht, während eine umfassende Filterung nicht automatisch vorteilhaft ist. VTF900 erweitert dann die sichtbar-thermische Auswertung auf 900 Probanden: Eine AUC von 97,68 % entspricht nur 51,10 % TAR bei 1 % FAR in der Frontaleinstellung, und die Leistung außerhalb der Pose sinkt weiter. Zusammenfassend argumentieren die Papiere, dass Trainingsdynamik, Datenfehler, Galeriemaßstab und Betriebsschwellen separat bewertet werden müssen.

Paper 012026-10-30cs.CV

Schwierigkeitsabhängige Dekorrelation von Aufmerksamkeitsköpfen für robuste Gesichtserkennung

Autoren & Institutionen

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD

Welches Problem es löst

ViT-HarDis zielt insbesondere dort auf redundante Aufmerksamkeit ab, wo die Einbettung einer anderen Identität gefährlich nahe kommt. Es wurde entwickelt, um die Gesichtserkennung in großem Maßstab und mit niedriger Auflösung zu verbessern und gleichzeitig die Inferenzlatenz, die Modellform und die Einbettungsschnittstellen unverändert zu lassen.

Zentrales Ergebnis

Bei der kontrollierten ViT-S-Ablation steigt die TAR bei FAR 1e-4 von 84,46 % auf 85,72 % bei IJB-B und von 88,18 % auf 89,09 % bei IJB-C. Mit ViT-B, das auf WebFace4M trainiert wurde, meldet die Methode 95,84 % für IJB-B, 97,24 % für IJB-C und 75,97 % für TinyFace Rank-1 und liegt damit an der Spitze der verglichenen ViT-basierten Systeme. Die Inferenzkosten bleiben unverändert, da die Strafe nur für das Training gilt, obwohl die Autoren von etwa 30 % längerem Training auf WebFace4M berichten.

Abstract

Die Mehrkopfaufmerksamkeit in Vision Transformers (ViTs) ermöglicht unabhängige Aufmerksamkeitsmuster über mehrere Köpfe hinweg, aber ohne explizite Regularisierung können Köpfe eher redundante Muster als komplementäre Rollen lernen. Korrelationsbasierte Strafen fördern die Kopfentwirrung, wenden jedoch eine einheitliche Regularisierung über alle Trainingsbeispiele hinweg an. Bei der Gesichtserkennung (FR) sind harte Proben, deren Einbettungen nahe an konkurrierenden Identitäten liegen, für die Optimierung und Verallgemeinerung von entscheidender Bedeutung. Aus diesem Grund schlagen wir ViT-HarDis vor, das die Aufmerksamkeits-Kopf-Entwirrung von der Stichprobenschwierigkeit abhängig macht: Stichproben mit hoher Kosinus-Ähnlichkeit zu negativen Klassenzentren erhalten eine stärkere Kopf-Dekorrelation, wodurch die Spezialisierung dort erzwungen wird, wo die Identitätsmehrdeutigkeit am höchsten ist. Experimente zeigen bei den meisten Benchmarks Verbesserungen gegenüber der Basislinie und der gleichmäßigen Entflechtung. Unsere Analyse zeigt, dass ViT-HarDis die Ähnlichkeit harter Stichproben mit konkurrierenden Klassenzentren verringert und gleichzeitig die Aufmerksamkeitsähnlichkeit zwischen den Köpfen verringert, und dass die Anwendung der Entflechtung nur auf die letzten Transformer-Schichten die Regularisierung des gesamten Netzwerks übertrifft. Auf WebFace4M trainiert, erzielt ViT-HarDis SOTA-Ergebnisse unter den ViT-basierten Methoden auf IJB-B, IJB-C und TinyFace Rank-1, während es beim Training auf MS1MV3 die besten IJB-B- und TinyFace-Ergebnisse erzielt, wodurch FR ohne Architekturänderungen oder zusätzliche Inferenzkosten verbessert wird. Code: https://github.com/TaharChettaoui/Hard-Sample-Conditioned-Attention-for-FR.

Ausgangspunkt der Forschung

Vision Transformers können unterschiedliche Gesichtsregionen unterschiedlichen Aufmerksamkeitsköpfen zuordnen, aber diese Köpfe konvergieren oft in redundanten Mustern. Einheitliche Dekorrelationsstrafen behandeln ein einfaches Frontalporträt und eine harte Stichprobe mit unklarer Identität gleichermaßen, auch wenn schwierige Stichproben in der Nähe konkurrierender Klassenzentren diejenigen sind, die am wahrscheinlichsten Verifizierungsfehler feststellen. Das Papier stellt die Frage, ob die Schulungskapazität auf diese schwierigen Identitäten konzentriert werden kann, ohne die eingesetzte Architektur zu ändern.

Methode

Die Methode misst die Probenhärte anhand der Kosinusähnlichkeit zum nächstgelegenen negativen Klassenzentrum. Für jeden ausgewählten Transformer-Block wird ein Inter-Head-Aufmerksamkeitskorrelations-Strafwert berechnet, dieser wird für schwerer korrekt klassifizierte Proben stärker gewichtet und zum normalen marginbasierten Gesichtserkennungsverlust addiert. Experimente vergleichen die Grundlinie, die gleichmäßige Entwirrung und die härtebedingte Entwirrung; Schichtablationen zeigen, dass die Regularisierung nur des letzten Viertels der Transformer-Blöcke effektiver ist, als die Einschränkung überall anzuwenden.

Einordnung

Für Teams mit einem ViT-Gesichtsencoder ist dies eine Verbesserung des Trainingsverfahrens, kein Umbau der Inferenz. Die Vorteile zeigen sich vor allem bei schwierigen Tests mit vielen Identitäten und niedriger Auflösung; dafür steigt die Trainingsdauer, und eine Prüfung an der Zielpopulation bleibt nötig.

Paper 022026-10-20cs.CV

Unterschiedliche Mängel, unterschiedliche Auswirkungen: Eine kontrollierte Prüfung der Trainingsdaten zur Gesichtserkennung

Autoren & Institutionen

Ana Dias

University of Beira Interior

Instituto de Telecomunicacoes

NOVA LINCS

João Ribeiro Pinto

Amadeus

Hugo Proença

University of Beira Interior

Instituto de Telecomunicacoes

João C. Neves

University of Beira Interior

NOVA LINCS

Welches Problem es löst

Die Studie unterscheidet fünf Fehlerklassen und misst den Effekt der Korrektur jeder einzelnen unter demselben IResNet-50- und ArcFace-Trainingsprotokoll. Dadurch können Dateneigentümer Interventionen, die die Trainingseffizienz verbessern, von umfassenden Filterungen unterscheiden, die versehentlich informative Stichproben entfernen können.

Zentrales Ergebnis

Die beste Einstellung zum Entfernen von Duplikaten löscht 15,44 % der Bilder, erhöht die durchschnittliche Validierungsgenauigkeit von 97,20 % auf 97,27 % und erreicht die Basisleistung mit 23,7 % weniger Optimierungsschritten. Eine übereinstimmende zufällige Entfernung erreicht nur 97,18 %, sodass die Schrumpfung des Datensatzes allein das Ergebnis nicht erklärt. Beim Zusammenführen geteilter Identitäten bleiben alle Bilder erhalten und erreichen gleichzeitig die Basisleistung mit 21,8 % weniger Schritten; Das Entfernen ungültiger Inhalte hilft ebenfalls, während die Kombination aller Gültigkeitsfilter nicht automatisch das beste Modell ergibt.

Abstract

Die Entwicklung der Gesichtserkennung wurde durch die Verfügbarkeit umfangreicher Trainingsdatensätze stark unterstützt. Unter ihnen hat MS-Celeb-1M eine wichtige Rolle gespielt, indem es Millionen von Gesichtsbildern von fast 100.000 Identitäten bereitgestellt hat. Allerdings erhöhen die Größe und Heterogenität solcher Datensätze die Wahrscheinlichkeit von Anmerkungsfehlern, redundanten Stichproben und anderen Formen der Dateninkonsistenz. Dies motivierte die Einführung verfeinerter Versionen wie MS1MV2 und MS1MV3 mit dem Ziel, die Qualität der Trainingsdaten zu verbessern. Trotz dieser Reinigungsbemühungen zeigen wir, dass in MS1MV3 weiterhin mehrere Arten von Trainingsdatenfehlern bestehen. Indem wir ergänzende Datenprüfungsstrategien vorschlagen, identifizieren wir fünf Fehlerkategorien: exakte und nahezu doppelte Bilder, geteilte Identitäten, Zuschnittfehler, Mehrdeutigkeit mehrerer Gesichter und ungültige Inhalte. Anschließend bewerten wir die Auswirkung der Korrektur dieser Mängel im Rahmen eines kontrollierten Gesichtserkennungs-Trainingsprotokolls auf Basis von IResNet-50 und ArcFace. Die Ergebnisse zeigen, dass gezielte Interventionen die Erkennungsleistung erhalten und in einigen Fällen verbessern können und gleichzeitig weniger Optimierungsschritte erfordern, um die Leistung des ursprünglichen Trainingssatzes zu erreichen. Die Entfernung von Duplikaten bietet den deutlichsten Gesamtnutzen, während die Zusammenführung geteilter Identitäten und die Entfernung ungültiger Inhalte auch die Trainingseffizienz verbessern. Insgesamt deuten die Ergebnisse darauf hin, dass der Effekt der Datensatzbereinigung stark von der Art des behandelten Fehlers abhängt, und liefern einen weiteren Beweis dafür, dass die Qualität der Trainingsdaten ein wichtiger und vergleichsweise wenig erforschter Faktor bei der groß angelegten Gesichtserkennung bleibt. Die in dieser Arbeit verwendeten Schulungsmanifeste und der Code werden nach der Annahme freigegeben.

Ausgangspunkt der Forschung

Große Gesichtserkennungsdatensätze werden in der Regel als sauber oder verrauscht beschrieben, doch Duplikate, geteilte Identitäten, schlechte Ausschnitte, mehrere Gesichter und ungültige Bilder führen zu unterschiedlichen Überwachungsfehlern. MS1MV3 ist bereits ein verfeinerter Benchmark, sodass verbleibende Fehler einen nützlichen Test dafür darstellen, ob ein weiterer Reinigungsdurchlauf die Erkennung verbessert oder lediglich nützliche Diversität entfernt.

Methode

Exakte und nahezu Duplikate werden mit Wahrnehmungs-Hashes gefunden; Gespaltene Identitäten werden mithilfe von Darstellungen auf Identitätsebene und anschließender Bildüberprüfung entdeckt. Zuschnittfehler und Mehrdeutigkeit auf mehreren Flächen nutzen geometrische und OFIQ-Prüfungen; Ungültige Inhalte werden durch die visuelle Beantwortung von BLIP-Fragen identifiziert. Die Autoren erstellen kontrollierte Datensatzvarianten, schließen eine zufällige Entfernungskontrolle ein, die mit Identität und Bildanzahl übereinstimmt, trainieren jede Variante identisch und bewerten sowohl die Validierungsgenauigkeit als auch frühe Kontrollpunkte auf IJB-B und IJB-C.

Einordnung

Die operative Lektion besteht darin, Fehlertypen separat zu prüfen und die Lerneffizienz sowie die endgültige Genauigkeit zu messen. Das Entfernen von Duplikaten und die Reparatur von Identitäten scheinen sich hier zu lohnen, während eine wahllose Qualitätsfilterung kein garantierter Erfolg ist.

Paper 032026-10-17cs.CV

VTF900: Ein Datensatz und Benchmark zur sichtbar-thermischen Gesichtserkennung mit 900 Probanden

Autoren & Institutionen

Jacob Abaare

University of Nebraska-Lincoln

Bianca Ianetta

University of Nebraska-Lincoln

Cedric Nimpa Fondje

AeroVironment

Shuowen Hu

DEVCOM Army Research Laboratory

Benjamin S. Riggan

University of Tennessee, Knoxville

Welches Problem es löst

VTF900 bietet einen gepaarten sichtbar-thermischen Benchmark für 900 Probanden zur Verifizierung und Identifizierung geschlossener Mengen. Es soll zeigen, wie spektralübergreifende Methoden skalieren, wenn Trainingsdaten aus einer anderen Sammlung stammen und wenn Pose, Ausdruck und Okklusion der Sonde variieren.

Zentrales Ergebnis

In der gesamten 900-Personen-Galerie erreicht ViT-B unter Frontalbedingungen eine AUC von 97,68 %, aber nur 51,10 % TAR bei 1 % FAR. DPIT-ResNet50 ist mit 94,68 % AUC und 36,08 % TAR bei 1 % FAR widerstandsfähiger außerhalb der Pose. Die zunehmende Kluft zwischen der Gesamt-AUC und der Betriebs-TAR sowie die Verschlechterung mit zunehmender Galeriegröße zeigen, warum die Ergebnisse von Thermal-Benchmarks mit etwa 100 Personen keine Produktionsbereitschaft belegen.

Abstract

Trotz der Fortschritte bei der Gesichtserkennung mit sichtbarem Wärmebild, bei der Gesichtsbilder von Wärmesonden (Abfragen) mit sichtbaren Registrierungsvorlagen abgeglichen werden, sind bestehende Benchmarks derzeit durch kleine Galeriegrößen (N ca. 100 Probanden) begrenzt. Diese Einschränkung behindert die Fähigkeit, die sichtbar-thermische Gesichtserkennung im großen Maßstab genau zu bewerten und signifikante Erkennungsleistungsmetriken zu melden, die eine bessere betriebliche Relevanz haben. Aus diesem Grund stellen wir VTF900 vor, einen groß angelegten Benchmark für die sichtbare und thermische Gesichtserkennung mit 900 Probanden und gepaarten Bildern, der Ausdrucks-, Posen- und Okklusionsvariationen umfasst. VTF900 wurde entwickelt, um groß angelegte Auswertungen (d. h. große Galerien) über Verifizierung (1:1-Matching) und Closed-Set-Identifizierung (1:N-Matching) für die Gesichtserkennung mit sichtbarem und thermischem Gesichtspunkt zu unterstützen. Darüber hinaus befasst sich VTF900 speziell mit der anspruchsvollen Kombination aus spektraler und datensatzübergreifender Analyse. In diesem Artikel stellen wir nach dem Training von Modellen mit dem ARL-VTF-Datensatz Benchmark-Analysen für Faltungsarchitekturen (Baseline), Vision-Transformatoren und domänenadaptive neuronale Netzwerkarchitekturen bereit, um zu bewerten, wie sich diese Methoden skalieren lassen. Im vollen Galeriemaßstab (N = 900) erzielen Transformatormodelle eine starke Unterscheidungsleistung unter Frontalbedingungen (z. B. ViT-B: 97,68 % AUC, 51,10 % TAR bei 1 % FAR), während domänenadaptive Methoden wie DPIT-ResNet50 eine größere Robustheit unter Off-Pose-Bedingungen zeigen (94,68 % AUC, 36,08 % TAR bei 1 % FAR). Unsere Ergebnisse zeigen, dass eine hohe AUC im kleinen Maßstab nicht zu einer zuverlässigen Leistung im Bereitstellungsmaßstab führt und dass Posenschwankungen die Leistungsverschlechterung erheblich verstärken. VTF900 deckt diese Einschränkungen auf und ermöglicht eine strengere Bewertung spektraler Gesichtserkennungssysteme.

Ausgangspunkt der Forschung

Die Gesichtserkennung im sichtbaren und thermischen Bereich ist für den Betrieb bei schlechten Lichtverhältnissen und in der Nacht attraktiv, aber die meisten öffentlichen Auswertungen enthalten etwa hundert Identitäten. Kleine Galerien können die AUC stark erscheinen lassen und gleichzeitig die falschen Übereinstimmungen und Rangfolgefehler verbergen, die auftreten, wenn ein System eine Population in Bereitstellungsgröße durchsuchen muss, insbesondere bei Pose und Sensorverschiebung.

Methode

Der Datensatz kombiniert sichtbare Registrierungsbilder mit thermischen Sonden für 900 einwilligende Probanden und definiert kontrollierte und umfassende opportunistische Protokolle. Modelle werden auf ARL-VTF statt auf VTF900 trainiert und dann in zunehmenden Galeriegrößen unter Verwendung von Faltungs-, Transformator- und domänenadaptiven Architekturen getestet. Die Analyse meldet Verifizierungs- und Identifikationsmetriken getrennt für Frontal- und Off-Pose-Bedingungen.

Einordnung

VTF900 ist nützlich für Käufer, die nächtliche Identitätssysteme evaluieren, da es sowohl die Sensorfehlanpassung als auch den Galeriemaßstab testet. Die Ergebnisse sprechen für die Angabe von Betriebspunkt- und Posen-geschichteten Metriken und nicht nur für die AUC allein.