ForschungsradarGesichtserkennungarXivJuli 2026

Monatliches arXiv-Radar

Veröffentlichungen zur Gesichtserkennung im Juli 2026: Synthetische Grundlagenmodelle, Durchfahrts-NIR und linsenlose Kameras

Die im Juli veröffentlichten Studien zur Gesichtserkennung verlagern den Fokus von rein auf die Genauigkeit von Benchmarks fokussierten Ansätzen hin zu den Daten und Erfassungssystemen, die die Qualität des Einsatzes bestimmen. Die ausgewählten Arbeiten untersuchen datenschutzfreundliches synthetisches Training in zwei Datenskalen, stellen einen spektralübergreifenden Datensatz für die Grenzkontrolle mit durch Glas hindurchgehenden Sonden vor und untersuchen die Auswirkungen des Austauschs der Kamera durch einen linsenlosen optischen Encoder.

Was dieser Monat zeigt

Die alleinige Anpassung synthetischer Daten kann ein allgemeines Bildverarbeitungsmodell für die Gesichtserkennung wettbewerbsfähig machen, doch die optimale Strategie ändert sich mit dem Datenvolumen deutlich. DriveFace zeigt, dass selbst ein leistungsstarkes Einbettungsmodell signifikante Fehler aufweist, wenn sichtbare Erfassungsbilder mit bewegten NIR-Sonden durch Autoglasscheiben abgeglichen werden. LFD optimiert die Erfassungskette, indem es linsenlose Optik, Rekonstruktion, Detektion und Erkennung als miteinander verbundene Komponenten betrachtet. Die zentrale Erkenntnis ist, dass die Leistungsfähigkeit im Einsatz von der gesamten Erfassungs- und Einbettungskette abhängt, nicht nur vom Erkennungsverlust.

Paper 012026-07-27cs.CV

IJCB-AFMFR 2026: Wettbewerb zur Anpassung von Grundlagenmodellen für die Gesichtserkennung mithilfe synthetischer Trainingsdaten

arXiv PDF

Autoren & Institutionen

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Arturas Nakvosas

Vilnius University, Lithuania

Hatef Otroshi Shahreza

Idiap Research Institute, Switzerland

Sébastien Marcel

Idiap Research Institute, Switzerland

Rishabh Shukla

Indian Institute of Technology Jammu, India

Aditya Takkar

Indian Institute of Technology Jammu, India

Rushil Khullar

Indian Institute of Technology Jammu, India

Lalak Yadav

Indian Institute of Technology Jammu, India

Gourav Gupta

ArogyaPandit Private Limited, India

Anant Gupta

ArogyaPandit Private Limited, India

Shiqi Yu

Southern University of Science and Technology, China

Vitomir Struc

University of Ljubljana, Slovenia

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Welches Problem es löst

Frühere Wettbewerbe mit synthetischen Daten vermischten Generatorqualität, Backbone-Wahl und Trainingsrezepte. Dieser Benchmark korrigiert CLIP ViT-L/14 und den IDPERTURB-Generator, sodass vollständiges Fine-Tuning, LoRA, rangstabilisiertes LoRA und reine Projektionsanpassung anhand derselben Identitätsdaten und Evaluierungssuite verglichen werden können.

Zentrales Ergebnis

Die vollständige Feinabstimmung mit Sub-Center ArcFace führt den Full Data Track mit einer durchschnittlichen Genauigkeit von 95,51 % bei den kleinen Benchmarks und 87,42 % TAR bei FAR 1e-5 auf IJB-C an, verglichen mit 76,71 % für die FRoundation-Baseline. Bei begrenzten Daten ist rsLoRA robuster: Idiap-BSP erreicht eine durchschnittliche Genauigkeit von 94,52 % und 81,13 % IJB-C TAR bei FAR 1e-5. Die Fairness-Bewertung variiert ebenfalls je nach Regime: Der Gewinner mit vollständigen Daten erreicht eine durchschnittliche RFW-Genauigkeit von 91,70 %, der Gewinner mit begrenzten Daten 88,92 %.

Abstract

Dieser Artikel fasst den Wettbewerb zur Anpassung von Basismodellen für die Gesichtserkennung mithilfe synthetischer Trainingsdaten (AFMFR) zusammen, der im Rahmen der International Joint Conference on Biometrics (IJCB 2026) stattfand. Insgesamt wurden acht gültige Beiträge von vier verschiedenen Teams in zwei sich ergänzenden Kategorien eingereicht: einer Kategorie mit vollständigen Daten, in der die Teilnehmenden das CLIP ViT-L/14-Basismodell mithilfe umfangreicher synthetischer Identitätsdaten anpassten, und einer Kategorie mit begrenzten Daten, die ressourcenbeschränkte Anpassungsszenarien abbildete. Alle Trainingsdaten wurden ausschließlich mit IDPERTURB generiert. Die eingereichten Lösungen wurden anhand ihrer Verifizierungs- und Identifizierungsleistung in verschiedenen Benchmarks, darunter LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C und TinyFace, mithilfe der Borda-Zählmethode bewertet. Zusätzlich wurde eine Fairness-Evaluierung anhand des RFW-Datensatzes für vier demografische Gruppen durchgeführt. Die Ergebnisse zeigen, dass die Anpassung des CLIP-Fundamentmodells mit synthetischen Trainingsdaten die Leistung des Standardmodells deutlich verbessert und in einigen Fällen sogar übertrifft. Insbesondere die vollständige Feinabstimmung mit Sub-Center ArcFace (DMSTI-Neurotechnology) ist im Full Data Track führend, während sich die rangstabilisierte LoRA-Anpassung (Idiap-BSP) bei begrenzten Daten als am effektivsten erweist.

Ausgangspunkt der Forschung

Entwicklern von Gesichtserkennungssystemen mangelt es zunehmend an umfassenden, auf Einwilligung beruhenden Trainingsdatensätzen realer Gesichter, während allgemeine Modelle der Bildverarbeitung ohne Anpassung an strengen biometrischen Messpunkten nicht ausreichend differenzieren. Der Wettbewerb untersucht, ob synthetische Identitäten diese Anpassung ermöglichen können und wie viel Trainingskapazität angemessen ist, wenn sich der verfügbare synthetische Datensatz um mehr als eine Größenordnung ändert.

Methode

Der Wettbewerb unterteilt sich in einen „Full Data Track“ mit rund drei Millionen Bildern von 35.000 synthetischen Identitäten und einen „Limited Data Track“ mit 250.000 Bildern von 5.000 Identitäten. Acht gültige Einreichungen werden anhand einer Borda-Aggregation über fünf kleine Verifizierungssets (IJB-B, IJB-C und TinyFace) bewertet, während RFW die Leistungsstreuung über vier demografische Gruppen hinweg misst. Die eingereichten Methoden untersuchen Full-Backbone-Updates, LoRA- und rsLoRA-Ränge, Margin-Loss-Verfahren, Augmentierung und Lightweight Projection Tuning.

Einordnung

Für Teams, die ein umfangreiches visuelles Backbone adaptieren, sollte das Volumen der synthetischen Daten die Optimierungsstrategie bestimmen. Eine vollständige Feinabstimmung zahlt sich bei mehreren Millionen Bildern aus, während hochrangiges rsLoRA als nützlicher Regularisierer dient, wenn Identitäten und Bilder eingeschränkt sind; eine einzelne Vorgehensweise ist wahrscheinlich nicht für beide Szenarien optimal.

Paper 022026-07-15cs.CV

DriveFace: Ein spektraler Datensatz zur Gesichtserkennung durch Glas für die mobile Fahrzeuggrenzkontrolle

arXiv PDF

Autoren & Institutionen

Anjith George

Idiap Research Institute, Switzerland

Luis S. Luevano

Idiap Research Institute, Switzerland

Alain Komaty

Idiap Research Institute, Switzerland

Zeina Al Amine

Idiap Research Institute, Switzerland

Vidit Vidit

Idiap Research Institute, Switzerland

Sebastien Marcel

Idiap Research Institute, Switzerland

University of Lausanne, Switzerland

Welches Problem es löst

DriveFace schließt die Lücke eines öffentlichen Benchmarks, der die RGB-Sensorik von Smartphones mit der externen Nahinfrarot-Fahrzeugerfassung verknüpft. Es beinhaltet außerdem eine Testumgebung für Präsentationsangriffe, sodass die Sicherheit von Erkennung und Erfassung unter denselben Betriebsbedingungen untersucht werden kann.

Zentrales Ergebnis

Die Erkennung im Außenbereich ist relativ gut, mit AdaFace bei 99,45 % AUC, 2,69 % EER und 97,42 % Rank-1. Simulierte Farbveränderungen sind schwieriger zu erkennen: Der beste AUC-Wert liegt bei 96,23 %, und xEdgeFace erreicht 8,09 % EER und 88,63 % Verifizierung bei 1 % FAR. Die PAD-Baselines verschlechtern sich auch bei unbekannten Angriffen; der beste gemeldete ACER-Wert für unbekannte Masken liegt bei 26,20 %, trotz geringer Fehler im Protokoll für bekannte Angriffe.

Abstract

Das stetige Wachstum der grenzüberschreitenden Mobilität setzt die bestehende Grenzkontrollinfrastruktur zunehmend unter Druck und motiviert die Entwicklung biometrischer Authentifizierungsverfahren für unterwegs, bei denen Reisende direkt in ihren Fahrzeugen an Kontrollpunkten identifiziert werden. Gesichtserkennung eignet sich hierfür besonders gut, da sie passiv und aus der Ferne erfasst werden kann. Ihre Weiterentwicklung wird jedoch durch den Mangel an repräsentativen Datensätzen behindert: Bestehende Benchmarks wurden in kontrollierten Umgebungen erhoben und erfassen nicht die Herausforderungen der Fahrzeugerfassung, wie Bewegungsunschärfe, variable Beleuchtung, Verdeckungen und die Erfassung über verschiedene Spektralbereiche hinweg. Um diese Lücke zu schließen, stellen wir einen Datensatz für die Gesichtserkennung in Bewegung in Grenzkontrollszenarien vor. Dieser umfasst NIR-Videos von Fahrzeugüberquerungen in Kombination mit Smartphone-basierten Vorregistrierungsdaten. Vergleichsevaluierungen mit modernsten Modellen zeigen deutliche Leistungsgrenzen unter diesen realistischen Bedingungen und unterstreichen den Bedarf an spezialisierten Methoden zur Weiterentwicklung des Feldes.

Ausgangspunkt der Forschung

Fahrzeugkontrollpunkte würden von der Identifizierung vorregistrierter Reisender profitieren, ohne dass diese das Fahrzeug verlassen müssen. Die Sensoren erfassen jedoch Daten durch reflektierendes oder getöntes Glas, oft während sich Fahrzeug oder Person in Bewegung befinden. Bestehende Datensätze für den VIS-NIR-Bereich in Innenräumen berücksichtigen diese optische Beeinträchtigung nicht in Kombination mit Profilposition, Wetter, Geschwindigkeit und der Registrierung über mehrere Sitzungen hinweg.

Methode

Der Datensatz begleitet 70 einwilligende Freiwillige über zwei Sitzungen und erfasst die Smartphone-Registrierung sowie NIR-Messungen im Freien, im Fahrzeuginnenraum und bei simulierter Tönung. Metadaten umfassen Glastönung, Beleuchtung, Kopfhaltung, Wetter und Fahrzeuggeschwindigkeit. Identitätsdisjunkte Trainings- und Testprotokolle evaluieren AdaFace, LVFace, EdgeFace und ein spektral angepasstes xEdgeFace anhand von AUC, EER, Verifizierungsrate bei 1 % FAR und Rank-1-Identifizierung; separate PAD-Protokolle decken bekannte und unbekannte Angriffe durch Fingerabdrücke oder Masken ab.

Einordnung

DriveFace eignet sich hervorragend als Akzeptanztest-Datensatz für Fahrzeug- und Grenzüberwachung, da es Registrierung, Sensorspektrum, Glaserkennung, Bewegungserkennung und Spoofing in einem einzigen Protokoll vereint. Die Basiswerte zeigen jedoch, dass gute Ergebnisse bei uneingeschränkter Gesichtserkennung keine ausreichende Sicherheitsmarge bei getönter, spektralübergreifender Erfassung gewährleisten.

Paper 032026-07-11cs.CV

LFD: Realwelt-Gesichtserkennung ohne Linse mit einem umfangreichen Datensatz

arXiv PDF

Autoren & Institutionen

Junho Kim

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Salman S. Khan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Sara Wan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Tomi Kuye

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Ashok Veeraraghavan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Welches Problem es löst

Es fehlte an einem umfangreichen Datensatz, der reale linsenlose Messungen, rekonstruierte Bilder und herkömmliche Gesichtsbilder unter Innen- und Außenbedingungen kombinierte. Diese Lücke erschwerte es, die Rekonstruktionsqualität von Fehlern des Detektors und des Erkennungssystems zu trennen oder zu testen, ob ein Modell auf verschiedene optische Encoder übertragbar ist.

Zentrales Ergebnis

Auf Prototyp 1 erreicht der mit LFD trainierte Erkennungsalgorithmus einen AUC-Wert von 0,946 im Indoor Easy-Modus, 0,808 im Outdoor-Modus, 0,851 im vollständigen Datensatz und 0,778 im Hard-Set. Das entsprechende Standardbildmodell erzielt Werte von 0,884, 0,625, 0,763 und 0,599. Bei einer Falsch-Positiv-Rate (FPR) von 0,05 % im modalitätsübergreifenden Abgleich erreichen LFD-Rekonstruktionen eine Trefferquote (TPR) von 77,30 % gegenüber 66,02 % bei den früheren FCFD-FlatNet-Daten. Dieser Vorteil bleibt auch auf einem zweiten optischen Prototyp bestehen.

Abstract

Gesichtserkennung ist eine weit verbreitete Aufgabe der Computer Vision mit vielfältigen Anwendungsbereichen, von der alltäglichen Smartphone-Biometrie bis hin zu hochsensiblen Sicherheitssystemen. Die meisten Gesichtserkennungssysteme basieren auf herkömmlichen Kameras, die oft Nachteile wie sperrige Bauform, hohe Kosten und eingeschränkten Datenschutz aufweisen. Um diese Einschränkungen zu überwinden, haben sich linsenlose Kameras als Alternative etabliert. Linsenlose Kameras nutzen dünne optische Encoder, was kleinere Abmessungen, niedrigere Kosten und eine größere Designflexibilität ermöglicht. Typischerweise werden diese Kameras mit Rekonstruktionsalgorithmen kombiniert, die Rohaufnahmen in erkennbare Bilder umwandeln. Rekonstruierte Bilder weisen jedoch häufig Artefakte auf, und die Rekonstruktionsmethoden lassen sich nur schwer auf reale Bedingungen übertragen. Darüber hinaus berücksichtigen bestehende Gesichtsdatensätze die in linsenlosen Bildern vorhandenen Artefakte nicht. Um dieses Problem zu lösen, stellen wir das Lensless Face Dataset (LFD) vor. LFD umfasst 21.080 linsenlose Rohmessungen, Rekonstruktionen und Standardbilder von Gesichtern, die unter verschiedenen Lichtverhältnissen, Winkeln und Entfernungen aufgenommen wurden. Unsere wichtigsten Beiträge sind: (1) Reale, linsenlose Gesichtsdaten: LFD konzentriert sich auf die Erfassung eines vielfältigen Gesichtsdatensatzes mit unterschiedlichen Artefakten, die in verschiedenen Umgebungen entstehen; (2) Aufnahmen im natürlichen Umfeld: 4.976 Bilder wurden im Freien bei unterschiedlicher Intensität des natürlichen Lichts und vor verschiedenen Hintergrundmustern aufgenommen; (3) Mehrere linsenlose Geräte: LFD umfasst Gesichtsbilder, die mit drei verschiedenen Arten von linsenlosen Kameras aufgenommen wurden, von denen jede über einen eigenen optischen Encoder verfügt. Wir nutzen diese Hardwarevielfalt, um die Generalisierbarkeit über verschiedene linsenlose Kameras hinweg zu demonstrieren. Durch umfassende Auswertungen und Analysen zeigen wir, dass LFD gemeinsame Merkmale und Artefakte verschiedener linsenloser Bildgebungsgeräte effektiv erfasst und somit einen wertvollen Datensatz für die Weiterentwicklung der linsenlosen Gesichtserkennung darstellt.

Ausgangspunkt der Forschung

Linsenlose Kameras ersetzen sperrige Linsen durch dünne, codierte optische Elemente. Dadurch können sie die Größe reduzieren und weniger für das menschliche Auge lesbares Bildmaterial auf dem Sensor belichten. Ihre Rekonstruktionen weisen jedoch gerätespezifische Unschärfe, Farbverzerrungen und Vignettierung auf, sodass Erkennungsmodelle, die mit normalen Fotos oder simulierten Messungen trainiert wurden, nicht zuverlässig auf reale Aufnahmen übertragbar sind.

Methode

LFD erfasst 21.080 Rohdaten aus linsenlosen Messungen, Rekonstruktionen und Standardbildern, darunter 4.976 Außenaufnahmen und Bilder von drei verschiedenen linsenlosen Kameras. Die Autoren trainieren die Komponenten für Rekonstruktion und Gesichtserkennung separat und vergleichen anschließend SENet-Erkenner, die mit Standard-VGGFace2-Bildern, simulierten linsenlosen Rekonstruktionen oder dem physikalischen LFD-Trainingsmaterial trainiert wurden. Die Verifizierung erfolgt anhand ausgewogener positiver und negativer Paare aus einfachen, Außenaufnahmen, vollständigen und schwierigen Datensätzen, gefolgt von geräteübergreifenden Tests.

Einordnung

LFD zeigt, dass ein linsenloses biometrisches Produkt mit realen Sensorartefakten trainiert werden muss, anstatt die Rekonstruktion als transparenten Vorverarbeitungsschritt zu behandeln. Es liefert eine konkrete Grundlage für die Bewertung kompakter oder datenschutzorientierter Kameras, während die verbleibende Lücke im Außenbereich verdeutlicht, dass der Hardwarevorteil immer noch mit erheblichen Erkennungskosten verbunden ist.