← Zurück zum Blog
ForschungsradarGesichtserkennungErkennung von PräsentationsangriffenarXivJuli 2026

Monatliches arXiv-Radar

Veröffentlichungen zur Gesichtserkennung im Juli 2026: Multispektrale Patches, konzeptbasierte PAD und Herausforderungen für das Auge

Im Juli gab es nur wenige Veröffentlichungen zu direkten Gesichtserkennungstechnologien, die Sicherheitsebene für die Bildaufnahme war jedoch aktiv. Diese Übersicht verfolgt daher die einzelnen Schritte der Erkennungsmethode: Lässt sich ein kombinierter visueller und infraroter Detektor physisch verbergen? Lässt sich ein Modell zur Erkennung von Gesichtsfälschungen auf unsichtbare Materialien und Sensoren übertragen? Und kann die Lebendigkeit der Augen eine biologische Echtzeitreaktion auslösen, die durch Wiedergabe oder Generierung nicht reproduziert werden kann?

Was dieser Monat zeigt

VIPatch zeigt, dass die Kombination von sichtbaren und Infrarotsensoren das Risiko physischer Angriffe nicht automatisch beseitigt, da eine abgestimmte Maske und ein Wärmebildaufkleber beide Kanäle unterdrücken können. CPG-PAD zielt auf eine andere Schwachstelle ab: Anti-Spoofing-Maßnahmen, die sich an Artefakten im Datensatz orientieren, anstatt wiederverwendbare visuelle Konzepte zu nutzen. Das Augenprotokoll geht von passiver Klassifizierung zu einer aktiven Überprüfung über, indem es Blickverfolgung und Pupillenreaktion kombiniert. Zusammengenommen plädieren die Arbeiten für mehrschichtige Abwehrmechanismen gegen Angriffe, explizite domänenübergreifende Tests und eine sorgfältige Trennung zwischen simulierten Sicherheitsnachweisen und von Menschen validierten Einsatzbehauptungen.

Paper 012026-07-25cs.CR

Versteckt im Offensichtlichen: Ein effektiver physischer Adversarial Patch-Angriff auf die visuelle und infrarotbasierte Gesichtserkennung

arXivPDF

Autoren & Institutionen

Qiucheng Yu

City University of Hong Kong, Hong Kong, China

Tao Ni

King Abdullah University of Science and Technology, Saudi Arabia

Yihe Zhou

City University of Hong Kong, Hong Kong, China

Jiayimei Wang

City University of Hong Kong, Hong Kong, China

Qingchuan Zhao

City University of Hong Kong, Hong Kong, China

Welches Problem es löst

Bisherige Patches lassen sich schlecht auf fusionierte Detektoren übertragen, da die Optimierung für das sichtbare Bild mit der Infrarotempfindlichkeit kollidieren kann und auffällige Muster leichter von Personen oder Sekundärsystemen erkannt werden. VIPatch zielt auf einen physikalisch realisierbaren, gemeinsamen und visuell unauffälligen Angriff ab.

Zentrales Ergebnis

Der digitale Black-Box-Angriff erreicht im Durchschnitt eine Erkennungsrate (ASR) von 94,59 % bei sichtbaren Detektoren und 97,40 % bei Infrarotdetektoren. Im physikalischen Fusionsmodus erzielt VIPatch eine ASR von 97,27 % bei YOLOv8-Face und MTCNN sowie 100 % bei TFW und OpenCV. Die physikalische ASR im sichtbaren Bereich liegt bei 80,29 % bei einer Beleuchtungsstärke von 12.000 Lux und variiert zwischen 92,51 % und 100 % über die getesteten Entfernungen von ein bis drei Metern.

Abstract

Deep-Learning-basierte Modelle zur visuell-infraroten Gesichtserkennung finden zunehmend Anwendung in verschiedensten Bereichen, sind aber weiterhin anfällig für Adversarial Patch Attacks. Die meisten bisherigen Angriffe zielen entweder nur auf das visuelle oder nur auf das Infrarotbild im digitalen Bereich ab, wodurch sie gegen fusionierte Modelle in der realen Welt wirkungslos sind. Zudem sind viele dieser Methoden leicht erkennbar, da ihre Patch-Muster deutlich von denen in der Realität abweichen. In diesem Beitrag stellen wir VIPatch (Visual-Infrared Patch) vor, einen neuartigen physikalischen Adversarial Patch Attack, der unauffällige, realistische und natürlich wirkende Patches für Gesichtsbilder erzeugt. Konkret erstellt VIPatch eine Gradientenmaske zusammen mit einem Pflaster-ähnlichen Element über dem visuellen und dem Infrarotbild und optimiert diese beiden Elemente gemeinsam. Die resultierenden digitalen Patches dienen als Grundlage für die Herstellung ihrer physischen Gegenstücke. Experimentelle Ergebnisse zeigen, dass VIPatch sowohl im digitalen als auch im physischen Bereich wettbewerbsfähige Erfolgsraten (über 90 %) erzielt und die Patches dabei für menschliche Betrachter unauffällig bleiben.

Ausgangspunkt der Forschung

Visuelle Infrarotfusion wird eingesetzt, um die Gesichtserkennung auch bei schwachem Licht und in Umgebungen mit Temperaturmessung zu gewährleisten. Die meisten Angriffe auf die Gesichtserkennung beschränken sich jedoch auf eine Modalität oder bleiben digital. Ein Produktionssystem muss wissen, ob ein gewöhnlich aussehendes Objekt nach dem Drucken, der Positionierung, Lichtveränderungen und Kamerabewegungen beide Kanäle unterdrücken kann.

Methode

VIPatch optimiert gemeinsam eine farbverlaufende Gesichtsmaske für den sichtbaren Bereich und einen pflasterartigen Wärmeaufkleber für den Infrarotbereich und fertigt anschließend physische Prototypen an. Die Evaluierung kombiniert mehrere Detektoren für sichtbares und Infrarotlicht, White-Box- und Black-Box-Transfertests sowie physikalische Prüfungen hinsichtlich Betrachtungswinkel, Beleuchtungsstärke (200 bis 12.000 Lux) und Entfernungen (ein bis drei Meter).

Einordnung

Multispektrale Sensorik sollte als gekoppeltes System und nicht als zwei unabhängige Verteidigungssysteme modelliert werden. Der Angriff ist ein Ergebnis von Red-Team-Übungen und keine Abwehrmaßnahme, liefert Detektorherstellern aber konkrete physikalische Bedingungen, Übertragungsmodelle und Angriffsziele zur Bewertung von Patch-Erkennung, Konsistenzprüfungen der Sensoren und Ausweichstrategien.

Paper 022026-07-01cs.CV

CPG-PAD: Konzeptbasierte Eingabeaufforderungen zur Erkennung von Präsentationsangriffen

arXivPDF

Autoren & Institutionen

Haoyuan Zhang

School of Artificial Intelligence, University of Chinese Academy of Sciences, China

State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, China

Xiangyu Zhu

State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, China

School of Artificial Intelligence, University of Chinese Academy of Sciences, China

Li Gao

China Mobile Financial Technology Co., Ltd., China

Ajian Liu

State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, China

School of Artificial Intelligence, University of Chinese Academy of Sciences, China

Siran Peng

State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, China

School of Artificial Intelligence, University of Chinese Academy of Sciences, China

Zhen Lei

State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, China

School of Artificial Intelligence, University of Chinese Academy of Sciences, China

Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences, Hong Kong, China

School of Computer Science and Engineering, Macau University of Science and Technology, Macau, China

Welches Problem es löst

Ziel dieser Arbeit ist es, gelernte Hinweise mit detaillierten, angriffsrelevanten visuellen Informationen abzugleichen und gleichzeitig domänenspezifische Abkürzungen zu unterdrücken. Darüber hinaus testet sie denselben Ansatz anhand verschiedener Protokolle für Angriffe mit Präsentationen, die auf mehreren, wenigen oder nur einer Quelle basieren, sowie mit unbekannten Präsentationsinstrumenten, anstatt sich auf eine einzige Aufteilung zwischen verschiedenen Datensätzen zu beschränken.

Zentrales Ergebnis

Ohne zusätzliche Daten erreicht CPG-PAD im Vier-Wege-Mehrquellenprotokoll einen durchschnittlichen HTER-Wert von 2,08 % und verbessert damit den CLIP-Basiswert von 5,43 %. Mit CelebA-Spoof liegt der Wert bei 1,19 %. Im Einzelquellen-Transfer wird ein durchschnittlicher HTER-Wert von 5,33 % und bei unbekannten Angriffsinstrumenten ein Wert von 1,02 % angegeben, wobei der CLIP-Basiswert bei 3,03 % liegt. Die Verwendung eines Validierungs- statt eines Testschwellenwerts ergibt einen durchschnittlichen HTER-Wert von 2,28 %, wodurch die Grenzen der Schwellenwertsetzung deutlich werden.

Abstract

Die Erkennung von Präsentationsangriffen (PAD) ist ein entscheidender Schutzmechanismus für Gesichtserkennungssysteme gegen Angriffe wie gedruckte Fotos, abgespielte Videos und 3D-Masken. Trotz bedeutender Fortschritte haben bestehende PAD-Modelle aufgrund von Unterschieden in Sensoren, Beleuchtung und Angriffsmaterialien weiterhin Schwierigkeiten, auf unbekannte Domänen zu generalisieren. Neuere Bild-Sprach-Modelle (VLMs) weisen zwar eine hohe Generalisierungsfähigkeit auf, ihre Anwendung in der PAD ist jedoch begrenzt, da gelernte Prompts, die typischerweise unter Klassenlabel-Überwachung optimiert werden, nicht explizit mit der feinkörnigen, angriffsrelevanten visuellen Semantik übereinstimmen. Daher passen sich die gelernten Repräsentationen oft domänenspezifischen Artefakten zu, anstatt übertragbare Angriffshinweise zu erfassen. Um dieses Problem zu beheben, schlagen wir Concept-Informed Prompts Guided Presentation Attack Detection (CPG-PAD) vor, ein Framework, das modellbasierte Konzeptführung in den Prompt-Lernprozess einführt. Konkret entwickeln wir ein Modul zur visuellen konzeptbasierten Verbesserung (VCE), das Techniken der erklärbaren KI (XAI) nutzt, um automatisch PAD-relevante visuelle Konzepte zu erkennen und konzeptassoziierte Heatmaps zu generieren, die lokalisierte, detaillierte Hinweise liefern. Mithilfe dieser Heatmaps integriert ein Mechanismus zur promptbasierten Konzeptinjektion (PCI) diese Konzepte über einen visuellen Prompt-Decoder (VPD) und einen Konzeptmapping-Verlust in den Promptraum. Dadurch werden die Prompts mit dem internen Konzeptraum des Modells abgeglichen. Dieses Design ermöglicht es CPG-PAD, generalisierbare und domäneninvariante Angriffshinweise zu erfassen und gleichzeitig datensatzspezifische Verzerrungen effektiv zu unterdrücken. Umfangreiche Experimente mit neun Benchmark-Datensätzen zeigen, dass CPG-PAD unter verschiedenen Bedingungen – mit mehreren, wenigen und einer einzigen Datenquelle – durchgängig Bestleistungen erzielt.

Ausgangspunkt der Forschung

Modelle zur Erkennung von Gesichtsmanipulationen funktionieren oft gut mit den Sensoren und Angriffsmedien, die während des Trainings verwendet wurden, versagen jedoch, wenn sich Beleuchtung, Kameras, Druckverfahren, Masken oder Make-up ändern. Bildverarbeitungsmodelle bieten zwar ein breites Vorwissen, doch selbst reines Label-basiertes Prompt-Learning kann sich auf lokale Datensatzartefakte anstatt auf Konzepte konzentrieren, die einen realen Präsentationsangriff beschreiben.

Methode

CPG-PAD nutzt zunächst in seinem Modul zur visuellen konzeptbasierten Verbesserung Erklärbarkeitsmethoden, um Konzepte zu erkennen und lokalisierte Konzept-Heatmaps zu erstellen. Ein visueller Prompt-Decoder und ein Verlustfaktor für die Konzeptzuordnung fügen diese Heatmaps anschließend in den Prompt-Raum ein und verknüpfen so die visuellen Merkmale von CLIP mit mehreren lernbaren realen/gefälschten Prompts. Das rein visuelle Modell wird anhand von neun Datensätzen evaluiert und liefert sowohl konventionelle HTER/AUC- als auch ISO-konforme Betriebspunktmetriken.

Einordnung

Konzeptbasierte Eingabeaufforderungen sind vielversprechend, wenn ein PAD-Produkt Sensoren überwinden und Materialien angreifen muss, insbesondere weil sie im Vergleich zu multimodalen Sprachmodellen einen geringeren rein visuellen Ressourcenverbrauch aufweisen. Käufer sollten die Ergebnisse dennoch anhand von einsatzkalibrierten Schwellenwerten vergleichen: Die Studie weist ausdrücklich darauf hin, dass gängige, aus Tests abgeleitete EER-Schwellenwerte die Einsatzbereitschaft überschätzen können.

Paper 032026-07-10cs.CV

Ein zweistufiges Challenge-Response-Protokoll zur Überprüfung der Lebendigkeit des Auges

arXivPDF

Autoren & Institutionen

Ismail Kably

Konelia Inc., Austin, Texas, USA

Welches Problem es löst

Das vorgeschlagene Protokoll begegnet den Bedrohungen des Auges und der Iris durch Replay-Angriffe, generative Deepfakes und Prothesen, indem es die willkürliche Blickfolge mit dem unwillkürlichen Pupillenlichtreflex koppelt. Die zentrale Frage ist, ob eine Verzögerung bei der Bildwiedergabe eine messbare Synchronisationslücke bei wiederholten, randomisierten Reizen erzeugt.

Zentrales Ergebnis

Die Simulation ergibt einen AUC-Wert von 0,502, wenn das Rendering des Generators keine Latenz verursacht, 0,717 bei 25 ms, 0,948 bei 50 ms und mindestens 0,997 ab 75 ms pro Runde. Bei 25 ms erhöht sich der AUC-Wert nach zehn Runden auf 0,966, und fünf oder mehr Runden senken die simulierte AUC-Erkennungsschwelle von 0,90 von 50 ms auf 25 ms. Dies sind In-silico-Ergebnisse; es wurden keine Messungen an menschlichen Probanden oder realen generativen Angriffen durchgeführt.

Abstract

Okuläre biometrische Systeme sind komplexen Präsentationsangriffen ausgesetzt, darunter hochauflösende Videowiedergaben und generative Deepfakes in Echtzeit, die statische Lebendigkeitsprüfungen leicht umgehen. Aktuelle Frameworks zur Erkennung von Präsentationsangriffen (PAD) basieren typischerweise auf isolierten physiologischen Metriken wie Blickverfolgung oder dem Pupillenlichtreflex (PLR), die unabhängig voneinander manipuliert werden können. In diesem Beitrag wird ein Protokoll zur räumlich-luminanzbasierten Sensorfusion vorgestellt, das ein Dual-Stream-Challenge-Response-Framework zur Überprüfung der okulären Lebendigkeit einführt, indem es diese Metriken in einer simultanen Authentifizierungs-Challenge vereint. Durch die Generierung eines randomisierten, zeitlich veränderlichen visuellen Reizes, der sowohl in seiner räumlichen Bahn als auch in seiner Luminanzintensität schwankt, konstruieren wir ein mathematisch gekoppeltes Zustandsraum-Likelihood-Modell, die sogenannte Synchronisationsmatrix, um die kontinuierliche Kreuzkorrelation zwischen den erwarteten biologischen Latenzen der Blickfolgeverfolgung und der Pupillenverengung zu bewerten. Mithilfe von Monte-Carlo-Simulationen, basierend auf aus der Literatur abgeleiteten Latenzverteilungen, demonstrieren wir die theoretische Trennbarkeit zwischen echten und simulierten Angriffsbedingungen und zeigen, dass ein mehrstufiges Herausforderungsdesign die Erkennung generativer Deepfakes verbessert, wenn eine von Null verschiedene Rendering-Latenzlücke besteht. Diese Arbeit liefert ein simulationsgestütztes theoretisches Rahmenwerk für die dynamische Spoofing-Abwehr der nächsten Generation in der Augen- und Irisbiometrie. Eine Validierung an menschlichen Probanden wird als notwendige zukünftige Arbeit identifiziert, bevor Aussagen zur Implementierung getroffen werden können.

Ausgangspunkt der Forschung

Statische Blick- oder Pupillenprüfungen können unabhängig voneinander wiederholt werden, und generative Echtzeitsysteme reproduzieren zunehmend plausible Augenbewegungen. Ein aussagekräftigerer Lebendigkeitstest sollte zwei biologisch bedingte Reaktionen auf eine neue Herausforderung fordern und deren zeitliches Verhältnis überprüfen, anstatt ein einzelnes aufgenommenes Bild zu klassifizieren.

Methode

Ein Display variiert gleichzeitig Zielposition und Leuchtdichte. Das System schätzt die Blicklatenz, die Pupillenverengungslatenz und deren Kreuzkorrelation in einer Synchronisationsmatrix und kombiniert diese zu einem Gesamtwert. Eine Monte-Carlo-Studie führt 10.000 Durchgänge pro Bedingung durch, wobei Latenzverteilungen aus der Fachliteratur verwendet werden. Dabei werden ein, drei, fünf oder zehn unabhängige Durchgänge mit angenommenen Generatorverzögerungen ausgewertet.

Einordnung

Das Design bietet eine nützliche Vorlage für aktive Live-Visualisierung und verdeutlicht den Kompromiss zwischen Sicherheit und Latenz, ist aber noch nicht für den praktischen Einsatz geeignet. Eine Produktbewertung erfordert weiterhin manuelle Kalibrierung, Messungen der Sensorlaufzeiten, Angriffe mit korrelierter Latenz und Red-Team-Tests gegen reale Echtzeit-Rendering-Systeme.