Artikel zur Gesichtsdetektion im August 2026: Dynamische Landmarken, gesichtsfreies Anti-Spoofing und Foundation Models

Der Gesichtserkennungsstapel erweitert sich von einer festen Begrenzungsbox zu konfigurierbarer Geometrie und vertrauenswürdiger Erfassung. Die Arbeiten dieses Monats vereinheitlichen inkompatible Meilenstein-Vorlagen, fragen, ob Print-/Replay-Artefakte vollständig von Nicht-Face-Objekten gelernt werden können, und testen dreißig Vision-Encoder plus sechzehn multimodale Modelle in Präsentations- und Morphattack-Datensätzen.

Was dieser Monat zeigt

Unified Dynamic FLD ersetzt template-spezifische Landmark-Köpfe durch semantische Kontur-Abfragen und kann ein angefordertes Layout zur Laufzeit zurückgeben. TPO stellt eine noch tiefere Annahme infrage, indem es zeigt, dass Print- und Replay-Evidenz, die von Gemüse gelernt wird, stark auf Anti-Spoofing übertragen wird, wodurch datenschutzbewusste Zusatzdaten plausibel werden. Die Foundation-Model-Studie liefert die Randbedingung: Allgemeine Vortraining hilft, aber Zero-Shot-MLLM-Prompting bleibt schwach und PAD benötigt meist eine visuelle Encoder-Anpassung. Die praktische Ausrichtung ist ein konsolidierter Geometrie-Service, der durch explizite, domänenübergreifende Erfassungssicherheit gestützt wird, statt auf eine Sammlung datensatzspezifischer Modelle.

Paper 012026-08-11cs.CV

Auf dem Weg zur einheitlichen dynamischen Erkennung von Gesichtsmarken

arXiv PDF

Autoren & Institutionen

Sebastian Regalado

University of Toronto, Canada

ModiFace, Canada

Varshanth R. Rao

ModiFace, Canada

Ruowei Jiang

ModiFace, Canada

Parham Aarabi

University of Toronto, Canada

Igor Gilitschenski

University of Toronto, Canada

Welches Problem es löst

Die Arbeit definiert ein gemeinsames semantisches Koordinatensystem für heterogene Landmark-Layouts und verwendet es, um einen Detektor über mehrere Datensätze hinweg zu trainieren. Zur Inferenzzeit kann dasselbe Netzwerk eine beliebige Sammlung von Landmarkenanfragen beantworten, einschließlich Punkte, die während des Trainings auf dem Ausgangsdatensatz nicht explizit angefordert wurden.

Zentrales Ergebnis

Das einheitliche ViT-B-Modell mit Adaptern erzielt 4,02 NME und eine Fehlerquote von 2,19% auf WFLW, 2,43/4,19 NME auf den normalen/Challenge 300W-Splits und 2,76 NME auf AFLW-19, während es verschmolzenes Training und dynamische Ausgabe unterstützt. Wenn es nur auf 300W trainiert wird, erreicht es 6,08 NME auf dem herausfordernden WFLW68-Transfer-Test, gegenüber 7,23 für DTLD und 8,09 für PIPNet. Bei nicht verwendeten nativen Landmarken verbessern gelernte Anfragen die Spline-Interpolation um 19,0% auf 300W und um 15,7–16,3% auf WFLW-Splits, was darauf hinweist, dass das Modell wiederverwendbare Kontursemantiken lernt, anstatt nur feste Indizes zu merken.

Abstract

Obwohl Fortschritte in der Face Landmark Detection (FLD)-Methoden weiterhin Leistungsgrenzen verschieben, übersehen sie zwei wesentliche funktionale Einschränkungen: (1) Verschiedene Netzwerkparameter müssen unabhängig für jeden "$N$-Punkt"-Datensatz unabhängig trainiert werden, und (2) ein Modell, das auf einem "$N$-Punkt"-Datensatz trainiert ist, liefert zuverlässig nur die $N$ Landmarks. In unserer Arbeit konzeptualisieren wir zunächst Face Part-Anchored Landmark Positions (FPALPs), bei denen jedes Landmark als Progressionswert zwischen null (Start) und eins (Ende) entlang der Kontur eines Flächenteils behandelt wird. Jedes Landmark kann unabhängig vom Quelldatensatz im FPALP-Format dargestellt werden, wodurch die Möglichkeit freigeschaltet wird, alle "$N$-Punkt"-Datensätze in einem einzigen Datensatz zu vereinen. Zweitens stellen wir jedes Landmark mit einer FPALP-basierten Abfrage dar, verfeinern es schrittweise mit einem Cross-Modality-Decoder und sagen seine Koordinaten anhand der endgültigen Darstellung vorher. Unser Ansatz, genannt Unified Dynamic FLD, vereint diese beiden Designentscheidungen und optimiert die Pipeline zur Orientierungserkennung, indem wir es (1) einem einzelnen Modell ermöglichen, auf beliebig vielen "$N$-Punkten"-Datensätzen zu lernen, und (2) beliebig viele spezifische Orientierungsvorhersagen zu liefern, indem die vorgesehenen Landmark-Abfragen zur Laufzeit geladen werden. Umfangreiche Experimente mit mehreren Benchmark-Datensätzen zeigen, dass unsere Methode diese Vorteile bietet und gleichzeitig mit bestehenden State-of-the-Art-Methoden wettbewerbsfähig bleibt und sie in mehreren Fällen sogar übertrifft.

Ausgangspunkt der Forschung

Datensätze für Gesichtspunkte sind sich uneinig darüber, ob ein Gesicht 19, 68, 98 oder eine andere Anzahl annotierter Punkte hat. Konventionelle Modelle binden ihren Regressionskopf an eine Vorlage, wodurch Teams gezwungen werden, separate Parameter für jeden Datensatz zu trainieren und zu pflegen, und ein bereitgestelltes Modell daran gehindert wird, auf Abruf ein neues Teilset oder ein dichteres Layout auszugeben. Diese Fragmentierung ist kostspielig für Pipelines zur Ausrichtung, Rekonstruktion, Schminkanwendung und Gesichtsausdruck, die unterschiedliche Landmarkenkonventionen nutzen.

Methode

Jede Landmarke wird zu einer Face Part-Anchored Landmark Position: ein normalisierter Verlauf von null bis eins entlang einer semantischen Kontur wie Augenbraue, Auge, Nase, Mund oder Gesichtsumrandung. Datensatzvorlagen werden in diesem Konturenraum ausgerichtet, und jeder angeforderte Punkt wird als FPALP-Anfrage codiert. Ein Cross-Modality-Decoder kombiniert progressiv Bild-Tokens und Anfragen, bevor er Koordinaten regressiert. Das ViT-B-Modell wird gemeinsam auf AFLW-19, 300W und WFLW trainiert; optionale leichte Datensatz-Adapter heben systematische Annotationsabweichungen auf, ohne den einheitlichen Backbone oder das zur Laufzeit konfigurierbare Ausgabe-Layout aufzugeben.

Einordnung

Ein einzelner anfragengetriebener Landmark-Service kann mehrere vorlagenspezifische Modelle ersetzen und dabei eine wettbewerbsfähige Genauigkeit bewahren. Der Ansatz ist besonders attraktiv, wenn Produkte mehrere Ausrichtungsformate benötigen oder das Hinzufügen neuer Landmark-Definitionen erwarten, obwohl Teams jeweils die Annotations-Offset-Adapter für jeden Produktionsdatensatz testen sollten.

Paper 022026-08-20cs.CV

Tomaten, Kartoffeln und Zwiebeln: Infragestellung der Notwendigkeit von Gesichtern bei der Erkennung von Gesichtspräsentationsangriffen

arXiv PDF

Autoren & Institutionen

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Department of Computer Science, Technical University of Darmstadt, Germany

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Department of Computer Science, Technical University of Darmstadt, Germany

Welches Problem es löst

Die Arbeit isoliert Präsentations- und Prozesssignale von Gesichtsbedeutungen durch einen kontrollierten gesichtslosen Datensatz und untersucht, ob diese Signale auf Standard-Face-PAD-Benchmarks zurückübertragen werden. Sie testet auch, ob das Ersetzen einiger Gesichtsmuster durch gesichtslose Angriffe unter einem festen Trainingsbudget Informationen hinzufügt, anstatt lediglich die Datensatzgröße zu erhöhen.

Zentrales Ergebnis

Training mit Gemüse allein erreicht 92,70 % des durchschnittlichen AUC und 14,15 % HTER über die vier Gesichtsbenchmarks, verglichen mit 81,02 % AUC für synthetisches Gesichtstraining und 67,81 % für die von ImageNet initialisierte Kontrolle. Der Ersatz eines festen Einzelquellen-Gesichtsbudgets durch TPO erhöht den durchschnittlichen Crossset-AUC von 89,33 % auf 92,55 % und senkt den HTER von 17,54 % auf 13,97 %; im Multi-Source-Training steigt AUC von 92,11 % auf 96,96 % und HTER von 14,72 % auf 7,84 %. Angriffsdiversität ist wichtiger als redundante Frames: Nur 10 % der TPO-Frames ergibt weiterhin 92,97 % AUC, während das Print- oder Replay-Training auf 86,14 % und 83,97 % sinkt.

Abstract

Die Erkennung von Gesichts-Präsentationsangriffen (PAD) wird traditionell als gesichtsspezifisches Problem formuliert, obwohl viele der durch Druck-, Wiedergabe- und Rekapturierungsprozesse eingeführten visuellen Artefakte nicht intrinsisch an das Gesichtsaussehen gebunden sind. In dieser Arbeit untersuchen wir, ob übertragbare PAD-Darstellungen ohne die Verwendung von Gesichtern während des nachgelagerten PAD-Trainings erlernt werden können. Zu diesem Zweck führen wir TPO ein, ein kontrolliertes, gesichtsfreies Präsentationsangriff-Datensatz, das aus Aufnahmen von echten, gedruckten und wiedergegebenen, fast zufällig ausgewählten Tomaten, Kartoffeln und Zwiebeln besteht, die unter Protokollen aufgenommen wurden, die konventionellen Face-PAD-Datensätzen eng ähneln. Unter Verwendung einer PAD-Architektur, die auf einem Foundation-Modell basiert, zeigen wir, dass ein auf TPO trainierter Detektor eine durchschnittliche AUC von 92,70 % über vier standardmäßige Cross-Dataset-Face-PAD-Benchmarks erreicht und das Training auf synthetischen Gesichtern übertrifft sowie weiterhin wettbewerbsfähig mit Modellen bleibt, die auf realen Gesichtsdatensätzen trainiert wurden. Umgekehrt übertragen Modelle, die auf Face-PAD-Datensätzen trainiert wurden, konsistent über dem Zufallsniveau auf TPO, was darauf hindeutet, dass die erlernten Darstellungen Merkmale des Präsentationsprozesses und nicht der Objektsemantik erfassen. Darüber hinaus verbessert die Einbeziehung von TPO in das konventionelle Face-PAD-Training konsistent die Cross-Dataset-Leistung unter festen Optimierungsbudgets, was darauf hinweist, dass gesichtsfreie Daten komplementäre Informationen liefern und nicht nur zusätzliche Trainingsbeispiele darstellen. Schließlich liefern Repräsentations- und Frequenzanalysen weitere Hinweise darauf, dass übertragbare PAD-Darstellungen nicht durch ein einzelnes spektrales Artefakt erklärt werden können, sondern reichhaltigere Präsentationshinweise kodieren, die über Objektkategorien hinweg geteilt werden. Zusammen liefern diese Ergebnisse empirische Belege dafür, dass übertragbare Präsentationsangriffs-Darstellungen unabhängig vom Gesichtsinhalt erlernt werden können und eröffnen neue Möglichkeiten für die datenschutzfreundliche und identitätsunabhängige Entwicklung von PAD.

Ausgangspunkt der Forschung

Druck- und Wiedergabeangriffe führen Moiré-Muster, Display-Subpixel, Papiertextur, Gamma-Verschiebungen, Reflexionen und Wiedererfassungsrauschen ein, die Eigenschaften des Präsentationsinstruments sind und nicht der dargestellten Identität. Dennoch sammelt die Anti-Spoofing-Forschung fast immer mehr menschliche Gesichter, was Bedenken hinsichtlich Einwilligung und Demografie erhöht und gleichzeitig Detektoren dazu ermutigt, Abkürzungen bei Gesichtern oder Datensätzen zu übernehmen. Die Autoren testen die absichtlich starke Hypothese, dass übertragbare Angriffshinweise ohne Gesichter überhaupt gelernt werden können.

Methode

TPO enthält 12.480 echte, gedruckte und wiedergegebene Präsentationen von Tomaten, Kartoffeln und Zwiebeln, die nach Protokollen erfasst wurden, die an Face-PAD-Datensätzen orientiert sind. Ein CLIP ViT-B/16 FoundPAD-Modell wird mithilfe von LoRA nur mit TPO angepasst und anschließend über MSU-MFSD, CASIA-FASD, Replay-Attack und OULU-NPU bewertet. Die Kontrollen umfassen Zero-Shot-CLIP, eine ImageNet-initialisierte Architektur entsprechend, SynthASpoof, Einzel- und Mehrquellen-Training mit echten Gesichtern, Reverse-Transfer von Gesichtsdaten zu TPO, Experimente zum Austausch innerhalb eines festen Budgets, Frequenzanalysen sowie Ablationen über Objektklasse, Angriffstyp und Bildanzahl.

Einordnung

Für Print/Replay-Anti-Spoofing kann realistische Recapture-Diversität wichtiger sein als das Sammeln einer weiteren Identitätsgruppe. Gesichtsfreie Zusatzdaten bieten eine datenschutzbewusste Möglichkeit, den Cross-Sensor-Transfer zu verbessern, aber die Belege gelten für die getesteten Druck- und Darstellungsprozesse und sollten nicht automatisch auf Masken oder neuartige physische Angriffe verallgemeinert werden.

Paper 032026-08-30cs.CV