Publikationen zur Gesichtserkennung im August 2026: Einsatz bei niedriger Auflösung, Kompression unter 1 kB und Fairness in Brasilien

Augusts Gesichtserkennungsartikel konzentrieren sich auf Einschränkungen, die erst sichtbar werden, wenn ein Modell einen sauberen Benchmark verlässt. Die ausgewählten Studien testen native Niederauflösungsproben statt synthetischer Degradation zu vertrauen, quantifizieren, welche Codecs die Identität bei 1.024 und 512 Bytes bewahren, und prüfen komprimierte öffentliche Videos mit brasilianischen demografischen Kategorien und expliziten Schwierigkeitsschichten.

Was dieser Monat zeigt

Die niedrigauflösende Studie warnt, dass die synthetische Degradation, die bei LFW-ähnlichen Tests erfolgt, die falsche Wahl für native TinyFace-Sonden sein kann. Der Kompressions-Benchmark zeigt einen ähnlich starken Regimewechsel: Mehrere vertraute Codecs arbeiten nahe 1 KB, brechen aber bei 512 B zusammen, wo ein erlernter Codec mit Byte-Budgets wertvoll wird. UFPR-PEs zeigen dann, dass demografische Unterschiede im harten visuellen Teilbereich dramatisch wachsen und die Reihenfolge zwischen Identifikationsprotokollen ändern können. In allen drei Fällen hängt die Produktionsqualität davon ab, das tatsächliche Aufnahme- und Speicherregime zu testen, anstatt von einem bequemen Proxy zu extrapolieren.

Paper 012026-08-06cs.CV

Verbesserung der Gesichtserkennung in niedriger Auflösung unter begrenzten Daten: Wie die Generierung synthetischer Daten die Domänenlücke schließen kann

arXiv PDF

Autoren & Institutionen

Luis S. Luevano

Idiap Research Institute, Switzerland

Ünsal Öztürk

Idiap Research Institute, Switzerland

Hatef Otroshi Shahreza

Idiap Research Institute, Switzerland

Anjith George

Idiap Research Institute, Switzerland

Sébastien Marcel

Idiap Research Institute, Switzerland

Welches Problem es löst

Die Studie fragt, welche synthetische Low-Resolution-Strategie tatsächlich einem kompakten Gesichtserkenner hilft, wenn beschriftete native Daten begrenzt sind, und ob Schlussfolgerungen, die aus künstlich herunterskalierten LFW-Tests gezogen werden, auf echten TinyFace-Proben bestehen. Sie etabliert auch eine Direktinput-Basislinie, sodass Super-Resolution- und Übersetzungsmodule beweisen müssen, dass sie die Identität bewahren, anstatt lediglich das visuelle Erscheinungsbild zu verbessern.

Zentrales Ergebnis

Synthetische Tests bevorzugten eine 28-Pixel-Degradation, aber dieselbe Einstellung lag auf echtem TinyFace unter dem High-Resolution-trainierten Baseline-Niveau. Milderes 56-Pixel-Interpolationsaugmentation war die beste kompakte Konfiguration, wodurch TinyFace mAP von 52,55 auf 54,68 und Rank-1-Identifikation von 59,66 % auf 61,40 % stieg. Die gelernte RRDB-Super-Resolution plus Domänentranslations-Pipeline erreichte nur 57,53 mAP mit EdgeFace-Base, verglichen mit 65,12 für den Direktinput. Knowledge Distillation lieferte die größten synthetischen Gewinne, transferierte jedoch nicht auf native Low-Resolution, was zeigt, dass die Synthesefidelität und nicht die Synthesekomplexität der begrenzende Faktor ist.

Abstract

Gesichtserkennungssysteme (FR) in Überwachungsumgebungen stoßen häufig auf Low Resolution (LR)-Gesichter, deren Gesichtsbereich unter der Standardgröße von 112 $\mal $112 liegt. Während als High Resolution (HR) Trainingsdaten als Bestand vorhanden sind, sind markierte native-LR-Daten und vor allem gepaarte native LR/HR-Daten knapp. Eine Lösung besteht darin, LR-Daten aus den verfügbaren HR-Gesichtern zu synthetisieren, aber wie viel Syntheseaufwand durch Erkennungsgenauigkeit ausgelöst wird, bleibt unklar. Wir präsentieren eine Studie einfacher synthetischer Generierungsstrategien für ein kompaktes, auf Randgerät basierendes Gesichtserkennungssystem, die interpolationsbasierte Degradation, Wissensdestillation, Prepended Domain Transformer (PDT), Real ESRGAN-ähnliche Degradation und ein erlerntes Super Resolution (SR)-Frontend mit einem identitätsbewussten Verlust umfasst. Wir bewerten diese Strategien an synthetischen Cross-Resolution-Face-Benchmarks (LFW, CFP-FP, AgeDB-30) und auf TinyFace, einem realen nativen LR-Datensatz, und zeigen eine synthetisch-reale Lücke auf: Die optimale Abbaueinstellung bei synthetischen Benchmarks ist nicht die, die auf realem LR optimal ist. Wir stellen fest, dass mehr Syntheseaufwand monoton nicht hilft: Das erlernte SR-Frontend übersteigt nicht einen direkten Zufluss des ausgerichteten LR-Bildes in ein starkes Backbone, während eine einfache Interpolations-Augmentation eines kompakten Backbone die einzige Synthese ist, die sich gegenüber ihrem eigenen Baseline verbessert. Wir schließen daraus, dass generative Methoden zur LR-Gesichtserkennung auf echtem LR und gegen eine Direct-Feed-Baseline validiert werden müssen, und veröffentlichen unsere Pipeline bei https://idiap.ch/paper/synth-lrfr

Ausgangspunkt der Forschung

Überwachungs- und Beobachtungssysteme vergleichen routinemäßig ein hochauflösendes Registrierungsbild mit einer Probe, deren ausgerichtetes Gesicht viel kleiner ist als die Standardeingabe von 112 mal 112. Native Low-Resolution-Identitäten, insbesondere gepaarte Low- und High-Resolution-Aufnahmen derselben Person, sind rar, daher stellen Teams häufig Low-Resolution-Trainingsdaten aus reichlich vorhandenen High-Resolution-Gesichtern her. Das praktische Risiko besteht darin, dass ein Degradierungsrezept bei synthetischen Benchmarks gut abschneiden kann, während es dem Erkennungsmodell Hinweise vermittelt, die Unschärfe, Rauschen, Kompression und Ausrichtungsfehler von echten Kameras nicht ähneln.

Methode

Die Autoren verwenden das 3,65-Millionen-Parameter EdgeFace-S-Backbone und vergleichen fünf Anpassungsstufen: interpolationsbasierte Downsample- und Upsample-Augmentation, High-Resolution-Lehrer-Knowledge-Distillation, einen vorgeschalteten Domänentransformer, einen nativen 32-Pixel-Stamm trainiert mit Real-ESRGAN-ähnlichen Degradierungen und ein identitätsbewusstes, gelerntes Super-Resolution-Frontend. Sie bewerten High-to-Low- und Low-to-Low-Verifikation auf LFW, CFP-FP und AgeDB-30 und wiederholen dann den Vergleich auf nativem Low-Resolution TinyFace unter zwei Ausrichtungspipelines. Ein größeres eingefrorenes EdgeFace-Base-Modell dient als Referenz, um zu testen, ob ein generatives Frontend besser ist als die direkte Einspeisung der ausgerichteten Probe in einen starken Erkenner.

Einordnung

Für einen Edge- oder Überwachungseinsatz sollte jedes Low-Resolution-Rezept an tatsächlich erfassten Low-Resolution-Gesichtern validiert werden, und eine starke Direktfeed-Basislinie sollte beibehalten werden. Einfache, milde Interpolationsaugmentation kann eine bessere Investition sein als ein Super-Resolution-Stack; rein synthetische Gewinne bei aggressiven Auflösungen sind keine zuverlässigen Hinweise auf die Leistungsfähigkeit im Feld.

Paper 022026-08-24cs.CV

Auf dem Weg zur Sub-1-kB-Identitätserhaltenden Gesichtskompression: Ein Benchmark von Codecs, einem benutzerdefinierten gelernten Codec und Studien zu Auflösung, demografischer Fairness, Rekompression und adversarialer Robustheit

arXiv PDF

Autoren & Institutionen

Petr Hurtik

Innovatrics, Slovakia

Jakub Sochor

Innovatrics, Slovakia

Welches Problem es löst

Diese Arbeit macht Sub-Kilobyte-Flächenspeicher zu einem kontrollierten Deployment-Benchmark statt eines einzelnen Codec-Vergleichs. Sie identifiziert budgetspezifische Betriebspunkte, testet, ob Bildqualitätsmetriken biometrische Nutzen vorhersagen, und erstellt einen gelernten Codec, dessen Ausgabe garantiert innerhalb des gewünschten Byte-Limits bleibt.

Zentrales Ergebnis

Mit 1.024 Bytes und 112 Pixeln sind moderne Codecs auf Color FERET nahezu operativ gelöst: WebP und AVIF erreichen 0,09 % EER mit ArcFace. Mit 512 Bytes steigen jedoch AVIF, HEIF, JPEG XL und Legacy-JPEG auf 28–98 % FNMR bei FMR 1e-4, während der genau gelernte Codec bei Color FERET 1,83 % und 6,9 % bei AI-Solutions-KK erreicht, verglichen mit 2,86 % bei JPEG-AI bzw. 24,3 % bei WebP. Die Codec-Reihenfolge ist weitgehend rückgratinvariant (Kendalls W=0,85). Die meisten Codecs fügen nicht mehr als 1,7 Prozentpunkte der demografischen EER-Lücke hinzu, aber JPEG 2000 fügt 3,4–5,0 Punkte hinzu und erhält zudem die Identität schlecht.

Abstract

Das Speichern von Gesichtsbildern unter einem festen Sub-Kilobyte-Budget, wie es für Identitätsdokumente, Smartcard-Biometrie und bandbreitenbegrenzte Verifikation erforderlich ist, zwingt einen Codec, den Großteil des Signals zu verwerfen, während er das behält, was ein Gesichtsabgleicher tatsächlich liest: Identität. Generische Codecs optimieren die Pixeltreue, nicht die Einbettungsentfernungen, die die Verifikation steuern, daher ist unklar, welcher Codec, Auflösung und Einstellung die Identität bei 1024 Bytes oder weniger erhalten und wie diese bei 512 verschlechtert. Wir benchmarken zehn allgemeine und gesichtsspezifische Codecs über Auflösungen, Byte-Budgets, zwei Datensätze (kontrolliertes Color FERET, in-the-wild AI-Solutions-KK) und vier Anker-Face-Matcher, wobei ein ViT- und CNN-Roster aus vierzehn Modellen bestätigt, dass die Rangordnung rückgratinvariant ist. Anschließend trainieren wir einen benutzerdefinierten identitätssichernden Codec, der das Byte-Budget exakt über eine Binärsuche über eine eingefrorene Gewinntabelle trifft, und führen vier Studien durch: Auflösung, demografische Fairness, Rekompression und No-Box-Adversarial-Robustheit. Die Erhaltung der Identität unter Kilobyte ist machbar, aber welcher Codec eingesetzt wird, hängt vollständig vom Budget ab. Bei 1024 Bytes und der Arbeitsauflösung von 112 px ist das Problem nahe gelöst: Moderne Codecs halten Color FERET Equal-Error rate unter 0,35 Prozent beim ArcFace-Anker. Bei 512 Bytes sortiert das Feld neu: AVIF, HEIF, JPEG XL und Legacy JPEG kollabieren auf 28 bis 98 Prozent False-Non-Match-Rate bei FMR 1e-4, während WebP, JPEG-AI und unsere byte-budgetierten gelernten Codecs außerhalb dieses Bandes bleiben, mit 24,3 Prozent für WebP gegenüber 6,9 Prozent für unsere genaue Variante in der Wildnis. Diese Neusortierung, nicht das 1024-Byte-Ranking, ist das operative Ergebnis: Ein Codec, der mit 1 kB gewählt wird, ist nicht der Codec, der mit der Hälfte dieser Kapazitäten bereitgestellt werden sollte.

Ausgangspunkt der Forschung

Identitätsdokumente, Smartcards und bandbreitenbegrenzte Verifizierungsdienste können für einen ausgerichteten Flächenschnitt nur 1.024 oder sogar 512 Bytes haben. Generische Codecs optimieren die Pixelverzerrung statt der von einem Matcher verwendeten Einbettungsdistanzen, und ein Codec, der bei einem Budget am besten aussieht, kann bei einem anderen abrupt ausfallen. Käufer müssen außerdem wissen, ob die Wahl zwischen den Erkennern übertragen wird, demografische Gruppen beeinflusst, eine Rekompression übersteht und mit adversarialen Störungen interagiert.

Methode

Zehn allgemeine und gesichtsorientierte Codecs werden mit fünf Auflösungen und zwei harten Budgets auf kontrolliertem Farb-FERET und in-the-wild AI-Solutions-KK getestet. Vier Anker-Matcher tragen die wichtigsten Verifikationsmetriken, während ein ViT/CNN-Roster mit vierzehn Modellen prüft, ob Codec-Rankings vom Backbone abhängen. Die Autoren trainieren außerdem 18,7-Millionen-Parameter-genaue und schnelle, identitätserhaltende Codecs mit einer eingefrorenen 64-Einstiegs-Gewinntabelle und binärer Suche zur exakten Budgetkonformität. Separate Studien behandeln Hautton- und Ethnieunterschiede, Gleich- und Cross-Codec-Rekompression, No-Box-Adversarial-Perturbationen, Latenz und statistische Signifikanz.

Einordnung

Behandeln Sie 1 KB und 512 B als unterschiedliche Produktstufen, nicht als benachbarte Qualitätseinstellungen. WebP oder AVIF sind sinnvolle, breit einsetzbare Optionen mit etwa 1 KB, während ein Byte-budgetierter gelernter Codec mit 512 B wesentlich sicherer wird; biometrische Tests, nicht PSNR oder nur visuelle Inspektion, sollten die Entscheidung bestimmen.

Paper 032026-08-31cs.CV