ForschungsradarGesichtserkennungarXivOktober 2026

Monatliches arXiv-Radar

Gesichtserkennungspapiere vom Oktober 2026: Lightweight Fusion, Online-Lautsprecher und echte Videoüberwachung

Im Oktober wurden ein Artikel über Direktdetektoren und zwei nützliche Studien auf Systemebene zur Lokalisierung erstellt. WeaveFace konzentriert sich auf kleine und verdeckte Gesichter bei knappen Rechenbudgets. CAST-ASD zeigt, wie verfolgte Gesichter online ohne zukünftige Frames verglichen werden können, während CVBL-CCTV-Face testet, was nach der Erkennung passiert, wenn die tatsächliche Verschlechterung der Überwachung die Verbesserung und Übereinstimmung erreicht.

Was dieser Monat zeigt

WeaveFace verschachtelt benachbarte Merkmalsskalen vor einem Mamba-Scan und erreicht 91,41 % des mittleren AP auf WIDER FACE mit 0,34 Millionen Parametern. CAST-ASD verwendet erkannte Gesichtsspuren als Eingabe und nutzt Zero-Lookahead-Aufmerksamkeit bei aktuellen Sprechern, wodurch Fehlalarme bei konkurrierenden Sprechern bei MSDWild um 32 % reduziert werden. CVBL-CCTV-Face steuert 223 Identitäten bei, die unter authentischer Überwachungsdegradation erfasst wurden, und stellt fest, dass die Feinabstimmung durch synthetische Degradierung die Erkennung besser unterstützt als die direkte Feinabstimmung mit geringer Qualität. Die kombinierte Lektion besteht darin, dass die Detektorqualität, die Online-Szenenbeurteilung und der Nutzen der nachgeschalteten Erkennung als eine Pipeline getestet werden müssen.

Paper 012026-10-05cs.CV

Weave Mamba Fusion: Globale skalenübergreifende Interaktion für effiziente Gesichtsdetektion

arXiv PDF

Autoren & Institutionen

Dohun Kim

School of Data Science, The University of Suwon

Jinmyung Jung

School of Data Science, The University of Suwon

Welches Problem es löst

WeaveFace zielt darauf ab, einem Gesichtsdetektor mit Submillionen-Parametern eine globale skalenübergreifende Interaktion hinzuzufügen, ohne den Speicher- und Rechenaufwand für die Verkettung vollständiger Feature-Maps oder die Anwendung quadratischer Selbstaufmerksamkeit zu bezahlen.

Zentrales Ergebnis

Auf WIDER FACE meldet WeaveFace einen mittleren AP von 91,41 % mit 0,34 Millionen Parametern und 1,16 GFLOPs. Sein Hard-Subset-AP beträgt 87,14 %, der Bereich, in dem kleine und verdeckte Flächen das skalenübergreifende Design am meisten beanspruchen. Das Papier berichtet über eine höhere Genauigkeit als frühere Detektoren unter 0,5 Millionen Parametern.

Abstract

Merkmalspyramidenmethoden, von FPN bis BiFPN, haben durch die Fusion von Merkmalen mit mehreren Maßstäben eine starke Leistung bei der Gesichtserkennung erzielt. Die Erkennung von Gesichtern unter uneingeschränkten Bedingungen wie kleinem Maßstab, Okklusion und extremer Pose bleibt jedoch weiterhin schwierig, da hierfür globale maßstabsübergreifende Abhängigkeiten erforderlich sind, die durch lokale Fusion nicht modelliert werden können. Zustandsraummodelle wie Mamba liefern globalen Kontext mit linearer Komplexität, indem sie Merkmale als Sequenz scannen, und bieten daher eine vielversprechende Richtung für dieses Problem. Dennoch müssen für einen solchen Scan die beiden Pyramidenskalen in einer einzigen Feature-Map kombiniert werden, und die Art und Weise ihrer Kombination bestimmt, ob die skalenübergreifende Struktur erhalten bleibt. Bei der Summierung werden die beiden Skalen vor dem Scan zusammengefasst, sodass der Scan keine skalenübergreifende Struktur ausnutzen kann, während bei der Verkettung beide Skalen erhalten bleiben, allerdings zu weitaus höheren Kosten. Um dieses Problem anzugehen, schlagen wir Weave Mamba Fusion (WMF) vor, das zwei benachbarte Pyramidenskalen Spalte für Spalte verschachtelt, sodass sich jeder Schritt eines horizontalen bidirektionalen SS2D-Scans von einer Skala zur anderen bewegt. Mit Teilkanalverarbeitung und parameterfreiem Deweaving ermöglicht WMF eine effiziente skalenübergreifende Interaktion unter Beibehaltung der Merkmalsstruktur. Die Integration von WMF in jeden Fusionsknoten ergibt WeaveBiFPN, den Hals unseres WeaveFace-Detektors. Auf WIDER FACE erreicht WeaveFace einen mittleren AP von 91,41 % mit nur 0,34 Mio. Parametern und 1,16 GFLOPs und übertrifft damit frühere Detektoren unter 0,5 Mio. Parametern. Die größten Zuwächse gibt es in der Untergruppe „Schwer“, wo es 87,14 % AP erreicht. Der Code ist öffentlich verfügbar unter https://github.com/dohun-mat/WeaveMambaFusion.

Ausgangspunkt der Forschung

Kleine, verdeckte und stark gedrehte Gesichter benötigen feine räumliche Details aus hochauflösenden Pyramidenebenen und semantischen Kontext aus niedrigaufgelösten Ebenen. Die Standard-FPN- und BiFPN-Fusion erfolgt lokal, während volle Aufmerksamkeit bei den von einem leichten Detektor verwendeten Auflösungen zu teuer sein kann.

Methode

Weave Mamba Fusion verschachtelt Säulen benachbarter Pyramidenebenen, sodass ein bidirektionaler horizontaler SS2D-Scan bei jedem Schritt zwischen den Skalen wechselt. Nur ein Teil der Kanäle wird verarbeitet und ein Parameter-freier Entwebungsvorgang stellt die ursprünglichen Maßstäbe wieder her. Das Ersetzen jedes BiFPN-Fusionsknotens durch diesen Operator erzeugt WeaveBiFPN, das als Hals des WeaveFace-Detektors verwendet wird.

Einordnung

Dieser Detektor ist für Edge-Systeme mit begrenztem Parameter- und Rechenbudget interessant, insbesondere bei vielen kleinen Gesichtern. Da die Effizienz vor allem über Modellgröße und FLOPs belegt wird, sollten Teams die tatsächliche Latenz und den Speicherbedarf auf ihrer Zielhardware messen.

Paper 022026-10-10cs.CV

CAST-ASD: Kausale Aufmerksamkeit über Sprecher und Zeit zur Online-Erkennung aktiver Sprecher

arXiv PDF

Autoren & Institutionen

Pratham Gupta

Indian Institute of Technology Kanpur

KTH Royal Institute of Technology

Haotian Qi

KTH Royal Institute of Technology

Tushar Sandhan

Indian Institute of Technology Kanpur

Gabriel Skantze

KTH Royal Institute of Technology

Welches Problem es löst

CAST-ASD bringt gesichtsübergreifendes Denken in einen Zero-Lookahead-Detektor, dessen Parameteranzahl nicht mit der Anzahl der sichtbaren Gesichter wächst. Es befasst sich mit der Online-Phase nach der Gesichtserkennung und -verfolgung, wo sowohl niedrige Latenz als auch Sprecherzuordnung erforderlich sind.

Zentrales Ergebnis

CAST-ASD reduziert Fehlalarme konkurrierender Sprecher um 32 % im Vergleich zu seinem kausalen Pro-Gesichts-Backbone und übertrifft alle kausalen Basislinien bei beiden MSDWild-Validierungsaufteilungen. Ein CAST-Block verwendet 1,57 Millionen Parameter und etwa ein Zehntel der Inter-Speaker-Parameter einer Drei-Block-Faltung mit festem Dienstplan. Der kausale Nachteil beträgt 1,14 mAP gegenüber 2,67 mAP für die angepasste LoCoNet-Konfiguration.

Abstract

Wir präsentieren CAST-ASD (Causal Attention over Speakers and Time), ein kausales gemeinsames Modell zur Erkennung aktiver Sprecher (ASD). Aktuelle ASD-Modelle verbessern die Leistung, indem sie alle Gesichter in einer Szene gemeinsam verarbeiten, arbeiten aber offline, wobei der vollständige Clip verfügbar ist, bevor ein Bild beschriftet wird. Stattdessen verarbeiten Kausaldetektoren mit geringer Latenz jedes Gesicht unabhängig. CAST-ASD kombiniert gemeinsames Gesichtsdenken mit vollständig kausaler Schlussfolgerung. Es wendet Aufmerksamkeit auf Szenenebene auf Gesichter innerhalb des aktuellen Frames und kausale zeitliche Aufmerksamkeit auf den Verlauf jedes Gesichts an und ermöglicht so den Informationsaustausch zwischen Sprechern ohne Lookahead. Seine Parameteranzahl wächst nicht mit der Anzahl der Gesichter. Auf MSDWild, wo die meisten negativen Gesichtsrahmen einen sichtbaren konkurrierenden Sprecher enthalten, reduziert CAST-ASD die Fehlalarme konkurrierender Sprecher um 32 % im Vergleich zum erweiterten kausalen Pro-Gesichts-Detektor, mit größeren Gewinnen, wenn die Szenenbelegung zunimmt. Es übertrifft alle kausalen Basislinien bei beiden Validierungsaufteilungen und verwendet dabei nur ein Zehntel der Inter-Sprecher-Parameter einer Drei-Block-Faltung mit festem Dienstplan. Code und Modelle sind unter https://github.com/prathamg007/CAST-ASD verfügbar.

Ausgangspunkt der Forschung

Die Erkennung aktiver Sprecher muss entscheiden, welchem sichtbaren Gesicht eine gemeinsame Audiospur gehört. Präzise Gelenkmodelle blicken in der Regel auf zukünftige Frames, während Kausalsysteme oft jedes Gesicht unabhängig bewerten und daher in überfüllten Szenen stille Zuschauer mit dem aktuellen Sprecher verwechseln.

Methode

Ein kausales audiovisuelles Rückgrat kodiert jede Gesichtsspur und den gemeinsam genutzten Audiostream. Jeder CAST-Block wendet zunächst Selbstaufmerksamkeit auf Szenenebene auf alle Gesichter im aktuellen Bild an und wendet dann kausale zeitliche Aufmerksamkeit entlang der Vergangenheit jedes Gesichts an. Das Modell wird auf MSDWild ausgewertet, wo die meisten negativen Gesichtsrahmen einen konkurrierenden sichtbaren Sprecher enthalten, und unter angepassten Trainingsbedingungen mit kausalen Basislinien pro Gesicht und festem Kader verglichen.

Einordnung

Bei Live-Konferenzen, Diarisierung und Kamerasteuerung kann der Vergleich aller aktuell sichtbaren Gesichter einen Großteil des Kontexts wiederherstellen, der durch das Verbot des Look-Ahead verloren geht. Das Modell geht von zuverlässigen Gesichtsverfolgungen aus, sodass Ausfälle von Detektoren und Trackern weiterhin Teil des End-to-End-Risikos sind.

Paper 032026-10-27cs.CV

CVBL-CCTV-Face: Datensatz zur Verbesserung und Erkennung realer Gesichtsbilder aus Überwachungskameras

arXiv PDF

Autoren & Institutionen

Manish Das

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Ajay Kumar Yadav

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Shiv Ram Dubey

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Satish Kumar Singh

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Welches Problem es löst

Die Arbeit liefert einen ungepaarten CCTV-zu-Referenz-Datensatz und eine vollständige Gesichtserkennungs-, -verbesserungs- und -erkennungspipeline zur Untersuchung des authentischen Substanzabbaus. Außerdem wird verglichen, ob vorab trainierte Verbesserungen, Feinabstimmungen durch synthetischen Abbau oder direkte Feinabstimmungen mit wirklich geringer Qualität am besten übertragen werden.

Zentrales Ergebnis

Der Datensatz enthält 14.081 Trainingsbilder mit niedriger Qualität, 2.186 erweiterte Referenzen mit hoher Qualität und einen Testsatz mit 1.581 Bildern mit niedriger Qualität und 528 Bildern mit hoher Qualität. Die Feinabstimmung an synthetisch verschlechterten Bildern hoher Qualität führt zu den stärksten Erkennungsergebnissen, während die direkte Feinabstimmung an echten Nutzpflanzen mit geringer Qualität keine Verbesserung gegenüber vorab trainierten Basislinien erzielt. Dieses negative Ergebnis verdeutlicht die verbleibende Diskrepanz zwischen Wiederherstellungszielen und unkontrollierten Überwachungsartefakten.

Abstract

In realen Überwachungsumgebungen leiden Gesichtsaufnahmen von Videoüberwachungssystemen unter Beeinträchtigungen wie niedriger Auflösung, Bewegungsunschärfe, Rauschen und Verdeckungen, die eine zuverlässige Gesichtserkennung beeinträchtigen. In dieser Studie schlagen wir einen Rahmen für Superauflösung und Identitätserkennung vor, der auf Überwachungsanwendungen abzielt. Zu diesem Zweck präsentieren wir den CVBL-CCTV-Face-Datensatz, einen Datensatz aus Bildern aus der realen Welt, die ungepaart aufgenommen wurden, wobei jedes Paar aus einem Bild mit geringer Qualität (LQ) eines Gesichts besteht, das von einer 8-Megapixel-IP-Dome-CCTV-Kamera aufgenommen wurde, zusammen mit einem Referenzbild mit hoher Qualität (HQ), das in kontrollierten Umgebungen aufgenommen wurde. Um die verschiedenen Probleme zu bewältigen, die solche Datensätze mit sich bringen, bauen wir ein modulares System auf, das Gesichtserkennung, Deep-Learning-basierte Superauflösung von Gesichtsbildern geringer Qualität und Identitätserkennung durch L2-normalisierte Einbettungen umfasst, die von einem Einbettungsmodell extrahiert werden. Erweiterungsmodelle werden anhand von drei verschiedenen Setups trainiert und getestet, und das System wird zur Identitätsüberprüfung in einer uneingeschränkten Echtzeitumgebung eingesetzt.

Ausgangspunkt der Forschung

Überwachungsgesichtspipelines werden häufig mit Studiobildern oder synthetischem Downsampling getestet, während tatsächliche CCTV-Aufnahmen Bewegungsunschärfe, Sensorrauschen, Posenänderungen, Verdeckung, Entfernung und schlechte Beleuchtung kombinieren. Auf sauber gepaarten Daten trainierte Verbesserungsmodelle können daher attraktive Bilder erzeugen, ohne den Identitätsabgleich bei echten Kameras zu verbessern.

Methode

CVBL-CCTV-Face enthält 223 Identitäten, die mit einer 8-MP-IP-Domekamera erfasst wurden, sowie separat erworbene hochwertige Referenzen. Zwei Versionen modellieren eine spärliche und umfangreichere Registrierung, und identitätsdisjunkte Aufteilungen unterstützen die Auswertung. Der Benchmark verwendet MTCNN-Erkennung, vier Transformator- oder Diffusionsverstärkungsmodelle, normalisierte Gesichtseinbettungen und L2-Anpassung und setzt dann dieselben Module in einer Live-CCTV-Demonstration ein.

Einordnung

Der Beitrag ist vor allem eine Testgrundlage für Überwachungspipelines unter realen Bedingungen, nicht ein fertiges Produktionsmodell. Reale Kameradaten sind unverzichtbar; allein das Nachtrainieren eines Restaurationsnetzes auf diesen Gesichtsausschnitten verbessert die Identitätsentscheidung aber nicht zwangsläufig.