ForschungsradarDeepfake-ErkennungGesichtsforensikarXivJuli 2026

Monatliches arXiv-Radar

Veröffentlichungen zur Deepfake-Erkennung im Juli 2026: Rekonstruktionsnachweise, Gesichtsphysiologie und kompakte Wiedergabe

Die im Juli veröffentlichten Deepfake-Studien befassen sich mit drei Schwächen, die auftreten, sobald ein Detektor einen statischen Benchmark verlässt: Erklärungen können unbegründet sein, Generatoren sprechender Gesichter können Artefaktklassifikatoren umgehen, und kontinuierliche Aktualisierungen können frühere Manipulationsmuster vergessen. Die ausgewählten Methoden führen ein explizites Rekonstruktionsresiduum, einen physiologischen Videokanal und einen informationsreichen Wiedergabepuffer ein.

Was dieser Monat zeigt

LaP-Forensics stützt Lokalisierung und strukturierte Erklärungen auf ein Diffusionsrekonstruktionsresiduum, vermeidet aber korrekterweise die Behauptung, dass seine Freitexte faktisch verifiziert seien. Die rPPG-Studie zeigt, dass die Schwierigkeit der Gesichtserkennung beim Sprechen je nach Generator stark variiert, selbst wenn Klassifikator und Protokoll unverändert bleiben. InfoDense adressiert das operative Problem der Aktualisierung eines Detektors ohne Speicherung vollständiger historischer Gesichtsbilder. Bei allen drei Ansätzen ist das stärkste Signal kein universelles Artefakt: Zuverlässigkeit ergibt sich aus der Kombination komplementärer Evidenz, der Isolierung von Evaluierungsprotokollen und der Bewahrung der relevanten Merkmale bei sich verändernden Verteilungen.

Paper 012026-07-28cs.CV

LaP-Forensics: Multimodale Schlussfolgerungen auf Basis latenter Pixelkonsistenz zur Erkennung von Deepfakes

arXiv PDF

Autoren & Institutionen

Can Wang

The Hong Kong Polytechnic University, Hong Kong, China

Yuhao Wang

University College London, United Kingdom

Yushe Cao

Tsinghua University, China

Canran Xiao

Sun Yat-sen University, China

Fei Shen

National University of Singapore, Singapore

Welches Problem es löst

LaP-Forensics befasst sich mit der herstellerübergreifenden Bilderkennung und der Lokalisierung von Artefakten auf Pixelebene unter Einbeziehung expliziter Kompatibilitätsreferenzen. Ziel ist es, strukturierte „Wo-Was-Warum“-Schlussfolgerungen auf Basis dieser Beweise zu ermöglichen, wobei jedoch anerkannt wird, dass die Verwendung von Referenzen allein nicht jeden Satz einer freien Erklärung beweist.

Zentrales Ergebnis

Auf UniversalFakeDetect erreicht die Bilderkennung eine Genauigkeit von 97,23 % bei GANs, 71,30 % bei Deepfakes, 92,18 % bei Diffusion und 98,98 % bei CRN. Gemäß dem offiziellen SynthScars-Protokoll erreicht die Lokalisierung von Mensch und Artefakt einen mIoU-Wert von 61,40 und einen F1-Wert von 66,00. Bei der kontrollierten Aufteilung senkt das Entfernen des Residuums den mIoU-Wert von 72,19 auf 61,83 und den F1-Wert von 63,62 auf 41,71; das Ersetzen des Residuums durch Null oder eine Donor-Map führt ebenfalls zu einer deutlichen Verschiebung des Ergebnisses.

Abstract

Neuere generative Modelle erzeugen Bilder mit wenigen offensichtlichen visuellen Artefakten und schwächen damit Detektoren und Erklärungen, die sich ausschließlich auf das Erscheinungsbild stützen. Wir präsentieren LaP-Forensics, ein multimodales Framework, das RGB-Semantik um rekonstruktionsbasierte forensische Beweise erweitert. Ein statisches Stable-Diffusion-DDIM-Inversions-Rekonstruktionsmodell liefert eine feste Rekonstruktionsreferenz, deren Residualkarte die lokale Kompatibilität mit dieser Referenz misst. Unabhängige Projektoren kodieren das RGB-Bild und die Residualkarte, bevor ein strukturiertes Where-What-Why-Modell eine Textanalyse und eine Artefaktmaske vorhersagt. Auf überwachtes Feintuning folgt Group Relative Policy Optimization (GRPO), dessen Belohnung die Maskenüberlappung mit Termen für die Ausgabestruktur und die Beweisreferenz kombiniert. Diese textseitigen Terme regen das Modell dazu an, die Konsistenzkarte zu verwenden, stellen aber keinen Verifizierer für frei formulierte Textwahrheiten dar. Ein separater Bildprozessor fusioniert RGB- und DDIM-Residual-Klassenmerkmale. Experimente zeigen eine generatorübergreifende Erkennung auf UniversalFakeDetect und eine konkurrenzfähige Artefaktlokalisierung auf dem offiziellen SynthScars-Benchmark. Kontrollierte Cue-Konstruktion, Inversionshorizont-, Komponenten-, Belohnungs- und kontrafaktische Analysen belegen die Nützlichkeit des Residualstroms unter den untersuchten Bedingungen, während die Texttreue und Zuverlässigkeit bei der Nachbearbeitung weiterhin offene Grenzen darstellen.

Ausgangspunkt der Forschung

Da generierte Bilder offensichtliche Oberflächenfehler verlieren, kann ein reiner RGB-Detektor oder eine rein sprachbasierte Erklärung überzeugend wirken, ohne jedoch auf stichhaltige forensische Beweise hinzuweisen. Für die Unternehmensprüfung sollte ein sinnvolles System die Erkennungsrate, die räumliche Lokalisierung und die textuelle Beschreibung trennen und gleichzeitig aufzeigen, welches zusätzliche Signal das Ergebnis tatsächlich verändert.

Methode

Ein eingefrorener DDIM-Inversions-Rekonstruktionsprozess mit stabiler Diffusion erzeugt eine Residualkarte zwischen Eingabe und Rekonstruktion. Separate Projektoren kodieren RGB-Semantik und Residualbeweise; ein multimodaler Zweig generiert strukturierten Text und eine Maske, während ein separater Bildprozessor Klassenmerkmale für die Detektion fusioniert. Auf überwachtes Feintuning folgen GRPO-Belohnungen für Maskenüberlappung, Ausgabeformat und Belegreferenzen. Offizielle Benchmark-Tests werden getrennt von einer kleineren, kontrollierten Ablationsaufteilung durchgeführt.

Einordnung

Das Rekonstruktionsresiduum stellt einen nützlichen zweiten forensischen Kanal dar und verbessert die Lokalisierung messbar, ist aber weder eine kalibrierte Manipulationskarte noch ein Signal zur Quellenzuordnung. Teams sollten die klare Trennung von Detektion, Lokalisierung und Erklärung beachten und anschließend die Robustheit der Nachbearbeitung sowie die textuelle Genauigkeit unabhängig testen, bevor sie die generierte Begründung in Überprüfungsworkflows einbeziehen.

Paper 022026-07-23cs.LG

Physiologische Signale als forensische Modalität zur Erkennung von Deepfakes mit sprechenden Gesichtern

arXiv PDF

Autoren & Institutionen

Othmane Harraq

Temple University, Philadelphia, Pennsylvania, USA

Tamer Aldwairi

Temple University, Philadelphia, Pennsylvania, USA

Welches Problem es löst

Die Studie untersucht, ob die Photoplethysmographie aus der Ferne aussagekräftigere Ergebnisse bei der Erkennung von Gesichtsfälschungen liefert und ob die Ergebnisse auch dann glaubwürdig bleiben, wenn nicht alle Testidentitäten im Training berücksichtigt wurden. Zudem wird die Schwierigkeit der Detektoren für sieben Generierungsmethoden separat gemessen, anstatt diese Unterschiede in einem Gesamtwert zu verbergen.

Zentrales Ergebnis

Das 1D-ResNet mit 165.000 Parametern erreicht einen AUC-Wert von 0,806 ± 0,003 und einen EER-Wert von 27,8 %, verglichen mit einem AUC-Wert von 0,622 für den reproduzierten rPPG-Detektor und 0,830 für das zitierte allgemeine Effort-Modell. Der AUC-Wert pro Generator variiert zwischen 0,985 für Real3DPortrait und 0,690 für IP-LAP, was einer stabilen Streuung von 0,295 entspricht und deutlich größer ist als die Varianz der Ausgangswerte.

Abstract

Die Erzeugung von Deepfakes mittels Talking Face (TF) synthetisiert fotorealistische Gesichtsvideos aus einem statischen Quellbild und einem Audiosignal. Die so entstehenden Fälschungen werden von gängigen bildbasierten Detektoren nicht erkannt. Im Gegensatz zur Gesichtstauschmanipulation basiert die TF-Synthese auf keinem realen Video, von dem physiologische Merkmale übernommen werden könnten. Daher eignet sich die Remote-Photoplethysmographie (rPPG) besonders gut zur Erkennung dieser Fälschungskategorie. Wir schlagen ein Erkennungsframework vor, das mithilfe von RhythmFormer die rPPG-Wellenformen pro Video extrahiert und eine Reihe von ressourcenschonenden Klassifikatoren trainiert, um reale von synthetisierten physiologischen Signalen zu unterscheiden. Evaluiert auf dem TF-Subset von Celeb-DF++ unter einem streng subjektunabhängigen Protokoll, bei dem Testidentitäten vollständig von Trainingsidentitäten getrennt sind, erreicht unser 1D-ResNet eine AUC von 0,806 und eine EER von 27,8 %. Damit liegt es nur 2,4 Punkte hinter dem besten publizierten Allzweckdetektor (Effort, ICML 2025), obwohl es ausschließlich auf dem physiologischen Kanal arbeitet. Wir dokumentieren eine kontrollierte Reproduktionsstudie von DeepFakesON-Phys, dem repräsentativen rPPG-Detektor, die eine Verschlechterung von einer AUC von 0,999 auf herkömmlichen Gesichtstauschdaten auf 0,622 auf dem TF-Subset von Celeb-DF++ zeigt. Wir zeigen weiterhin, dass die Erkennungsschwierigkeit stark von der verwendeten Methode abhängt: Die AUC-Werte variieren zwischen 0,985 (Real3DPortrait) und 0,690 (IP-LAP) über die sieben TF-Generatoren hinweg, wobei die Rangfolge über alle Auswertungsprotokolle hinweg konstant bleibt. Diese Streuung spiegelt eine interpretierbare physiologische Eigenschaft jedes Generators wider und ist nicht auf Auswertungsrauschen zurückzuführen. Sie stellt den wichtigsten theoretischen Beitrag dieser Arbeit dar.

Ausgangspunkt der Forschung

Sprachgenerierende Gesichtsgeneratoren synthetisieren ein komplettes Video aus einem Standbild und dem dazugehörigen Ton, wodurch das tatsächliche zeitliche Signal des Blutvolumens möglicherweise nicht erhalten bleibt. Bestehende rPPG-Detektoren wurden hauptsächlich anhand älterer Gesichtstausche validiert, bei denen die zugrundeliegende Physiologie des Quellvideos erhalten bleiben kann und Identitätsverluste über die Teilungen hinweg die Ergebnisse verfälschen können.

Methode

RhythmFormer extrahiert aus jedem Gesichtsvideo eine Wellenform. Anschließend unterscheiden ressourcenschonende eindimensionale ResNet- und Transformer-Klassifikatoren zwischen echter und synthetischer Physiologie. Die Celeb-DF++-Teilmenge sprechender Gesichter wird nach Prominentenidentität aufgeteilt, wobei 18 Identitäten für die Evaluierung zurückgehalten werden. Die Autoren reproduzieren DeepFakesON-Phys unter denselben Bedingungen und führen Analysen mit fünf Startwerten (aggregiert und pro Generator) durch.

Einordnung

Die Gesichtsphysiologie stellt einen ergänzenden, interpretierbaren Kanal dar, jedoch keine alleinige Antwort. Sie ähnelt einem umfassenden visuellen Detektor mit sehr wenigen Parametern, wobei einige Generatoren pseudoperiodische Signale so gut erhalten, dass sie dem Zufall nahekommen. Produktionssysteme sollten rPPG mit räumlichen, frequenzbezogenen und audiovisuellen Daten kombinieren und die Ergebnisse identitäts- und generatorübergreifend validieren.

Paper 032026-07-18cs.CV

InfoDense: Dichteabhängige regionale Entscheidungswiedergabe für speichereffiziente inkrementelle Gesichtsfälschungserkennung

arXiv PDF

Autoren & Institutionen

Jikang Cheng

Peking University, China

Hao Shen

Huazhong Agricultural University, China

Xueyi Zhang

National University of Singapore, Singapore

Guangcheng Wang

Nantong University, China

Zhongyuan Wang

Wuhan University, China

Renye Yan

Peking University, China

Baojin Huang

Huazhong Agricultural University, China

Welches Problem es löst

InfoDense formuliert die Wiedergabe als ein Informationsdichteproblem um: Kompakte Regionen, die Manipulationshinweise enthalten, werden beibehalten, eine vielfältige Menge dieser Regionen wird ausgewählt und mit Stichproben der aktuellen Aufgabe kombiniert, ohne die mit einem Puffer alter vollständiger Bilder verbundene Domänenverzerrung einzuführen.

Zentrales Ergebnis

InfoDense berichtet gemäß dem Hauptprotokoll von einer durchschnittlichen AUC von 90,42 % über inkrementelle Datensätze hinweg bei einem Leistungsabfall von 4,52 Punkten und einer durchschnittlichen AUC von 90,03 % über alle Datensätze hinweg. Die Studie zeigt eine vergleichbare Leistung nach einer Speicherreduzierung von 80 % und eine bis zu zehnfach höhere Replay-Diversität bei gleichem Speicherbedarf. Gespeicherte Fragmente reduzieren zudem die Trefferquote bei der Identitätswiederherstellung in der vorliegenden Datenschutzanalyse auf unter 0,02 %.

Abstract

Die rasante Entwicklung von Gesichtsfälschungstechniken hat zu einer zunehmenden Vielfalt an Manipulationen geführt. Inkrementelle Gesichtsfälschungserkennung (IFFD), die neue Fälschungsdaten schrittweise hinzufügt, um zuvor trainierte Modelle zu verfeinern, hat sich als vielversprechender Ansatz zur Bewältigung sich wandelnder Fälschungsbedrohungen etabliert. Herkömmliche replaybasierte IFFD-Methoden leiden jedoch unter katastrophalem Vergessen. Die Speicherung vollständiger historischer Bilder bei begrenztem Speicherplatz führt oft dazu, dass subtile Fälschungsmerkmale nicht erhalten bleiben oder eine Domänenverzerrung entsteht, wodurch die Fähigkeit des Modells, intrinsische und übertragbare Manipulationsmerkmale zu erlernen, eingeschränkt wird. In diesem Beitrag schlagen wir eine dichteabhängige, regionale Entscheidungsstrategie namens InfoDense vor, um diese Herausforderungen zu bewältigen. InfoDense priorisiert artefaktreiche und fälschungskritische Regionen und reduziert so den Speicherbedarf erheblich, während gleichzeitig hochpräzise Fälschungsnachweise erhalten bleiben. Zunächst stellen wir InfoDense Cut vor, um entscheidende Bereiche mithilfe von CLIP-basierten Einbettungen zu lokalisieren. InfoDense Select bewertet anschließend Kandidatensegmente anhand ihrer Repräsentativität im latenten Raum und der Anzahl entscheidender Patches. Dadurch werden Diversität und Informationsdichte im Replay-Puffer sichergestellt. InfoDense Fuse rekonstruiert schließlich unverzerrte Trainingsdaten, indem gespeicherte Segmente adaptiv mit Beispielen der aktuellen Aufgabe zusammengeführt werden. Dies verbessert die Wissensspeicherung und Generalisierung. Umfangreiche Experimente mit anspruchsvollen inkrementellen Deepfake-Benchmarks zeigen, dass InfoDense katastrophales Vergessen effektiv reduziert und gleichzeitig die domänenübergreifende Generalisierung verbessert.

Ausgangspunkt der Forschung

Deepfake-Detektoren benötigen regelmäßige Updates, sobald neue Manipulationsmuster auftauchen. Das erneute Abspielen vollständiger, älterer Gesichtsbilder verbraucht jedoch Speicherplatz, speichert identifizierbare Informationen und beansprucht möglicherweise einen Großteil des Pufferspeichers für Hintergrundinformationen oder redundante Gesichtsstrukturen. Bei begrenztem Speicherplatz muss ein Detektor subtile Fälschungsmerkmale bewahren, ohne zuvor gespeicherte Daten zu vergessen.

Methode

InfoDense Cut verwendet CLIP-Patch-Einbettungen und fälschungsrelevanten Text, um entscheidende Regionen zu bewerten. InfoDense Select ordnet Kandidatensegmente sowohl nach ihrer Repräsentativität im latenten Raum als auch nach der Anzahl der entscheidenden Patches. InfoDense Fuse rekonstruiert Trainingsdaten, indem gespeicherte historische Segmente mit aktuellen Beispielen kombiniert werden, wodurch die Anzahl der mit demselben Speicherbudget dargestellten Quellbilder erhöht wird. Die Evaluierung erfolgt anhand inkrementeller Fälschungssequenzen und separater datensatzübergreifender Tests.

Einordnung

Regionsbasierte Wiedergabe ist attraktiv für Detektoren, die unter Speicher- oder Datenschutzbeschränkungen kontinuierlich lernen müssen. Ihr Nutzen hängt davon ab, ob die ausgewählten Bereiche auch nach realer Komprimierung, Richtlinienänderungen und nachträglicher Manipulation aussagekräftig bleiben. Sie bietet jedoch eine konkrete Alternative zur Speicherung vollständiger historischer Gesichter.