← Zurück zum Blog
ForschungsradarDeepfake-ErkennungVideoforensikarXivAugust 2026

Monatliches arXiv-Radar

Publikationen zur Deepfake-Erkennung im August 2026: Bild-zu-Video-Transfer, Multi-Agenten-Forensik und Fairness

Die August-Papiere behandeln Deepfake-Erkennung als Deployment-System und nicht als einzelne AUC-Nummer. Eine Studie zeigt, dass Bilddetektoren dedizierte Videomodelle mit Frame Tuning und erlernter Aggregation übertreffen können; eine andere trennt Textur-, Licht-, Bewegungs- und Physikanalysen zwischen den Agenten; die dritte zielt auf demografische Abkürzungen innerhalb räumlicher und feinabstimmende Restmerkmale ab.

Was dieser Monat zeigt

FakeI2V-Bench stellt fest, dass Videoframe-Tuning plus statistische Aggregation ausgereifte Bilddetektoren in stärkere und manchmal leichtere Videosysteme verwandeln kann, aber spärliche Bearbeitungen bleiben schwierig. FaceVid-Forensics-100K verwendet vier unabhängige forensische Agenten und einen Richter, um die Erkennung unsichtbarer Generatoren zu verbessern und gleichzeitig Erklärungen zurückzugeben. FairReL zeigt, dass Generalisierung und Fairness getrennte Ziele sind: Ein Detektor kann insgesamt gut übertragen und dennoch Fehlalarme auf Minderheitenuntergruppen konzentrieren. Eine glaubwürdige Produktionsbewertung erfordert daher Generatordiversität, zeitliche Sparsamkeitstests, überprüfbare Evidenz und feste Schwellenwerte für Untergruppen.

Paper 012026-08-04cs.CR

FakeI2V-Bench: Benchmarking der Anwendbarkeit von Deepfake-Detektoren auf Bildniveau für die Deepfake-Videodetektion

arXivPDF

Autoren & Institutionen

Pei Li

School of Cyber Science and Technology, Shandong University, Qingdao, China

Sihan Chen

School of Cyber Science and Technology, Shandong University, Qingdao, China

Delong Ran

Institute for Network Sciences and Cyberspace, BNRist, Tsinghua University, Beijing, China

Tianshuo Cong

School of Cryptologic Science and Engineering, Shandong University, Jinan, China

Welches Problem es löst

FakeI2V-Bench bietet einen einheitlichen Test für Bild- und Videoerkennung und führt eine wiederverwendbare Brücke ein, die Rahmenwerte in eine Videoentscheidung umwandelt. Es quantifiziert Genauigkeit, Cross-Generator-Verhalten, Latenz, Modellgröße und Leistung, wenn nur 20 % eines Clips manipuliert sind.

Zentrales Ergebnis

Mit der besten naiven Aggregation erreicht der stärkste Bilddetektor 80,16 % AUC und liegt damit bereits knapp vor dem besten Videomodell FTCN mit 79,99 %. Nach IV-Bridge übertreffen elf von zwölf Bilddetektoren FTCN; RINE-IV führt mit 93,80 % AUC und 97,63 % AP, während das 4,34-Millionen-Parameter-Modell Patch-IV 89,26 % AUC und 96,12 % AP erreicht. Über vierzehn Generatoren hinweg erzielen verbesserte Bildmodelle im Durchschnitt 95,51 % AUC gegenüber 91,01 % für den besten Videodetektor, obwohl Sora mit 72,76 % mittlerer AUC weiterhin schwierig bleibt. Mit nur 20 % gefälschten Frames fällt jedes Modell, und Patch-IV liegt bei 77,15 % AUC vorn.

Abstract

Jüngste Fortschritte bei Videomodellen haben die Deepfake-Bedrohung erheblich verstärkt, doch die aktuellen Deepfake-Video-Detektionsbenchmarks bleiben unterentwickelt. Insbesondere wurde die Wirksamkeit von Bildniveau-Detektoren im Videobereich nicht systematisch bewertet. Um diese Lücke zu schließen, präsentieren wir FakeI2V-Bench, einen Benchmark zur Bewertung modernster Video-Level-Deepfake-Detektoren in herausfordernden Szenarien, mit besonderem Fokus auf die systematische Bewertung der Leistung von Bild-Level-Deepfake-Detektoren im Videobereich. FakeI2V-Bench umfasst 97.548 Videos mit Inhalten, die von den neuesten leistungsstarken Generationsmodellen generiert wurden und ein breiteres Spektrum an Kategorien abdecken. Mit diesem Datensatz führen wir eine systematische Bewertung von acht Video-Level-Detektoren und zwölf repräsentativen Bild-Level-Detektoren durch. Experimentelle Ergebnisse zeigen, dass der leistungsstärkste Bild-Level-Detektor einen AUC von 80,16 % erreicht und damit den stärksten Videolevel-Detektor (79,99 % AUC) leicht übertrifft. Über Benchmarking hinaus präsentieren wir IV-Bridge, einen allgemeinen Rahmen, der die Anwendbarkeit von Bild-Deepfake-Detektoren auf Videos verbessert. IV-Bridge verwendet ein Random Forest-Modell mit statistischen Merkmalen, um Frame-Level-Vorhersagen zu aggregieren, sodass elf Bild-Level-Detektoren modernste Video-Level-Ansätze übertreffen können, wobei die leistungsstärkste Variante einen AUC von 93,80 % erreicht. Insgesamt etabliert FakeI2V-Bench einen rigorosen Maßstab für die Deepfake-Video-Detektion und führt einen neuartigen Weg ein, um Bild-Level-Detektoren auf den Videobereich zu erweitern, was neue Erkenntnisse und Richtungen für zukünftige Forschung bietet. Code und Daten sind bei https://github.com/CryptoAILab/FakeI2V-Bench verfügbar.

Ausgangspunkt der Forschung

Bild-Deepfake-Detektoren profitieren von ausgereiften Trainingspipelines, aber Video-Benchmarks vergleichen in der Regel nur videospezifische Architekturen und wenden Rahmenmodelle mit einfacher Mittelwertbildung an. Das lässt Teams im Unklaren darüber, ob zeitliche Netzwerke notwendig sind, wie neuere Videogeneratoren das Ranking verändern und ob ein bestehender Bilddetektor wirtschaftlich an Video angepasst werden kann. Sparse Manipulationen, bei denen nur ein Bruchteil der Frames gefälscht ist, machen naives Aggregieren besonders riskant.

Methode

Das Benchmark kombiniert 97.548 Videos aus vier Gesichts- und allgemeinen Generierungsdatensätzen und bewertet acht Videodetektoren sowie zwölf repräsentative Bilddetektoren. Die Autoren vergleichen zunächst feste Score-Aggregationen wie Mittelwert, Maximum und Minimum. IV-Bridge führt dann Video-Rahmen-Feinabstimmung auf nicht überlappenden FF- und GenVideo-Frames durch und speist statistische Deskriptoren der Rahmenwerte in einen Random Forest mit bis zu 800 Bäumen und Tiefe acht ein. Ergebnisse werden nach vierzehn Generierungsmodellen, Gesichtsinhalten versus allgemeinen Inhalten, Einsatzkosten und Kurzfristfälschungen aufgeschlüsselt.

Einordnung

Ein bestehender Bilddetektor kann zu einem wettbewerbsfähigen Video-Service werden, wenn er auf echten Videoframes abgestimmt und mit erlernter zeitlicher Score-Aggregation kombiniert wird. Die Brücke ist attraktiv für leichte Deployments, aber spärliche Bearbeitungen bleiben ein klarer Misserfolgsmodus und der größte Genauigkeitsgewinner ist nicht das günstigste Modell.

Paper 022026-08-07cs.CV

Multi-Agenten-Forensische Schlussfolgerung für generalisierbare Deepfake-Videoerkennung

arXivPDF

Autoren & Institutionen

Xuechao Zou

Beijing Jiaotong University, China

Shun Zhang

Beijing Jiaotong University, China

Kai Li

Tsinghua University, China

Yi Zhou

Beijing Jiaotong University, China

Xinyu Sun

Beijing Jiaotong University, China

Yuhui Chen

Ant Group, China

Zhe Wu

Tsinghua University, China

Congyan Lang

Beijing Jiaotong University, China

Junliang Xing

Tsinghua University, China

Welches Problem es löst

Das Papier trägt sowohl einen aktuellen, erklärungsreichen Benchmark als auch ein kollaboratives Denksystem bei, das für unsichtbare Generatoren entwickelt wurde. Es prüft, ob unabhängige Spezialistenberichte die Verallgemeinerung über längere Denkketten-Prompts hinaus oder das wiederholte Zeigen derselben Frames für ein Modell verbessern.

Zentrales Ergebnis

Beim Out-of-Domain-Test erreicht das vollständige System mit videobewusster Bewertung 69,87 % Genauigkeit, 81,82 % Abruf und 53,28 F1. Das stärkste gelistete geschlossene Modell, Gemini 2.5 Pro, verzeichnet 63,78 %, 75,29 % und 47,45 %, während die beste Kleinsicht-Basislinie 64,28 % Genauigkeit und 45,20 F1 erreicht. Ein reiner Text-Richter über Agentenberichte belegt weiterhin den zweiten Platz mit 67,41 % Genauigkeit und 51,01 F1. Gemeinsames SFT verbessert das videobewusste System von 42,29 % auf 67,03 % Genauigkeit, und GRPO erhöht es weiter; die Kombination aller vier forensischen Agenten ergibt das beste F1 unter beiden Richtereinstellungen.

Abstract

Der böswillige Einsatz generativer künstlicher Intelligenz zur Erstellung hochrealistischer Deepfake-Videos wirft ernsthafte ethische Bedenken auf und stellt erhebliche Herausforderungen für die KI-Sicherheit dar. Bestehende Deepfake-Video-Benchmarks decken jedoch nur begrenzt aktuelle Synthesemethoden ab und es fehlen im Allgemeinen an zuverlässigen, feingranulären Textanmerkungen. Konventionelle Detektoren und multimodale große Sprachmodelle (MLLMs), egal ob als einzelnes Modell oder auf eine einzige analytische Perspektive, versäumen es oft, subtile Fälschungsartefakte zu erfassen, was ihre Verallgemeinerung auf neue KI-generierte Methoden beschränkt. Um diese Einschränkungen zu beheben, stellen wir FaceVid-Forensics-100K vor, einen groß angelegten Deepfake-Videodatensatz mit 100.000 Videos und 33 Synthesemethoden aus Gesichtstausch, Gesichtsnachstellung und Ganzface-Synthese, einschließlich aktueller Generatoren wie Seedance 2.0. Der Datensatz liefert feinkörnige textuelle Annotationen visueller Beobachtungen und urteilskonsistente forensische Erklärungen, die automatisch durch eine Multi-Modell-Aggregations- und Konfliktlösungspipeline mit fortschrittlichen MLLMs synthetisiert werden. Aufbauend auf diesem Maßstab schlagen wir ein multiagentisches forensisches Denkmuster vor, das vier spezialisierte Fachexperten einsetzt, um Fälschungshinweise unabhängig aus vier Perspektiven zu analysieren: Textur, Beleuchtung, Bewegung und Physik. Ein Judge Agent stimmt dann ihre Berichte ab, um eine endgültige Vorhersage zusammen mit einer Erklärung zu erstellen. Umfangreiche Bewertungen von außerhalb des Domänen-Tests zeigen, dass unser Framework, obwohl es ausschließlich aus kleinen Open-Source-MLLMs besteht, alle Methoden, einschließlich geschlossener GPT- und Gemini-Modelle, übertrifft und in allen gemeldeten Metriken in diesem Benchmark den ersten Platz belegt. Die Projektseite ist unter https://xavierjiezou.github.io/ARGUS/ verfügbar.

Ausgangspunkt der Forschung

Moderne Gesichtsvideo-Generatoren bewahren Identität und Bewegung so gut, dass ein einzelner Klassifikator oder ein allgemeiner MLLM subtile, generatorspezifische Beweise übersehen kann. Bestehende Datensätze hinken oft neuen Synthesesystemen hinterher und liefern nur binäre Labels, was das Training oder die Überprüfung von Erklärungen erschwert. Für eine Hochrisiko-Überprüfung sollte ein Detektor unabhängige forensische Dimensionen inspizieren und widersprüchliche Beobachtungen abgleichen, anstatt ein unbelegtes Urteil zu fällen.

Methode

FaceVid-Forensics-100K enthält 100.000 Videos aus 33 Gesichtstausch-, Reenactment- und Whole-Face-Synthese-Methoden, darunter Seedance 2.0. Feinkorrelierte Beobachtungen und urteilskonsistente Erklärungen werden mit Multi-Modell-Aggregation und Konfliktlösung erstellt. Vier kleine Open-Source-MLLM-Agenten inspizieren separat Textur, Licht, Bewegung und physische Konsistenz; ein Richter erhält ihre Berichte, nimmt optional ein Muster des Videos und gibt ein Urteil sowie eine Erklärung ab. Die Agenten und der Richter werden in überwachter Feinabstimmung und anschließend in Gruppenoptimierung der relativen Richtlinien geschult, wobei außerhalb des Bereichs ausgerichtete Generatoren zur Bewertung bereitgestellt werden.

Einordnung

Die Trennung forensischer Beobachtung von Urteilsbildung verbessert sowohl die Prüfbarkeit als auch die Leistung der unsichtbaren Generatoren. Die Architektur ist für Analystenunterstützungsworkflows überzeugend, aber ihre Multimodell-Inferenzkosten und automatisch generierte Erklärungsetiketten sollten vor der Produktionsübernahme an einem einfacheren Detektor plus menschlicher Überprüfung gemessen werden.

Paper 032026-08-28cs.CV

FairReL: Deepfake-Erkennung mittels fairness-aware representation learning

arXivPDF

Autoren & Institutionen

Xiaoman Lu

Department of Computer Science, University of Warwick, Coventry, United Kingdom

Jiaqi Li

Department of Computer Science, University of Warwick, Coventry, United Kingdom

Shuntian Zheng

Department of Computer Science, University of Warwick, Coventry, United Kingdom

Huiping Chen

School of Computer Science, University of Birmingham, Birmingham, United Kingdom

Yu Guan

Department of Computer Science, University of Warwick, Coventry, United Kingdom

Welches Problem es löst

FairReL isoliert zwei subgruppensensitive Komponenten – multiskalische räumliche Frequenzen und die während der Feinabstimmung eingeführte Restrepräsentation – und wendet jeweils unterschiedliche Fairness-Kontrollen an. Es bewertet die False-Positiv-Diskrepanz an einem festen Betriebsschwellenwert, sodass Verbesserungen nicht einfach durch die Ablehnung weniger Samples insgesamt möglich sind.

Zentrales Ergebnis

Gegen die stärkste auf Fairness ausgerichtete Baseline berichten die Autoren von einer Verbesserung des AUC auf unbekannten Datensätzen um 3,9 Punkte und einer Reduzierung der Subgruppen-FPR-Diskrepanz um 10,2 %. FairReL erreicht AUC-Werte von 80,64, 86,13 und 66,34 auf Celeb-DF, DFD und DFDC, während es gleichzeitig die niedrigste Equal-FPR-Diskrepanz auf allen drei Datensätzen aufweist (10,12, 13,55 und 38,36). Auf DFDC beträgt der gruppen-durchschnittliche AUC 67,03 und die Lücke zwischen der besten und schlechtesten Subgruppen-AUC 1,09 Punkte. Es liegt in der Gesamt-AUC auf zwei Datensätzen leicht hinter dem auf Genauigkeit fokussierten GenD, verteilt die Leistung jedoch gleichmäßiger, insbesondere für weibliche und schwarze Subgruppen.

Abstract

Obwohl neuere Deepfake-Detektoren eine hohe Gesamtgenauigkeit erreichen, bleiben ihre Fehler ungleichmäßig auf demografische Untergruppen verteilt, wobei echte Gesichter aus bestimmten Gruppen häufiger fälschlicherweise als gefälscht eingestuft werden. Bestehende fairness-bewusste Detektoren regulieren typischerweise die gesamte Merkmalsrepräsentation, ohne die spezifischen Komponenten zu identifizieren oder zu kontrollieren, die unfaire Vorhersagen antreiben. Eine solche grobe Intervention kann nützliche Fälschungshinweise überdrücken und die demografische Struktur in komponentenspezifischen Unterräumen belassen. Um dies zu beheben, identifizieren wir zwei subgruppensensitive Komponenten: multiskalierte räumliche Merkmale, die lokale Gesichts- und Fälschungsmuster kodieren, und feinabstimmungsinduierte Residuenmerkmale, die das Rückgrat an die unfaire Trainingsverteilung anpassen. Wir schlagen FairReL vor, ein fairness-aware representation-learning-Framework, das beide Komponenten mit spezieller demografischer Überwachung anspricht. FairReL verwendet ein SVD-dekomponiertes Foundation-Model-Backbone, um die durch Feinabstimmung induzierte Restrepräsentation zu isolieren, und führt zwei komplementäre Verluste ein. Group-Conditional Wavelet Decorrelation (GCWD) unterdrückt die unausgewogene Struktur der Untergruppen über räumliche Wavelet-Subbänder, während Subspace-Localised Mean Alignment (SLMA) die Untergruppenmittelwerte innerhalb jeder realen/fake-Klasse in der Restrepräsentation ausrichtet. Experimente an FF, Celeb-DF, DFD und DFDC zeigen, dass FairReL gegen den hochmodernen fairness-conscious Detector die unsichtbare Datensatz-AUC um 3,9 % verbessert und die Untergruppen-FPR-Differenz um 10,2 % reduziert. Code ist verfügbar bei https://github.com/xiaoman89/FairReL .

Ausgangspunkt der Forschung

Ein Detektor kann einen starken globalen AUC erreichen, während er Mitglieder einiger demografischer Untergruppen viel häufiger fälschlicherweise beschuldigt als andere. Bestehende Fairness-Verluste regulieren oft die endgültige Vorhersage oder die gesamte Einbettung, was lokale demografische Abkürzungen intakt lassen oder nützliche Fälschungsbelege auslöschen kann. Die Herausforderung besteht darin, gezielt zu bestimmen, wo Untergruppeninformationen in den Detektor gelangen, und sowohl Fairness als auch domänenübergreifende Genauigkeit zu bewahren.

Methode

Die Methode zerlegt jede Selbstaufmerksamkeitsprojektion in CLIP ViT-L/14 mit SVD und lernt einen Rang-eins-Residual, während die Foundation-Darstellung erhalten bleibt. Group-Conditional Wavelet Decorrelation unterdrückt subgruppenunausgewogene Strukturen separat über räumliche Wavelet-Bänder. Subspace-Localized Mean Alignment richtet demografische Mittel innerhalb jeder realen/fake-Klasse nur im Adaptationsresidual aus und vermeidet so ununterschiedliche Vollfeature-Glättung. Modelle trainieren auf FaceForensics und übertragen auf Celeb-DF, DFD und DFDC, wobei sechs intersektionale Geschlechts-/Ethnizitätsgruppen und FPR-Metriken mit einem Quellvalidierungsschwellenwert von 90 % TPR verwendet werden.

Einordnung

Die Bewertung von Deepfakes sollte falsch positive Ergebnisse für Untergruppen an einem festen Betriebspunkt berichten, nicht nur die aggregierte AUC. FairReL zeigt, dass eine lokalisierte Entlastung von Verzerrungen eine wettbewerbsfähige domänenübergreifende Erkennung beibehalten kann, obwohl die verbleibende DFDC-Diskrepanz groß genug bleibt, dass Produktionsschwellen und Eskalationspfade weiterhin untergruppenbewusste Validierung erfordern.