← Zurück zum Blog

ForschungsradarDeepfake-ErkennungarXivOktober 2026

Monatliches arXiv-Radar

Oktober 2026 Deepfake-Erkennungspapiere: Umfassende Forensik, lange Videos und Teilgesichter

Die Entdeckungsforschung vom Oktober erweitert das Bedrohungsmodell in drei Richtungen. Venus-DefakerOne2 vereint Medien- und Angriffsformen, AV-FABLE fordert Systeme auf, kurze Audio- und Bildbearbeitungen in langen, offenen Szenenvideos zu lokalisieren, und RLDF testet, ob ein Detektor bemerkt, wenn nur ein kleiner Gesichtsbereich verändert wird.

Was dieser Monat zeigt

Venus-DefakerOne2 meldet ein Modell in sechs forensischen Bereichen, darunter eine ausgewogene Genauigkeit von 96,7 % bei Deepfake-Gesichtern und 96,0 % bei KI-generierten Videos, obwohl aufgrund seines Umfangs und seiner internen Daten eine unabhängige Validierung unerlässlich ist. AV-FABLE fügt 998 Stunden lange Zwillingsvideos mit separaten Audio- und visuellen Zeitleisten hinzu; Zero-Shot-Sprachausgaben bleiben nahezu zufällig, während überwachte Auslesungen eingefrorener Features 91,30 mAP erreichen. RLDF zeigt, dass die Beschränkung eines Austauschs auf einen Gesichtsunterbereich die Anzahl vorhandener Detektoren im Durchschnitt um 10,5 AUC-Punkte verringert. Die gemeinsame Beschaffungslektion besteht darin, die Bedrohungsabdeckung, die zeitliche Lokalisierung, die Modalitätszuordnung und die Größe des manipulierten Bereichs zu testen, anstatt eine aggregierte Genauigkeit zu akzeptieren.

Paper 012026-10-27cs.CV

Venus-DefakerOne2: Ein Basismodell für visuelle Forensik mit breiterer Abdeckung

Autoren & Institutionen

Chenfan Qu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yachao Liang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Mingqi Fang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jiangwei Xie

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Zhenming Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Baoyue Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Changjiang Jiang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Zheng Chang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Fanli Jin

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Xuekang Zhu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Kaiwen Feng

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Junchi Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Weihong Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Haoyue Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Chenfeng Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yinan Xia

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Fangming Cui

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yongshuo Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Dong Fan

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jingjing Liu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Tianyi Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Luobin Chen

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Ji-Zhe Zhou

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Sheng Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Wei Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Bin Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Ran He

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Xinpeng Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Linna Zhou

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jian Liu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Weiqiang Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Welches Problem es löst

Ziel von Venus-DefakerOne2 ist es, ein binäres forensisches Grundlagenmodell für digitale und physische Fälschung von Bildern und Videos bereitzustellen. Die Herausforderung besteht darin, Domänen und schwierige Beispiele hinzuzufügen, ohne katastrophales Vergessen zu verursachen oder jedem Medientyp eine Vorhersageschnittstelle aufzuzwingen.

Zentrales Ergebnis

Das Papier berichtet von einer ausgeglichenen Genauigkeit von 96,7 % für Deepfake-Gesichter, 93,3 % für KI-generierte Bilder, 87,6 % für manipulierte Dokumente, 89,6 % für manipulierte natürliche Bilder, 93,1 % für physische Parodien und 96,0 % für KI-generierte Videos. In den beiden hervorgehobenen großen Bereichen verbessert sich die physische Fälschung von 60,8 % auf 93,1 % bei DefakerOne und die KI-Videoerkennung von 72,5 % auf 96,0 %.

Abstract

Fälschungen in der realen Welt sind von Natur aus heterogen: Sie manifestieren sich nicht nur als digitale Manipulation, sondern auch als physisches Spoofing und werden nicht nur durch Bilder, sondern auch durch Videos verbreitet. Trotz erheblicher Fortschritte fehlt noch immer ein einheitliches Anti-Fälschungs-Grundlagenmodell, das ein derart breites Bedrohungsspektrum abdeckt. In diesem Artikel stellen wir Venus-DefakerOne2 vor, das die forensischen Fähigkeitsgrenzen sowohl in der Fälschungsform- als auch in der Medienart-Dimension erheblich erweitert. Es basiert auf zig Millionen Open-Source- und internen Beispielen und umfasst zwei Schlüsseldesigns. Tide-Style-Tuning wechselt zwischen LoRA und vollständiger Parameter-Feinabstimmung, um Recheneffizienz, Generalisierung und Hard-Sample-Anpassung in Einklang zu bringen und gleichzeitig katastrophales Vergessen zu mildern. Die entropiebasierte Testanpassung bestimmt die optimale Vorhersagemodalität durch Analyse der Vorhersageentropie. Venus-DefakerOne2 erreicht eine neue, hochmoderne Leistung in einer umfassenden Reihe von Benchmarks, darunter DeepFake-Gesichter (96,7 %), KI-generierte Bilder (93,3 %), manipulierte Dokumente (87,6 %), manipulierte natürliche Bilder (89,6 %), physische Parodien (93,1 %) und KI-generierte Videos (96,0 %). Es übertrifft sowohl die spezialisierten Expertenmodelle als auch seinen Vorgänger DefakerOne deutlich und etabliert sich als leistungsstarkes und vielseitiges Basismodell für forensische Aufgaben mit binärer Entscheidung.

Ausgangspunkt der Forschung

Die operative Fälschungsprüfung umfasst Deepfake-Gesichter, generierte Bilder und Videos, bearbeitete Dokumente, Manipulation natürlicher Bilder und Angriffe auf physische Präsentationen. Separate Spezialmodelle erhöhen die Integrationskosten und können inkonsistente blinde Flecken über Medien und Angriffsformen hinweg hinterlassen.

Methode

Das Modell wird anhand von zig Millionen Open-Source- und internen Beispielen trainiert. Tide-Style-Tuning wechselt zwischen parametereffizienten LoRA-Phasen und vollständiger Parameter-Feinabstimmung ab, um eine breite Verallgemeinerung bei gleichzeitiger Anpassung an schwierige Fälle zu gewährleisten. Die entropiebasierte Testadaption vergleicht verfügbare Vorhersagemodalitäten und wählt den Weg mit der geringeren Unsicherheit aus. Zusätzliche Komponenten unterstützen die Videoaggregation und die Lokalisierung auf Pixelebene.

Einordnung

Ein breit angelegter Detektor kann einen Multimedia-Überprüfungsstapel vereinfachen, aber der Schlagzeilendurchschnitt umfasst viele Benchmarks und umfasst interne Trainingsdaten. Für die Unternehmensbewertung sind weiterhin angriffsspezifische Schwellenwerte, Kalibrierung, Latenz und Tests an unsichtbaren Generatoren und Erfassungsgeräten erforderlich.

Paper 022026-10-24cs.CV

AV-FABLE: Audiovisuelle Manipulationsforensik in langen Videos

Autoren & Institutionen

Yuesheng Huang

Tsinghua University

Hoi Fan Au

Tsinghua University

Jiaqi Hou

Tsinghua University

Ruicheng Zhang

Tsinghua University

Jiarui He

Tsinghua University

Haocheng Yang

Tsinghua University

Bin Hu

Tsinghua University

Kewei Zhang

Peking University

Weijian Deng

Tsinghua University

Jun Zhou

Tsinghua University

Xiu Li

Tsinghua University

Welches Problem es löst

AV-FABLE definiert separate Audio- und visuelle Lokalisierungszeitpläne für spärliche Manipulationen in offenen Szenenvideos im Minutenmaßstab. Es testet Erkennung, zeitliche Lokalisierung, Modalitätszuordnung und Beweisgenerierung in der Domäne und unter Quelle, Generator, Route und externer Datensatzverschiebung.

Zentrales Ergebnis

Der Benchmark umfasst 16.650 makellos manipulierte Zwillingspaare, 33.300 Videos und 998,1 Stunden; Das durchschnittliche Video dauert 88 Sekunden und Manipulationen machen 9,45 % davon aus. Audiovisuelle Sprachmodelle mit Zero-Shot erreichen nur 51-52 AUROC und höchstens 0,30 mAP, obwohl lineare Sonden 90,8 Audio- und 80,8 visuelle AUROC wiederherstellen. NFSR erreicht 91,30 audiovisuelle Karten und 96,04 Erkennungs-AUROC in der Domäne und führt alle drei Out-of-Distribution-Einstellungen an.

Abstract

Lokalisierte KI-Manipulationen in langen Videos wirken sich häufig auf kurze Ereignisse in ansonsten authentischen Inhalten aus, sodass die Klassifizierung auf Videoebene für eine forensische Analyse nicht ausreicht. Bestehende audiovisuelle Deepfake-Benchmarks konzentrieren sich größtenteils auf kurze Talking-Head-Clips, während lange zeitliche Forensiken überwiegend visuell bleiben. Wir stellen AV-FABLE vor, einen Dual-Timeline-Benchmark für spärliche Manipulationen in langen audiovisuellen Videos mit offener Szene. AV-FABLE enthält 16.650 makellos manipulierte Zwillingspaare (998 Stunden), die mit 27 Bearbeitungskonfigurationen erstellt wurden, mit separaten Audio- und visuellen Zeitleisten, die eine modalitätsspezifische zeitliche Lokalisierung ermöglichen und durch gemeinsame Zeitleistenauswertung verborgene Fehler aufdecken. Bei AV-FABLE führt die Zero-Shot-Eingabeaufforderung audiovisueller großer Sprachmodelle (AV-LLMs) zu einer nahezu zufälligen Erkennung und einer schlechten zeitlichen Lokalisierung. Im Gegensatz dazu stellen überwachte Auslesungen ihrer eingefrorenen Wahrnehmungsmerkmale starke forensische Signale wieder her, was darauf hindeutet, dass Manipulationsbeweise in diesen Darstellungen kodiert, aber nicht effektiv durch Sprachausgaben offengelegt werden. Motiviert durch diese Beobachtung schlagen wir NFSR (Native Forensics via Separated Readouts) vor, das eingefrorene AV-LLM-Merkmale mit separaten Audio- und visuellen zeitlichen Decodern liest. NFSR erzielt die beste audiovisuelle Lokalisierungsleistung in der Domäne und in allen drei Out-of-Distribution-Einstellungen, einschließlich der Übertragung auf zurückgehaltene Videos von einem externen forensischen Benchmark für lange Videos. AV-FABLE, Code und Modellgewichte werden öffentlich veröffentlicht.

Ausgangspunkt der Forschung

Ein paar gefälschte Sekunden innerhalb eines größtenteils authentischen langen Videos können seine Bedeutung ändern, und Audio- und Bildbearbeitungen können zu unterschiedlichen Zeitpunkten erfolgen. Ein einzelnes Videolabel oder eine gemeinsame Zeitleiste kann einem Ermittler nicht sagen, welche Modalität geändert wurde, und kann ein Model dafür belohnen, dass es den richtigen Moment im falschen Stream gefunden hat.

Methode

SEE-Forge wählt Naturereignisse aus, plant eine lokalisierte Bearbeitung, leitet sie an eine von 27 Audio- oder Videobearbeitungskonfigurationen weiter, fügt sie wieder in den Kontext ein und verknüpft jede manipulierte Ausgabe mit einem passenden Originalexport. NFSR liest dann eingefrorene audiovisuelle Sprachmodellmerkmale mit separaten zeitlichen Decodern, kombiniert Zwischen- und Schnittstellendarstellungen und konditioniert lokale Beweise auf dem Host-Video.

Einordnung

AV-FABLE eignet sich zur Prüfung von Werkzeugen, die manipulierte Zeitabschnitte und die betroffene Audio- oder Videospur benennen müssen, statt nur Dateien zu markieren. Die Studie zeigt auch, dass forensische Hinweise in einem Basismodell nicht unbedingt durch Zero-Shot-Abfragen zugänglich sind.

Paper 032026-10-15cs.CV

RLDF: Ein Deepfake-Datensatz und Benchmark auf Regionsebene für die Erkennung von Partial-Face-Manipulationen

Autoren & Institutionen

Shukesh Reddy

Machine Intelligence Group, BITS Pilani, Hyderabad Campus

Abhijit Das

Machine Intelligence Group, BITS Pilani, Hyderabad Campus

Welches Problem es löst

RLDF stellt Regionsbezeichnungen und räumliche Grundwahrheit für Teilflächen-Austausche bereit und prüft, ob etablierte Detektoren von Vollflächen-Benchmarks übertragen werden. Es liefert außerdem eine ortsbezogene Basislinie für das Lernen aus dem kleinen geschmiedeten Bereich, anstatt ihn zu mitteln.

Zentrales Ergebnis

Bei 12 Detektoren führen Tests auf Regionsebene im Vergleich zur herkömmlichen Auswertung zu einem durchschnittlichen AUC-Abfall von 10,5 Prozentpunkten und einem Genauigkeitsabfall von 10 Punkten. FatFormer fällt bei RLDF auf 0,745 AUC und DFD-FCG auf 0,806. Die maskengesteuerte Basislinie legt fest, dass eine explizite räumliche Überwachung ein nützliches Signal wiederherstellen kann, das Papier positioniert es jedoch als Ausgangspunkt und nicht als gelösten Detektor.

Abstract

Bestehende Deepfake-Erkennungsmodelle basieren auf manipulierten Bildern, die entweder ausschließlich mit vollständig ausgetauschten oder vollständig synthetisierten Gesichtern manipuliert werden, was uns zu einer offenen Frage führt: Können handelsübliche Deepfake-Modelle Manipulationen effektiv erkennen, während die Manipulation auf einen lokalen Teilbereich des Gesichts beschränkt ist? Um diese Lücke zu schließen, führen wir RLDF (Region-Level Deepfake) ein, den ersten Datensatz für die Deepfake-Bewertung auf Regionsebene. Unter Verwendung des vorgeschlagenen Regions-bewussten Partial-Swap-Synthesemodells generieren wir über 2 Millionen partielle Face-Swap-Bilder unter Verwendung von acht Face-Swapping-Methoden. Insgesamt betrachteten wir sieben Gesichtsregionen, darunter vier separate Regionen (Auge, Nase, Mund und Augenbraue) und vier zusammengesetzte Gesichtsregionen (Auge und Nase; Auge, Nase und Mund; Auge, Nase, Mund und Augenbraue sowie vollständiges Gesicht). Darüber hinaus definieren wir drei Bewertungsprotokolle und vergleichen 12 hochmoderne Detektoren anhand der fünf beliebten datensatzübergreifenden Standardauswertungen, DF40 und des vorgeschlagenen RLDF, und bieten so eine umfassende Prüfung, wo und warum bestehende Detektoren unterdurchschnittliche Leistungen erbringen. Unsere Auswertung zeigt, dass vorhandene Detektoren nicht konsistent über Teilgesichtsregionen generalisieren können, was zu einem Gesamtabfall von 10,5 % AUC und 10 % Genauigkeit bei der Auswertung auf Regionsebene führt. Darüber hinaus schlagen wir ein maskengesteuertes Cross-Attention-Modell als Basisansatz vor, mit dem Manipulationen auf Regionsebene effektiv erkannt werden können. Der vorgeschlagene Datensatz, Code und Prüfpunkte sind unter https://github.com/RLDF-Dataset/RLDF verfügbar.

Ausgangspunkt der Forschung

Die meisten Deepfake-Benchmarks ersetzen oder synthetisieren ein ganzes Gesicht, sodass Detektoren umfassende globale Artefakte erkennen können. Moderne Bearbeitungswerkzeuge können nur die Augen, den Mund, die Nase oder einen anderen kleinen Bereich verändern, sodass authentische Pixel das Bild dominieren und ein zuverlässiger globaler Klassifikator deutlich weniger zuverlässig wird.

Methode

Der Datensatz wendet acht Face-Swapping-Methoden auf 1.000 Quell-Ziel-Videopaare an und verwendet dann Gesichtsparsing, Dilatation und Soft Blending, um acht einzelne oder zusammengesetzte Gesichtsbereiche wieder zu authentischen Zielbildern zusammenzusetzen. Dies erzeugt 2.048.000 gefälschte Bilder mit identitätsdisjunkten Zug-, Validierungs- und Testaufteilungen. Eine CLIP ViT-L/14-Basislinie sagt eine Patch-Fälschungsmaske voraus und nutzt sie, um die Aufmerksamkeit vor der endgültigen Echt-oder-Fälschungs-Entscheidung zu lenken.

Einordnung

Die teilweise Gesichtsmanipulation sollte ein separater Akzeptanztest für jedes Deepfake-Produkt sein. RLDF zeigt, dass starke Vollgesichtsbewertungen keine Sensibilität für einen kleinen bearbeiteten Bereich garantieren und stellt die Masken bereit, die zum Trainieren und Überprüfen lokalisierter Entscheidungen erforderlich sind.