← ブログ一覧へ戻る
研究レーダーディープフェイクの検出arXiv2026年10月

月刊arXivレーダー

2026年10月のディープフェイク検出論文：広域フォレンジック、長尺動画、部分顔改変

10 月の検出調査により、脅威モデルが 3 つの方向に広がりました。 Venus-DefakerOne2 はメディアと攻撃形式を統合し、AV-FABLE はシステムに長いオープンシーン ビデオ内の短いオーディオおよびビジュアル編集を見つけるよう要求し、RLDF は顔の小さな領域のみが変更されたときに検出器が気付くかどうかをテストします。

本月の重要シグナル

Venus-DefakerOne2 は、ディープフェイク顔で 96.7%、AI 生成ビデオで 96.0% のバランスの取れた精度を含む 6 つのフォレンジック ドメインにわたる 1 つのモデルを報告していますが、その規模と内部データにより独立した検証が不可欠です。 AV-FABLE は、オーディオとビジュアルのタイムラインを分けた 998 時間の長編ツイン ビデオを追加します。ゼロショット言語の出力は偶然に近いままですが、フリーズされた特徴の教師付き読み出しは 91.30 mAP に達します。 RLDF は、スワップを顔のサブ領域に制限すると、既存の検出器が平均 10.5 AUC ポイント低下することを示しています。共通の調達教訓は、1 つの集計精度を受け入れるのではなく、脅威の適用範囲、時間的位置特定、モダリティの属性、および操作された領域のサイズをテストすることです。

論文 012026-10-27cs.CV

Venus-DefakerOne2：より広い脅威範囲をカバーする視覚フォレンジック基盤モデル

arXivPDF

著者・所属

Chenfan Qu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yachao Liang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Mingqi Fang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jiangwei Xie

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Zhenming Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Baoyue Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Changjiang Jiang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Zheng Chang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Fanli Jin

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Xuekang Zhu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Kaiwen Feng

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Junchi Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Weihong Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Haoyue Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Chenfeng Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yinan Xia

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Fangming Cui

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yongshuo Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Dong Fan

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jingjing Liu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Tianyi Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Luobin Chen

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Ji-Zhe Zhou

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Sheng Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Wei Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Bin Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Ran He

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Xinpeng Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Linna Zhou

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jian Liu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Weiqiang Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

何を解決するか

Venus-DefakerOne2 は、画像やビデオのデジタルおよび物理的偽造にまたがる 1 つのバイナリ フォレンジック基盤モデルを提供することを目的としています。課題は、壊滅的な忘れや、すべてのメディア タイプに 1 つの予測インターフェイスを強制することなく、ドメインと困難なサンプルを追加することです。

主要結果

この論文では、ディープフェイクの顔については 96.7%、AI で生成された画像については 93.3%、改ざんされた文書については 87.6%、操作された自然画像については 89.6%、物理的ななりすましについては 93.1%、AI によって生成されたビデオについては 96.0% というバランスの取れた精度が報告されています。強調表示された 2 つの広範なドメインでは、物理的偽造が DefakerOne の 60.8% から 93.1% に向上し、AI ビデオ検出が 72.5% から 96.0% に向上しました。

要旨

現実世界の偽造は本質的に多様です。デジタル操作だけでなく物理的ななりすましとしても現れ、画像だけでなくビデオによっても伝えられます。大幅な進歩にもかかわらず、このような広範な脅威範囲をカバーする統合された偽造防止基盤モデルは依然として存在しません。この論文では、偽造形式とメディア形式の両方の次元に沿ってフォレンジック能力の境界を大幅に拡張する Venus-DefakerOne2 を紹介します。数千万のオープンソースおよび社内サンプルでトレーニングされ、2 つの主要な設計が組み込まれています。 Tide-Style-Tuning は、LoRA とフルパラメータ微調整を交互に使用して、壊滅的な忘却を軽減しながら、計算効率、汎化、難例フィッティングのバランスをとります。エントロピーベースのテスト適応は、予測エントロピーを分析することによって最適な予測モダリティを決定します。 Venus-DefakerOne2 は、ディープフェイクの顔 (96.7%)、AI で生成された画像 (93.3%)、改ざんされた文書 (87.6%)、操作された自然画像 (89.6%)、物理的ななりすまし (93.1%)、AI で生成されたビデオ (96.0%) を含む、包括的なベンチマーク スイート全体で新しい最先端のパフォーマンスを達成します。特化したエキスパート モデルとその前身である DefakerOne の両方を大幅に上回り、二分決定のフォレンジック タスクのための強力で多用途の基盤モデルとしての地位を確立しています。

研究の出発点

運用上の偽造スクリーニングは、ディープフェイクの顔、生成された画像とビデオ、編集された文書、自然画像の改ざん、および物理的なプレゼンテーション攻撃に及びます。個別の専門モデルは統合コストを増加させ、メディアや攻撃形式全体に一貫性のない盲点を残す可能性があります。

手法

このモデルは、数千万のオープンソースおよび内部サンプルでトレーニングされています。 Tide-Style-Tuning は、パラメータ効率の高い LoRA フェーズとフルパラメータの微調整を交互に行い、難しいケースに適合しながら広範な一般化を維持します。エントロピーベースのテスト適応では、利用可能な予測モダリティを比較し、不確実性のより低いルートを選択します。追加のコンポーネントは、ビデオ集約とピクセルレベルのローカリゼーションをサポートします。

論文要点

幅広い脅威に対応する基盤検出器は、マルチメディア審査システムの構成を簡素化できます。ただし平均指標は多数のベンチマークにまたがり、学習には非公開データも含まれます。攻撃別のしきい値、確率校正、遅延、未学習の生成器・撮影機器での検証が必要です。

論文 022026-10-24cs.CV

AV-FABLE：長尺動画における音声・映像改変フォレンジック

arXivPDF

著者・所属

Yuesheng Huang

Tsinghua University

Hoi Fan Au

Tsinghua University

Jiaqi Hou

Tsinghua University

Ruicheng Zhang

Tsinghua University

Jiarui He

Tsinghua University

Haocheng Yang

Tsinghua University

Bin Hu

Tsinghua University

Kewei Zhang

Peking University

Weijian Deng

Tsinghua University

Jun Zhou

Tsinghua University

Xiu Li

Tsinghua University

何を解決するか

AV-FABLE は、オープンシーンの分単位のビデオでのまばらな操作のために、オーディオとビジュアルのローカリゼーション タイムラインを個別に定義します。これは、ドメイン内およびソース、ジェネレーター、ルート、および外部データセットのシフトの下で、検出、時間的位置特定、モダリティの帰属、および証拠の生成をテストします。

主要結果

ベンチマークには、16,650 の元のまま操作された双子のペア、33,300 のビデオ、および 998.1 時間が含まれています。動画の中央値は 88 秒で、操作はその 9.45% を占めています。ゼロショット視聴覚言語モデルは 51 ～ 52 AUROC、最大でも 0.30 mAP しか到達しませんが、線形プローブは 90.8 音声 AUROC、80.8 視覚 AUROC を回復します。 NFSR はドメイン内で 91.30 オーディオビジュアル mAP および 96.04 検出 AUROC に達し、3 つの配布外設定すべてをリードします。

要旨

長い形式のビデオにおける局所的な AI 操作は、本物のコンテンツ内の短いイベントに影響を与えることが多く、フォレンジック分析にはビデオレベルの分類が不十分になります。既存のオーディオビジュアルディープフェイクベンチマークは主に短いトーキングヘッドクリップに焦点を当てていますが、長時間形式の時間的フォレンジックは依然として主に視覚的です。オープンシーンの長編オーディオビジュアル ビデオにおけるスパース操作用のデュアル タイムライン ベンチマークである AV-FABLE を紹介します。 AV-FABLE には、27 の編集構成で作成された 16,650 の元の操作されたツイン ペア (998 時間) が含まれており、モダリティ固有の時間的位置特定を可能にし、共同タイムライン評価によって隠されたエラーを明らかにする個別のオーディオおよびビジュアル タイムラインを備えています。 AV-FABLE では、オーディオビジュアル大規模言語モデル (AV-LLM) のゼロショット プロンプトにより、ほぼ偶然の検出が発生し、時間的位置特定が不十分になります。対照的に、凍結された知覚特徴の教師付き読み出しは強力なフォレンジック信号を回復し、操作の証拠がこれらの表現にエンコードされているものの、言語出力を通じて効果的に暴露されていないことを示唆しています。この観察に動機付けられて、我々は、凍結された AV-LLM 特徴を別々のオーディオおよびビジュアル時間デコーダーで読み取る NFSR (Native Forensics via Separated Readouts) を提案します。 NFSR は、ドメイン内および外部の長時間ビデオ フォレンジック ベンチマークからの保留ビデオへの転送を含む、3 つの分布外設定すべてにわたって最高のオーディオビジュアル ローカリゼーション パフォーマンスを実現します。 AV-FABLE、コード、モデルの重みは公開されます。

研究の出発点

ほぼ本物の長いビデオ内の偽造された数秒がその意味を変える可能性があり、オーディオとビジュアルの編集が異なるタイミングで行われる場合があります。単一のビデオ ラベルや共有タイムラインでは、どのモダリティが変更されたかを研究者に伝えることができず、間違ったストリームで適切な瞬間を見つけたモデルに報酬を与える可能性があります。

手法

SEE-Forgeは元動画の出来事を選び、局所的な編集を計画して27種類の音声・映像編集設定に振り分け、編集区間を元の文脈へ戻します。改変版と同じ書き出し条件の未改変版を対にします。NFSRは凍結した音声・映像言語モデルの中間特徴と出力インターフェイスの特徴を組み合わせ、元動画の文脈を条件として、音声・映像別の時間デコーダーで改変区間を推定します。

論文要点

AV-FABLEは、単にファイルを偽物と判定するだけでなく、改変区間と影響を受けた音声・映像を示す審査ツールの評価に適しています。また、基盤モデル内部に有用な改変の証拠が含まれていても、ゼロショットの質問だけでは取り出せない可能性を示しています。

論文 032026-10-15cs.CV

RLDF：顔の部分改変検出向け領域レベル・ディープフェイクデータセットとベンチマーク

arXivPDF

著者・所属

Shukesh Reddy

Machine Intelligence Group, BITS Pilani, Hyderabad Campus

Abhijit Das

Machine Intelligence Group, BITS Pilani, Hyderabad Campus

何を解決するか

RLDF は、部分的な顔のスワップに対して領域ラベルと空間的グラウンド トゥルースを提供し、確立された検出器が全面ベンチマークから移行したかどうかを監査します。また、小さな偽造領域を平均化するのではなく、そこから学習するためのローカリゼーションを意識したベースラインも提供します。

主要結果

12 個の検出器にわたる領域レベルのテストでは、従来の評価と比較して AUC が平均 10.5 パーセントポイント低下し、精度が 10 ポイント低下します。 RLDF では、FatFormer は AUC 0.745 に低下し、DFD-FCG は 0.806 に低下します。マスクガイドベースラインは、明示的な空間監視によって有用な信号を回復できることを確立していますが、論文ではそれを解決された検出器ではなく出発点として位置づけています。

要旨

既存のディープフェイク検出モデルは、排他的に完全に交換された顔または完全に合成された顔で改ざんされた操作された画像に基づいて構築されています。このため、未解決の疑問が生じます。改ざんが局所的な顔のサブ領域に限定されている場合、既製のディープフェイク モデルは操作を効果的に検出できるのでしょうか?このギャップを埋めるために、領域レベルのディープフェイク評価のための最初のデータセットである RLDF (領域レベルのディープフェイク) を導入します。提案された領域認識部分交換合成モデルを採用し、8 つの顔交換手法を使用して 200 万枚を超える部分顔交換画像を生成します。合計で 7 つの顔領域を検討しましたが、その中には 4 つの個別領域 (目、鼻、口、眉) と 4 つの複合顔領域 (目と鼻、目、鼻と口、目、鼻、口、眉、および顔全体) があります。さらに、我々は 3 つの評価プロトコルを定義し、5 つの一般的な標準クロスデータセット評価、DF40、および提案された RLDF にわたって 12 の最先端の検出器をベンチマークし、既存の検出器がどこで、なぜパフォーマンスが低下したかについての包括的な監査を提供します。私たちの評価では、既存の検出器が顔の部分領域にわたって一貫して一般化できず、その結果、領域レベルの評価では AUC が全体で 10.5% 低下し、精度が 10% 低下することが明らかになりました。さらに、領域レベルの操作を効果的に検出できるベースラインアプローチとして、マスクガイド付きクロスアテンションモデルを提案します。提案されたデータセット、コード、チェックポイントは https://github.com/RLDF-Dataset/RLDF で入手できます。

研究の出発点

ほとんどのディープフェイク ベンチマークは顔全体を置換または合成するため、検出器は広範なグローバル アーティファクトを学習できます。最新の編集ツールでは、目、口、鼻、またはその他の小さな領域のみを変更できるため、本物のピクセルが画像の大半を占め、信頼性の高いグローバル分類器の信頼性が大幅に低下します。

手法

このデータセットは、1,000 個のソースとターゲットのビデオ ペアに 8 つの顔交換方法を適用し、顔解析、拡張、およびソフト ブレンディングを使用して、8 つの個別の顔領域または複合顔領域を本物のターゲット フレームに戻します。これにより、ID が切り離されたトレイン、検証、テスト分割を含む 2,048,000 個の偽イメージが生成されます。 CLIP ViT-L/14 ベースラインはパッチ偽造マスクを予測し、それを使用して最終的な本物か偽物の決定の前に相互注意を誘導します。

論文要点

顔の一部だけを改変した画像は、ディープフェイク製品の独立した受入試験に含めるべきです。RLDFは、顔全体の偽造で高得点でも小領域の編集を検出できるとは限らないことを示し、局所的な判断の学習と検証に必要なマスクを提供します。