← 블로그로 돌아가기
연구 레이더딥페이크 감지arXiv2026년 10월

월간 arXiv 레이더

2026년 10월 딥페이크 탐지 논문: 광범위한 포렌식, 긴 영상, 부분 얼굴

10월의 탐지 연구는 위협 모델을 세 가지 방향으로 확장했습니다. Venus-DefakerOne2는 미디어와 공격 형태를 통합하고, AV-FABLE은 시스템에 긴 공개 장면 비디오 내에서 짧은 오디오 및 시각적 편집 내용을 찾도록 요청하고, RLDF는 작은 얼굴 영역만 변경될 때 감지기가 이를 인식하는지 여부를 테스트합니다.

이번 달이 보여주는 신호

Venus-DefakerOne2는 딥페이크 얼굴의 균형 정확도 96.7%, AI 생성 비디오의 96.0%를 포함하여 6개 포렌식 영역에 걸쳐 하나의 모델을 보고합니다. 하지만 규모와 내부 데이터로 인해 독립적인 검증이 필수적입니다. AV-FABLE은 별도의 오디오 및 시각적 타임라인을 갖춘 998시간의 긴 형식의 트윈 비디오를 추가합니다. 제로샷 언어 출력은 거의 우연에 가까운 반면 고정된 기능의 감독된 판독값은 91.30mAP에 도달합니다. RLDF는 스왑을 얼굴 하위 영역으로 제한하면 기존 감지기가 평균 10.5 AUC 포인트 떨어지는 것을 보여줍니다. 공유 조달 교훈은 하나의 총체적 정확성을 받아들이는 대신 위협 범위, 시간적 위치 파악, 양상 속성 및 조작 영역 크기를 테스트하는 것입니다.

논문 012026-10-27cs.CV

Venus-DefakerOne2: 더 넓은 적용 범위를 갖춘 비전 포렌식 기초 모델

arXivPDF

저자 및 소속

Chenfan Qu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yachao Liang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Mingqi Fang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jiangwei Xie

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Zhenming Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Baoyue Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Changjiang Jiang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Zheng Chang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Fanli Jin

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Xuekang Zhu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Kaiwen Feng

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Junchi Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Weihong Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Haoyue Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Chenfeng Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yinan Xia

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Fangming Cui

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yongshuo Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Dong Fan

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jingjing Liu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Tianyi Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Luobin Chen

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Ji-Zhe Zhou

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Sheng Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Wei Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Bin Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Ran He

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Xinpeng Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Linna Zhou

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jian Liu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Weiqiang Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

해결하는 문제

Venus-DefakerOne2는 이미지와 비디오의 디지털 및 물리적 위조에 걸쳐 하나의 바이너리 포렌식 기반 모델을 제공하는 것을 목표로 합니다. 문제는 심각한 망각이나 모든 미디어 유형에 하나의 예측 인터페이스를 강요하지 않고 도메인과 어려운 샘플을 추가하는 것입니다.

핵심 결과

이 논문은 딥페이크 얼굴의 경우 96.7%, AI 생성 이미지의 경우 93.3%, 변조된 문서의 경우 87.6%, 조작된 자연 이미지의 경우 89.6%, 물리적 스푸핑의 경우 93.1%, AI 생성 비디오의 경우 96.0%의 균형 잡힌 정확도를 보고합니다. 강조 표시된 두 개의 광범위한 도메인에서 물리적 위조는 DefakerOne의 60.8%에서 93.1%로, AI 비디오 탐지는 72.5%에서 96.0%로 향상되었습니다.

초록

실제 위조는 본질적으로 이질적입니다. 이는 디지털 조작뿐만 아니라 물리적 스푸핑으로도 나타나며, 이미지뿐만 아니라 비디오를 통해서도 전달됩니다. 상당한 진전에도 불구하고 이러한 광범위한 위협 스펙트럼을 포괄하는 통합된 위조 방지 기반 모델은 여전히 존재하지 않습니다. 본 논문에서는 위조 형식과 미디어 형식 차원 모두에 걸쳐 포렌식 기능 경계를 실질적으로 확장하는 Venus-DefakerOne2를 제시합니다. 수천만 개의 오픈 소스 및 내부 샘플을 통해 교육을 받은 이 제품에는 두 가지 핵심 디자인이 통합되어 있습니다. Tide-Style-Tuning은 LoRA와 전체 매개변수 미세 조정을 번갈아 수행하여 계산 효율성, 일반화 및 하드 샘플 피팅의 균형을 맞추는 동시에 치명적인 망각을 완화합니다. 엔트로피 기반 테스트 적응은 예측 엔트로피를 분석하여 최적의 예측 양식을 결정합니다. Venus-DefakerOne2는 DeepFake 얼굴(96.7%), AI 생성 이미지(93.3%), 변조된 문서(87.6%), 조작된 자연 이미지(89.6%), 물리적 스푸핑(93.1%) 및 AI 생성 비디오(96.0%)를 포함한 포괄적인 벤치마크 제품군에서 새로운 최첨단 성능을 달성했습니다. 이는 전문화된 전문가 모델과 이전 버전인 DefakerOne보다 훨씬 뛰어난 성능을 발휘하여 이진 결정 포렌식 작업을 위한 강력하고 다재다능한 기반 모델로 자리매김했습니다.

연구 출발점

운영 위조 검사에는 딥페이크 얼굴, 생성된 이미지 및 비디오, 편집된 문서, 자연 이미지 변조, 물리적 프리젠테이션 공격이 포함됩니다. 별도의 전문가 모델은 통합 비용을 증가시키고 미디어 및 공격 형태 전반에 걸쳐 일관되지 않은 사각지대를 남길 수 있습니다.

방법

이 모델은 수천만 개의 오픈 소스 및 내부 샘플을 대상으로 학습되었습니다. Tide-Style-Tuning은 매개변수 효율적인 LoRA 단계를 전체 매개변수 미세 조정과 번갈아 사용하여 하드 케이스에 맞추는 동시에 광범위한 일반화를 유지합니다. 엔트로피 기반 테스트 적응은 사용 가능한 예측 방식을 비교하고 불확실성이 낮은 경로를 선택합니다. 추가 구성 요소는 비디오 집계 및 픽셀 수준 현지화를 지원합니다.

논문 요약

광범위한 기초 탐지기는 멀티미디어 검토 스택을 단순화할 수 있지만 헤드라인 평균은 많은 벤치마크에 걸쳐 있으며 내부 교육 데이터를 포함합니다. 기업 평가에는 여전히 공격별 임계값, 보정, 대기 시간, 보이지 않는 생성기 및 캡처 장치에 대한 테스트가 필요합니다.

논문 022026-10-24cs.CV

AV-FABLE: 긴 영상의 오디오·시각 변조 포렌식

arXivPDF

저자 및 소속

Yuesheng Huang

Tsinghua University

Hoi Fan Au

Tsinghua University

Jiaqi Hou

Tsinghua University

Ruicheng Zhang

Tsinghua University

Jiarui He

Tsinghua University

Haocheng Yang

Tsinghua University

Bin Hu

Tsinghua University

Kewei Zhang

Peking University

Weijian Deng

Tsinghua University

Jun Zhou

Tsinghua University

Xiu Li

Tsinghua University

해결하는 문제

AV-FABLE은 오픈 씬, 분 규모 비디오의 희박한 조작을 위해 별도의 오디오 및 시각적 현지화 타임라인을 정의합니다. 도메인 및 소스, 생성기, 경로 및 외부 데이터 세트 이동에서 탐지, 시간 위치 파악, 양상 속성 및 증거 생성을 테스트합니다.

핵심 결과

벤치마크에는 16,650개의 원시 조작 쌍둥이 쌍, 33,300개의 비디오 및 998.1시간이 포함되어 있습니다. 동영상의 중앙값은 88초이고 조작이 9.45%를 차지합니다. 제로샷 시청각 언어 모델은 51-52 AUROC 및 최대 0.30mAP에 도달하지만 선형 프로브는 90.8 오디오 및 80.8 시각적 AUROC를 복구합니다. NFSR은 도메인에서 91.30 시청각 mAP 및 96.04 감지 AUROC에 도달하고 세 가지 배포 외 설정 모두를 주도합니다.

초록

긴 형식 비디오의 현지화된 AI 조작은 실제 콘텐츠 내의 간단한 이벤트에 영향을 미치는 경우가 많아 비디오 수준 분류가 포렌식 분석에 불충분하게 됩니다. 기존 시청각 딥페이크 벤치마크는 주로 짧은 말하는 머리 클립에 중점을 두는 반면, 긴 시간 포렌식은 주로 시각적인 부분을 유지합니다. 오픈씬 장편 시청각 비디오의 희소 조작을 위한 듀얼 타임라인 벤치마크인 AV-FABLE을 소개합니다. AV-FABLE에는 27개의 편집 구성으로 생성된 16,650개의 원본 조작 트윈 쌍(998시간)이 포함되어 있으며, 양식별 시간 위치 파악을 활성화하고 공동 타임라인 평가로 숨겨진 오류를 노출하는 별도의 오디오 및 시각적 타임라인이 있습니다. AV-FABLE에서 AV-LLM(시청각 대형 언어 모델)의 제로샷 프롬프트는 거의 근접한 감지와 열악한 시간적 위치 파악을 제공합니다. 대조적으로, 고정된 인식 기능에 대한 감독된 판독은 강력한 포렌식 신호를 복구하여 조작 증거가 이러한 표현에 인코딩되어 있지만 언어 출력을 통해 효과적으로 노출되지 않음을 시사합니다. 이러한 관찰에 동기를 부여하여 우리는 별도의 오디오 및 시각적 시간 디코더를 사용하여 고정된 AV-LLM 기능을 읽는 NFSR(Native Forensics via Separated Readouts)을 제안합니다. NFSR은 외부 장편 비디오 포렌식 벤치마크에서 보류된 비디오로의 전송을 포함하여 도메인 내 및 배포되지 않은 세 가지 설정 모두에서 최고의 시청각 현지화 성능을 달성합니다. AV-FABLE, 코드 및 모델 가중치가 공개됩니다.

연구 출발점

대부분 진짜인 긴 비디오에서 위조된 몇 초의 시간으로 인해 의미가 바뀔 수 있으며 오디오 및 시각적 편집이 서로 다른 시간에 발생할 수 있습니다. 단일 비디오 레이블이나 공유 타임라인은 조사자에게 어떤 양식이 변경되었는지 알 수 없으며 잘못된 스트림에서 적절한 순간을 찾은 모델에 보상을 줄 수 있습니다.

방법

SEE-Forge는 자연적인 이벤트를 선택하고, 현지화된 편집을 계획하고, 이를 27개의 오디오 또는 시각적 편집 구성 중 하나로 라우팅하고, 이를 컨텍스트에 다시 삽입하고, 조작된 모든 출력을 일치하는 원본 내보내기와 연결합니다. 그런 다음 NFSR은 별도의 시간 디코더를 사용하여 고정된 시청각 언어 모델 기능을 읽고 중간 및 인터페이스 표현을 결합하고 호스트 비디오의 로컬 증거를 조정합니다.

논문 요약

AV-FABLE은 파일에 표시만 하는 대신 변조 구간과 영향을 받은 오디오·영상 트랙을 밝혀야 하는 검토 도구를 평가하는 데 적합합니다. 기반 모델 내부에 유용한 포렌식 단서가 있더라도 제로샷 질의만으로는 안정적으로 얻지 못할 수 있음을 보여 줍니다.

논문 032026-10-15cs.CV

RLDF: 부분 얼굴 변조 탐지를 위한 영역 단위 딥페이크 데이터셋 및 벤치마크

arXivPDF

저자 및 소속

Shukesh Reddy

Machine Intelligence Group, BITS Pilani, Hyderabad Campus

Abhijit Das

Machine Intelligence Group, BITS Pilani, Hyderabad Campus

해결하는 문제

RLDF는 부분 얼굴 스왑을 위한 지역 레이블과 공간적 실측 정보를 제공하고 확립된 감지기가 전체 얼굴 벤치마크에서 전송되는지 여부를 감사합니다. 또한 작은 단조 영역을 평균화하는 대신 학습을 위한 현지화 인식 기준을 제공합니다.

핵심 결과

12개 감지기 전체에 걸쳐 영역 수준 테스트를 수행하면 기존 평가에 비해 평균 10.5% 포인트 AUC 하락과 10포인트 정확도 하락이 발생합니다. FatFormer는 RLDF에서 0.745 AUC로, DFD-FCG는 0.806으로 떨어집니다. 마스크 유도 기준선은 명시적인 공간 감시가 유용한 신호를 복구할 수 있음을 확립하지만 논문에서는 이를 해결된 검출기보다는 시작점으로 배치합니다.

초록

기존 딥페이크 탐지 모델은 완전히 교체되거나 완전히 합성된 얼굴로 변조된 조작된 이미지를 기반으로 구축되었습니다. 이는 우리에게 열린 질문을 던집니다. 변조가 로컬 얼굴 하위 영역에 국한되어 있는 동안 상용 딥페이크 모델이 조작을 효과적으로 탐지할 수 있습니까? 이러한 격차를 메우기 위해 영역 수준 딥페이크 평가를 위한 최초의 데이터 세트인 RLDF(영역 수준 딥페이크)를 도입합니다. 제안된 영역 인식 부분 스왑 합성 모델을 사용하여 8가지 얼굴 스왑 방법을 사용하여 200만 개가 넘는 부분 얼굴 스왑 이미지를 생성합니다. 전체적으로 우리는 7개의 얼굴 영역을 고려했으며 그 중 4개의 개별 영역(눈, 코, 입 및 눈썹)과 4개의 복합 얼굴 영역(눈과 코, 눈, 코 및 입, 눈, 코, 입 및 눈썹, 전체 얼굴)이 있습니다. 또한 우리는 5가지 인기 있는 표준 교차 데이터 세트 평가인 DF40 및 제안된 RLDF 전반에 걸쳐 3가지 평가 프로토콜과 12가지 최첨단 감지기를 벤치마킹하여 기존 감지기의 성능이 저하된 위치와 이유에 대한 포괄적인 감사를 제공합니다. 우리의 평가에 따르면 기존 감지기는 얼굴 부분 영역에 걸쳐 일관되게 일반화하지 못하여 전체 AUC가 10.5% 감소하고 영역 수준 평가에서 정확도가 10% 감소한 것으로 나타났습니다. 또한 영역 수준 조작을 효과적으로 감지할 수 있는 기본 접근 방식으로 마스크 유도 교차 주의 모델을 제안합니다. 제안된 데이터 세트, 코드 및 체크포인트는 https://github.com/RLDF-Dataset/RLDF에서 확인할 수 있습니다.

연구 출발점

대부분의 딥페이크 벤치마크는 얼굴 전체를 대체하거나 합성하므로 감지기가 광범위한 글로벌 아티팩트를 학습할 수 있습니다. 최신 편집 도구는 눈, 입, 코 또는 다른 작은 영역만 변경할 수 있으므로 실제 픽셀이 이미지를 지배하게 되어 자신감 있는 글로벌 분류기의 신뢰성이 훨씬 낮아집니다.

방법

데이터 세트는 1,000개의 소스-타겟 비디오 쌍에 8가지 얼굴 교환 방법을 적용한 다음 얼굴 구문 분석, 확장 및 소프트 블렌딩을 사용하여 8개의 개별 또는 합성 얼굴 영역을 다시 실제 대상 프레임으로 합성합니다. 이는 신원이 분리된 학습, 검증 및 테스트 분할을 통해 2,048,000개의 가짜 이미지를 생성합니다. CLIP ViT-L/14 기준선은 패치 위조 마스크를 예측하고 이를 사용하여 최종 실제 또는 가짜 결정 전에 교차 주의를 안내합니다.

논문 요약

얼굴 부분 조작은 모든 딥페이크 제품에 대해 별도의 승인 테스트를 거쳐야 합니다. RLDF는 강력한 전체 얼굴 점수가 작은 편집 영역에 대한 민감도를 보장하지 않으며 지역화된 결정을 훈련하고 검사하는 데 필요한 마스크를 제공한다는 것을 보여줍니다.