← 블로그로 돌아가기
리서치 레이더딥페이크 탐지비디오 포렌식arXiv2026년 8월

월간 arXiv 레이더

2026년 8월 딥페이크 탐지 논문: 이미지-비디오 전이, 다중 에이전트 포렌식, 공정성

8월 논문들은 딥페이크 탐지를 단일 AUC 번호가 아닌 배포 시스템으로 다룬다. 한 연구는 이미지 감지기가 프레임 튜닝과 학습된 집계를 통해 전용 비디오 모델보다 더 뛰어난 성능을 낼 수 있음을 보여주고; 또 다른 연구는 텍스처, 조명, 움직임, 물리 분석을 에이전트 간 분리한다; 세 번째 연구는 공간 내 인구통계학적 지름길을 목표로 하며 잔여 특징을 미세 조정한다.

이번 달이 보여주는 신호

FakeI2V-Bench는 비디오 프레임 튜닝과 통계적 집계가 성숙한 이미지 검출기를 더 강력하고 때로는 가벼운 비디오 시스템으로 바꿀 수 있음을 발견했으나, 드문 편집은 여전히 어렵습니다. FaceVid-Forensics-100K는 네 명의 독립적인 법의학 요원과 심사위원을 사용하여 보이지 않는 생성기 탐지를 향상시키고 설명을 반환합니다. FairReL은 일반화와 공정성이 별개의 목표임을 보여줍니다: 검출기는 전반적으로 잘 전달되면서도 소수 하위 집단에 거짓 양성을 집중시킬 수 있습니다. 따라서 신뢰할 수 있는 생산 평가는 생성기 다양성, 시간적 희소성 검사, 검토 가능한 증거, 고정 임계값 하위 그룹 지표가 필요합니다.

논문 012026-08-04cs.CR

FakeI2V-Bench: 이미지 수준 딥페이크 감지기의 딥페이크 비디오 탐지에 대한 적용 가능성 벤치마킹

저자 및 소속

Pei Li

School of Cyber Science and Technology, Shandong University, Qingdao, China

Sihan Chen

School of Cyber Science and Technology, Shandong University, Qingdao, China

Delong Ran

Institute for Network Sciences and Cyberspace, BNRist, Tsinghua University, Beijing, China

Tianshuo Cong

School of Cryptologic Science and Engineering, Shandong University, Jinan, China

해결하는 문제

FakeI2V-Bench는 이미지 및 비디오 수준의 감지를 통합적으로 테스트하고, 프레임 점수를 비디오 결정으로 전환하는 재사용 가능한 브릿지를 도입합니다. 이 브리지는 클립의 20%만 조작될 때 정확도, 교차 생성기 동작, 지연 시간, 모델 크기, 성능을 정량화합니다.

핵심 결과

최상의 순수 집계 결과, 가장 강력한 이미지 검출기는 80.16% AUC에 도달하며, 이미 최고 비디오 모델 FTCN(79.99%)을 근소하게 앞서고 있습니다. IV-브리지 이후 12개 이미지 검출기 중 11개가 FTCN을 앞섰습니다; RINE-IV는 93.80% AUC, 97.63% AP로 선두를 달리고, 434만 파라미터 Patch-IV는 89.26% AUC, 96.12% AP를 기록합니다. 14개의 생성기를 통틀어 향상된 이미지 모델은 평균 95.51% AUC, 최고 비디오 검출기는 91.01%에 비해 높은 수준입니다. 다만 Sora는 72.76% 평균 AUC로 여전히 어렵습니다. 20%만 위조된 프레임으로 모든 모델이 드랍되고 Patch-IV가 77.15% AUC로 선두를 달리고 있습니다.

초록

최근 비디오 생성 모델의 발전으로 딥페이크 위협이 크게 강화되었지만, 현재의 딥페이크 비디오 감지 벤치마크는 여전히 미흡하게 개발되어 있습니다. 특히 비디오 영역에서 이미지 수준 감지기의 효과는 체계적으로 평가되지 않았습니다. 이 공백을 메우기 위해, 우리는 최신 비디오 레벨 딥페이크 감지기를 어려운 시나리오에서 평가하기 위한 벤치마크인 FakeI2V-Bench를 제시하며, 특히 영상 수준 딥페이크 감지기의 비디오 영역 성능 체계적 평가에 중점을 둡니다. FakeI2V-Bench는 최신 강력한 세대 모델에서 생성된 콘텐츠를 포함하고 더 넓은 범주를 포괄하는 97,548개의 동영상으로 구성되어 있습니다. 이 데이터셋을 사용하여 8개의 비디오 수준 감지기와 12개의 대표적인 이미지 수준 감지기를 체계적으로 평가합니다. 실험 결과, 가장 성능이 우수한 이미지 수준 검출기는 80.16% AUC를 달성하며, 가장 강력한 비디오 수준 검출기(79.99% AUC)보다 약간 더 우수합니다. 벤치마킹을 넘어, 영상 수준 딥페이크 검출기의 비디오 적용성을 높이는 일반 프레임워크인 IV-Bridge를 소개합니다. IV-Bridge는 통계적 특징을 가진 무작위 포레스트 모델을 사용하여 프레임 수준 예측을 집계하여, 11개의 이미지 수준 검출기가 최첨단 비디오 수준 접근법을 능가하도록 하며, 가장 우수한 변형은 93.80% AUC를 달성했습니다. 전반적으로 FakeI2V-Bench는 딥페이크 비디오 탐지에 대한 엄격한 벤치마크를 설정하고, 이미지 수준 검출기를 비디오 영역으로 확장하는 새로운 경로를 제시하여 향후 연구에 새로운 통찰과 방향을 제시합니다. 코드와 데이터는 https://github.com/CryptoAILab/FakeI2V-Bench 에서 이용 가능합니다.

연구 출발점

이미지 딥페이크 검출기는 성숙한 학습 파이프라인의 혜택을 누리지만, 비디오 벤치마크는 보통 비디오별 아키텍처만 비교하고 단순한 평균화를 적용하는 프레임 모델을 적용합니다. 이로 인해 팀은 시간 네트워크가 필요한지, 최근 비디오 생성기가 순위를 어떻게 바꾸는지, 기존 이미지 검출기를 비디오에 경제적으로 적용할 수 있는지를 확신하지 못하게 됩니다. 프레임의 일부만 가짜인 희소 조작은 순진한 집계를 특히 위험하게 만듭니다.

방법

이 벤치마크는 네 개의 얼굴 및 일반 생성 데이터셋에서 97,548개의 비디오를 결합하고, 8개의 비디오 검출기와 12개의 대표적인 이미지 검출기를 평가합니다. 저자들은 먼저 평균, 최대, 최소와 같은 고정 점수 집계를 비교합니다. IV-Bridge는 이후 겹치지 않는 FF 및 GenVideo 프레임에 대해 비디오 프레임 미세 조정을 수행하고, 최대 800개의 트리와 깊이 8의 랜덤 포레스트에 프레임 수준 점수의 통계적 설명자를 제공합니다. 결과는 14세대 모델, 얼굴 및 일반 콘텐츠, 배포 비용, 단기 위조 데이터로 나뉩니다.

논문 요약

기존 이미지 검출기는 실제 비디오 프레임에 맞춰 조정되고 학습된 시간 점수 집계와 결합되면 경쟁력 있는 비디오 서비스가 될 수 있습니다. 브리지는 경량 배포에 매력적이지만, 드문드문 편집은 명확한 실패 모드이며, 가장 높은 정확도 승자는 가장 저렴한 모델이 아닙니다.

논문 022026-08-07cs.CV

일반화 가능한 딥페이크 비디오 탐지를 위한 다중 에이전트 포렌식 추론

저자 및 소속

Xuechao Zou

Beijing Jiaotong University, China

Shun Zhang

Beijing Jiaotong University, China

Kai Li

Tsinghua University, China

Yi Zhou

Beijing Jiaotong University, China

Xinyu Sun

Beijing Jiaotong University, China

Yuhui Chen

Ant Group, China

Zhe Wu

Tsinghua University, China

Congyan Lang

Beijing Jiaotong University, China

Junliang Xing

Tsinghua University, China

해결하는 문제

이 논문은 현재의 설명이 풍부한 벤치마크와 보이지 않는 생성자를 위한 협력적 추론 시스템을 모두 제공합니다. 독립적인 전문가 보고서가 긴 사고 연쇄 프롬프트를 넘어 일반화를 개선하는지, 또는 동일한 프레임을 한 모델에 반복적으로 보여주는지 여부를 테스트합니다.

핵심 결과

도메인 외 테스트에서 비디오 인식 심사를 지원하는 전체 시스템은 69.87% 정확도, 81.82% 리콜, 53.28 F1을 기록합니다. 가장 강력한 폐쇄형 모델인 Gemini 2.5 Pro는 63.78%, 75.29%, 47.45%를 기록하며, 최고 소형 시력 기준선은 64.28% 정확도와 45.20 F1에 도달합니다. 텍스트 전용 심사는 요원 보고서 위에서 67.41% 정확도와 51.01 F1로 여전히 2위를 차지합니다. Joint SFT는 비디오 인식 시스템을 42.29%에서 67.03%로 향상시켰으며, GRPO는 이를 더욱 끌어올렸습니다; 네 명의 법의학 요원을 모두 합치면 두 심사 설정 모두에서 최고의 F1 점수를 얻습니다.

초록

생성형 인공지능을 악의적으로 사용해 매우 현실적인 딥페이크 영상을 만드는 것은 심각한 윤리적 문제를 제기하며 AI 안전에 상당한 도전을 제기합니다. 하지만 기존의 딥페이크 비디오 벤치마크는 최근 합성 방법에 대한 범위가 제한적이며, 신뢰할 수 있는 미세한 텍스트 주석도 일반적으로 부족합니다. 한편, 기존 탐지기와 다중 모달 대형 언어 모델(MLLM)은 단일 모델로 작동하든 단일 분석 관점에 의존하든, 미묘한 위조 인공물을 포착하지 못해 신흥 AI 생성 방법으로의 일반화가 제한됩니다. 이러한 한계를 해결하기 위해, 우리는 FaceVid-Forensics-100K라는 대규모 딥페이크 비디오 데이터셋을 소개합니다. 이 데이터셋은 10만 개의 영상과 얼굴 교환, 얼굴 재연, 전체 얼굴 합성 등 33가지 합성 방법을 아우르는 대규모 데이터셋입니다. 최근 생성기인 Seedance 2.0과 같은 생성기도 포함합니다. 이 데이터셋은 시각적 관찰과 판결 일치 법의학 설명에 대한 세밀한 텍스트 주석을 제공하며, 고급 MLLM(다가운 MLLM)으로 구동되는 다중 모델 집계 및 갈등 해결 파이프라인을 통해 자동으로 합성됩니다. 이 벤치마크를 바탕으로, 우리는 네 명의 전문 도메인 전문가 에이전트를 활용해 질감, 조명, 움직임, 물리학 네 가지 관점에서 위조 단서를 독립적으로 분석하는 다중 에이전트 포렌식 추론 프레임워크를 제안합니다. 그 후 판사 에이전트가 보고서를 조화시켜 최종 예측과 설명을 산출합니다. 도메인 외 테스트 세트에 대한 광범위한 평가 결과, 전적으로 소규모 오픈 소스 MLLM으로 구성되어 있음에도 불구하고, 우리 프레임워크는 폐쇄 소스 GPT 및 Gemini 모델을 포함한 모든 방법을 능가하며, 이 벤치마크에서 보고된 모든 지표에서 1위를 차지하고 있음을 보여줍니다. 프로젝트 페이지는 https://xavierjiezou.github.io/ARGUS/ 에서 이용할 수 있습니다.

연구 출발점

현대 얼굴 영상 생성기는 정체성과 움직임을 충분히 잘 유지하기 때문에 단일 분류기나 범용 MLLM이 미묘하고 생성기별 증거를 놓칠 수 있습니다. 기존 데이터셋은 새로운 합성 시스템에 뒤처져 이진 라벨만 제공해 설명을 훈련하거나 감사하기 어렵습니다. 고위험 검토의 경우, 탐지기는 독립적인 법의학적 차원을 검사하고 상충되는 관찰을 조화시켜야 하며, 근거 없는 평결을 내리지 않아야 합니다.

방법

FaceVid-Forensics-100K에는 Seedance 2.0을 포함한 33가지 얼굴 교환, 재연, 전체 얼굴 합성 기법에서 10만 개의 영상이 수록되어 있습니다. 세밀한 관찰과 판결 일관성 설명이 다중 모델 집계와 갈등 해결을 통해 생성됩니다. 네 명의 소규모 오픈 소스 MLLM 에이전트가 질감, 조명, 움직임, 물리적 일관성을 각각 검사합니다; 판사는 보고서를 받고 선택적으로 영상을 샘플링한 후 평결과 설명을 발표합니다. 에이전트와 판사는 감독 하에 미세 조정과 그룹 상대 정책 최적화를 통해 훈련받으며, 도메인 외 생성기를 평가 대상으로 사용합니다.

논문 요약

법의적 관찰과 평결 형성을 분리하면 감사 가능성과 보이지 않는 생성기 성능 모두가 향상됩니다. 이 아키텍처는 분석가 지원 워크플로우에 매력적이지만, 다중 모델 추론 비용과 자동 생성된 설명 라벨은 생산 도입 전에 더 단순한 탐지기와 인간 검토와 비교해 측정해야 합니다.

논문 032026-08-28cs.CV

FairReL: 공정성 인식 표현 학습을 이용한 딥페이크 탐지

저자 및 소속

Xiaoman Lu

Department of Computer Science, University of Warwick, Coventry, United Kingdom

Jiaqi Li

Department of Computer Science, University of Warwick, Coventry, United Kingdom

Shuntian Zheng

Department of Computer Science, University of Warwick, Coventry, United Kingdom

Huiping Chen

School of Computer Science, University of Birmingham, Birmingham, United Kingdom

Yu Guan

Department of Computer Science, University of Warwick, Coventry, United Kingdom

해결하는 문제

FairReL은 두 가지 하위 그룹 민감 요소인 다중 스케일 공간 주파수와 미세 조정 시 도입된 잔류 표현을 분리하여 각각에 다른 공정성 제어를 적용합니다. 고정된 작동 임계값에서 거짓 양성 격차를 평가하므로, 전체 샘플 수를 적게 거부하는 것으로 개선을 만들 수 없습니다.

핵심 결과

가장 강력한 공정성 중심 기준 모델에 대해, 저자들은 보지 않은 데이터셋 AUC에서 3.9포인트 향상과 하위 그룹 FPR 격차에서 10.2% 감소를 보고합니다. FairReL은 Celeb-DF, DFD, DFDC에서 각각 80.64, 86.13, 66.34의 AUC를 달성했으며, 세 데이터셋 모두에서 가장 낮은 동등 FPR 격차(10.12, 13.55, 38.36)를 기록했습니다. DFDC에서는 그룹 평균 AUC가 67.03이고 최우수 하위 그룹과 최저 하위 그룹 간 AUC 차이는 1.09포인트입니다. 전반적인 AUC에서는 정확도 중심의 GenD에 약간 뒤처지지만, 성능을 더 균등하게 분배하며, 특히 여성과 흑인 하위 그룹에서 두드러집니다.

초록

최근 딥페이크 검출기는 높은 전체 정확도를 달성하지만, 오류는 인구통계학적 하위 집단 간에 고르게 분포되어 있으며, 특정 집단의 실제 얼굴은 더 자주 가짜로 잘못 분류됩니다. 기존의 공정성 인식 검출기는 일반적으로 전체 특징 표현을 정규화하지만, 불공정 예측을 유발하는 특정 구성 요소를 식별하거나 제어하지 않습니다. 이러한 거친 개입은 유용한 위조 단서를 과도하게 억제하고 인구통계학적 구조를 구성 요소별 하위 공간에 남길 수 있습니다. 이를 해결하기 위해 우리는 두 가지 하위 집단 민감 구성 요소를 확인했습니다: 국소적인 얼굴 및 위조 패턴을 인코딩하는 다중 규모 공간 특징과 불공정 훈련 분포에 맞춰 주인공을 적응시키는 미세 조정 유도 잔류 특징입니다. 우리는 전담 인구학적 감독 하에 두 구성 요소를 모두 대상으로 하는 공정성 인식 표현-학습 프레임워크인 FairReL을 제안합니다. FairReL은 SVD 분해된 기초 모델 백본을 사용하여 미세 조정으로 유도된 잔류 표현을 분리하고, 두 가지 상보적 손실을 도입합니다. 그룹-조건부 웨이블릿 탈상관(GCWD)은 공간 웨이블릿 하위 대역 간의 하위 그룹 불균형 구조를 억제하는 반면, Subspace-Localized Mean Alignment(SLMA)는 잔차 표현 내 각 실/가짜 클래스 내 하위 그룹 평균을 정렬합니다. FF, Celeb-DF, DFD, DFDC에 대한 실험은 최첨단 공정성 인식 검출기에 대해 FairReL이 보이지 않는 데이터셋 AUC를 3.9% 개선하고 하위 그룹 FPR 격차를 10.2% 줄인다는 것을 보여줍니다. 코드는 https://github.com/xiaoman89/FairReL 에서 이용 가능합니다.

연구 출발점

검출기는 강력한 전역 AUC를 달성할 수 있으면서도 일부 인구통계학적 하위 집단의 구성원을 거짓으로 고발하는 경우가 훨씬 더 많습니다. 기존의 공정성 손실은 최종 예측이나 전체 임베딩을 정규화하여 지역적 인구통계적 지름길을 유지하거나 유용한 위조 증거를 지울 수 있습니다. 도전 과제는 하위 집단 정보가 탐지기에 들어오는 위치를 목표로 삼아 공정성과 도메인 간 정확성을 모두 유지하는 것입니다.

방법

이 방법은 SVD를 사용하여 CLIP ViT-L/14의 모든 자기 주의 투영을 분해하고, 기초 표현을 유지하면서 랭크 1 잔차를 학습합니다. 그룹-조건부 웨이블릿 분리는 공간 웨이블릿 대역 전반에 걸쳐 부분 그룹 불균형 구조를 별도로 억제합니다. 부분공간 국소화 평균 정렬은 각 실/가짜 클래스 내의 인구통계학적 평균을 적응 잔차 내에서만 정렬하여 무차별적인 전체 특징 평활화를 피합니다. 모델은 FaceForensics에서 훈련하고 Celeb-DF, DFD, DFDC로 전환되며, 6개의 교차성 성별/민족 그룹과 FPR 지표를 90% TPR로 고정한 소스 검증 임계값에서 사용합니다.

논문 요약

딥페이크 평가에서는 집계된 AUC뿐만 아니라 고정 운영 지점에서 하위 그룹의 거짓 양성도 보고해야 합니다. FairReL은 국지적 편향 제거가 경쟁력 있는 교차 도메인 탐지를 유지할 수 있음을 보여주지만, 잔여 DFDC 격차는 여전히 충분히 커서 생산 임계값과 에스컬레이션 경로는 여전히 하위 그룹에 맞춘 검증이 필요합니다.