← 블로그로 돌아가기
연구 레이더딥페이크 탐지arXiv2026년 6월

월간 arXiv 레이더

2026년 6월 딥페이크 탐지 논문: 립싱크 위치화, POI 포렌식, 공정 보정

2026년 6월 딥페이크 탐지는 범용 분류기보다 운영 증거에 집중한다. 입 편집 위치화, 신뢰 reference와의 신원 비교, 인구통계 오류율 보정이 핵심이다.

이번 달이 보여주는 신호

이번 달은 계층형 방어를 시사한다. 작은 조작을 위치화하고, 대상이 알려졌으면 identity reference를 쓰며, 최종 결정을 보정해 오류가 특정 집단에 집중되지 않게 한다.

논문 012026-06-22cs.CV

LoCC: 반사실 프레임 일관성을 통한 립싱크 딥페이크 탐지와 위치화

arXivPDF

저자 및 소속

Soumyya Kanti Datta

University at Buffalo, State University of New York

Shan Jia

University at Buffalo, State University of New York

Siwei Lyu

University at Buffalo, State University of New York

해결하는 문제

세밀한 위치화 필요를 해결한다. 보안 검토자는 전체 영상 라벨뿐 아니라 어떤 프레임/구간이 가짜인지 알아야 한다.

핵심 결과

저자들은 LAV-DF, AVDF1M, FakeAVCeleb, KODF에서 기존 방법보다 우수하고 압축 수준/데이터셋을 넘어 일반화한다고 보고한다.

초록

LoCC는 각 입 프레임이 시간적 이웃으로부터 재구성된 반사실 프레임과 일관적인지 검사해 립싱크 딥페이크를 탐지한다. diffusion, teacher-student, transformer 집계를 쓴다.

연구 출발점

립싱크 조작은 입 영역만 바뀌고 구간이 짧을 수 있어 전체 영상/음성-영상 탐지기가 국소 불일치를 놓치기 쉽다.

방법

LoCC는 실제 입 프레임으로 diffusion을 학습해 인접 프레임에서 중간 프레임을 예측한다. teacher가 구간 불일치를 배우고 student가 프레임 예측으로 증류하며 transformer가 긴 맥락을 집계한다.

논문 요약

LoCC는 하나의 불투명 점수가 아니라 위치화된 증거를 제공해 포렌식 흐름에 유용하다. 짧거나 부분 편집된 영상에서 특히 적합하다.

논문 022026-06-18cs.CV

CUPID: 해석 가능한 관심 인물 딥페이크 탐지를 위한 UV 텍스처 맵 재구성

arXivPDF

저자 및 소속

Giovanni Affatato

Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano, Milan, Italy

Sara Mandelli

Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano, Milan, Italy

Edoardo Daniele Cannas

Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano, Milan, Italy

Paolo Bestagini

Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano, Milan, Italy

Stefano Tubaro

Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano, Milan, Italy

해결하는 문제

후처리 강건성, 효율적 추론, 어떤 얼굴 영역이 벗어나는지 설명하는 세 실무 한계를 함께 다룬다.

핵심 결과

4개 딥페이크 데이터셋에서 대부분 SOTA, downscaling/compression 강건성 최고, 훨씬 빠른 추론을 보고한다.

초록

CUPID는 query 영상을 같은 신원의 깨끗한 reference 영상과 비교하는 POI 탐지기다. 3D 얼굴 재구성의 UV texture map과 masked autoencoder로 신원 비교와 residual map 해석을 가능하게 한다.

연구 출발점

공인과 임원은 표적 딥페이크에 노출되고 조사자는 실제 reference 영상을 가진 경우가 많다. POI 탐지는 이 신원 증거를 직접 활용한다.

방법

학습에는 여러 주체의 실제 영상만 쓰고 fake나 target POI는 쓰지 않는다. 추론 시 UV embedding을 POI reference와 비교하고 residual map으로 의심 영역을 표시한다.

논문 요약

CUPID는 판정과 해석 가능한 얼굴 residual을 함께 제공해 기업/공공 검증에 매력적이다. 중요한 주장에 대한 인간 검토와 설명, 후처리로 열화된 영상 대응에 유용하다.

논문 032026-06-03cs.LG

보정되고 공정하며 정확한 딥페이크 탐지를 향하여

arXivPDF

저자 및 소속

Ryan Brown

University of Oxford

Chris Russell

University of Oxford

해결하는 문제

많은 공정성 방법이 인구통계 속성, 모델 재학습, 정확도 희생을 요구하는 배포 마찰을 다룬다.

핵심 결과

in-domain 및 cross-dataset 테스트에서 FPR/TPR gap을 줄이고 최소 그룹 정확도를 높이며 전체 정확도를 유지하거나 개선하고 overhead는 작다.

초록

이 논문은 딥페이크 탐지기 편향 완화를 위한 plug-in 후처리 프레임워크 Face-Fairness를 제안한다. Face-Feature Tuning은 frozen face embedding 조건의 경량 보정기로 logit을 재매핑하며 인구통계 라벨과 base detector 재학습이 필요 없다.

연구 출발점

딥페이크 탐지 구매자는 전체 정확도뿐 아니라 보정된 점수와 공정한 오류율이 필요하다. 오탐과 미탐이 특정 집단에 집중될 수 있기 때문이다.

방법

프레임워크는 label-free FFT, 그룹 라벨이 있을 때 FF-Max, embedding cluster로 그룹을 찾는 FF-Discover를 포함한다. 모두 detector 뒤에서 동작해 base model을 바꾸지 않는다.

논문 요약

Face-Fairness는 실제 탐지기 구매 방식에 맞는다. base model이 닫혀 있거나 재학습 비용이 높을 수 있다. identity label 없는 후처리 보정기는 거버넌스, 감사, 안전한 배포를 현실적으로 만든다.