리서치 레이더딥페이크 탐지얼굴 감식arXiv2026년 7월

월간 arXiv 레이더

2026년 7월 딥페이크 탐지 논문: 재구성 증거, 얼굴 생리학 및 컴팩트 리플레이

7월에 발표된 딥페이크 관련 논문들은 탐지기가 정적인 벤치마크를 벗어난 후 나타나는 세 가지 약점, 즉 설명이 근거 없을 수 있다는 점, 말하는 얼굴 생성기가 아티팩트 분류기를 회피할 수 있다는 점, 그리고 지속적인 업데이트 과정에서 이전 조작 유형을 잊어버릴 수 있다는 점을 다룹니다. 선정된 방법들은 명시적인 재구성 잔차, 생리적 비디오 채널, 그리고 정보 밀도가 높은 재생 버퍼를 도입합니다.

이번 달이 보여주는 신호

LaP-Forensics는 확산 재구성 잔차를 기반으로 위치 파악 및 구조화된 설명을 제공하지만, 자유 형식 텍스트가 사실 검증되었다고 주장하는 것은 지양합니다. rPPG 연구는 분류기와 프로토콜이 고정되어 있더라도 생성기에 따라 말하는 얼굴 탐지 난이도가 크게 달라진다는 것을 보여줍니다. InfoDense는 전체 과거 얼굴 이미지를 저장하지 않고 탐지기를 업데이트하는 운영상의 문제를 해결합니다. 이 세 가지 모두에서 가장 강력한 신호는 보편적인 인공물이 아닙니다. 신뢰성은 상호 보완적인 증거를 결합하고, 평가 프로토콜을 분리하며, 분포가 변화할 때 중요한 단서를 보존하는 데서 비롯됩니다.

논문 012026-07-28cs.CV

LaP-Forensics: 딥페이크 탐지를 위한 잠재 픽셀 일관성 기반 다중 모달 추론

arXiv PDF

저자 및 소속

Can Wang

The Hong Kong Polytechnic University, Hong Kong, China

Yuhao Wang

University College London, United Kingdom

Yushe Cao

Tsinghua University, China

Canran Xiao

Sun Yat-sen University, China

Fei Shen

National University of Singapore, Singapore

해결하는 문제

LaP-Forensics는 명시적인 호환성 참조를 통해 다양한 생성기의 이미지 감지 및 픽셀 수준의 아티팩트 위치 파악 문제를 해결합니다. 이는 구조화된 추론 과정에서 해당 증거를 활용하도록 설계되었으며, 동시에 참조 사용만으로는 자유 형식 설명의 모든 문장을 증명할 수 없다는 점을 인지하도록 합니다.

핵심 결과

UniversalFakeDetect에서 이미지 헤드는 GAN에서 97.23%, Deepfakes에서 71.30%, Diffusion에서 92.18%, CRN에서 98.98%의 정확도를 달성했습니다. 공식 SynthScars 프로토콜을 사용했을 때, 사람 얼굴-인공 흉터 위치 판별은 mIoU 61.40, F1 점수 66.00을 기록했습니다. 제어된 분할에서 잔여 데이터를 제거하면 mIoU는 72.19에서 61.83으로, F1 점수는 63.62에서 41.71로 감소합니다. 잔여 데이터를 0 또는 도너 맵으로 대체하는 것 또한 출력에 상당한 변화를 가져옵니다.

초록

최근의 생성 모델은 시각적 아티팩트가 거의 없는 이미지를 생성할 수 있어 표면적인 외관에만 의존하는 탐지기와 설명의 정확도를 떨어뜨립니다. 본 논문에서는 RGB 의미론에 재구성 기반 포렌식 증거를 추가하는 멀티모달 프레임워크인 LaP-Forensics를 제시합니다. 고정된 안정 확산 DDIM 역재구성 모델은 고정된 재구성 참조를 제공하며, 잔차 맵은 해당 참조와의 국소적 호환성을 측정합니다. 독립적인 프로젝터는 RGB 이미지와 잔차 맵을 인코딩한 후, 구조화된 Where-What-Why 모델을 통해 텍스트 분석과 아티팩트 마스크를 예측합니다. 지도 학습 기반의 미세 조정 후에는 그룹 상대 정책 최적화(GRPO)를 수행하며, 보상은 마스크 중첩과 출력 구조 및 증거 참조 항을 결합합니다. 이러한 텍스트 측 항은 모델이 일관성 맵을 참조하도록 유도하지만, 자유 형식 텍스트의 진실성을 검증하는 역할을 하지는 않습니다. 별도의 이미지 레벨 헤드는 RGB 및 DDIM 잔차 클래스 특징을 융합합니다. 실험 결과, UniversalFakeDetect에서 다양한 생성기 간의 탐지 성능을 보였으며, 공식 SynthScars 벤치마크에서 경쟁력 있는 아티팩트 위치 파악 성능을 보여주었습니다. 제어된 단서 구성, 반전 지평선, 구성 요소, 보상 조건 및 반사실적 분석은 평가된 설정에서 잔여 스트림의 유용성을 뒷받침하는 반면, 사후 처리 하에서의 자유 형식 텍스트 충실도 및 신뢰성은 여전히 해결되지 않은 한계로 남아 있습니다.

연구 출발점

생성된 이미지가 명확한 표면 결함을 잃어버리면 RGB 전용 탐지기나 영상-언어 설명은 확실한 법의학적 증거를 제시하지 않고도 설득력 있게 들릴 수 있습니다. 기업 검토를 위해서는 유용한 시스템이 탐지 점수, 공간 위치 파악, 텍스트 설명을 분리하고 어떤 추가 신호가 결과에 실제로 영향을 미치는지 보여줘야 합니다.

방법

고정된 안정 확산 DDIM 역변환-재구성 프로세스는 입력과 재구성 사이의 잔차 맵을 생성합니다. 별도의 프로젝터가 RGB 의미론적 정보와 잔차 증거를 인코딩하고, 멀티모달 분기는 구조화된 텍스트와 마스크를 생성하며, 별도의 이미지 헤드는 객체 탐지를 위해 클래스 특징을 융합합니다. 지도 학습 기반 미세 조정 후 마스크 중첩, 출력 형식 및 증거 참조에 대한 GRPO 보상이 적용되며, 공식 벤치마크 테스트는 더 작은 규모의 제어된 어블레이션 분할과 별도로 진행됩니다.

논문 요약

재구성 잔차는 유용한 두 번째 포렌식 채널이며 위치 파악 정확도를 상당히 향상시키지만, 보정된 조작 지도나 출처 귀속 신호는 아닙니다. 팀은 탐지, 위치 파악 및 설명의 명확한 분리를 중요하게 여겨야 하며, 생성된 근거를 검토 워크플로에 사용하기 전에 사후 처리의 견고성과 텍스트 충실도를 독립적으로 테스트해야 합니다.

논문 022026-07-23cs.LG

말하는 얼굴 딥페이크 탐지를 위한 법의학적 방법으로서의 생리적 신호

arXiv PDF

저자 및 소속

Othmane Harraq

Temple University, Philadelphia, Pennsylvania, USA

Tamer Aldwairi

Temple University, Philadelphia, Pennsylvania, USA

해결하는 문제

이 논문은 원격 광혈량 측정법이 말하는 얼굴 위조 탐지에 더 유용한 정보를 제공하는지, 그리고 모든 피검자 정보가 훈련 데이터에서 제외되었을 때에도 성능이 신뢰할 만한 수준으로 유지되는지를 질문합니다. 또한, 이러한 차이를 하나의 종합 점수에 포함시키는 대신 7가지 생성 방법에 대한 탐지 난이도를 각각 측정합니다.

핵심 결과

165,000개의 파라미터를 사용하는 1D ResNet은 AUC 0.806 ± 0.003 및 EER 27.8%를 달성했으며, 이는 재현된 사전 rPPG 검출기의 AUC 0.622 및 인용된 범용 Effort 모델의 AUC 0.830과 비교됩니다. 생성기별 AUC는 Real3DPortrait의 0.985에서 IP-LAP의 0.690까지 다양하며, 0.295의 안정적인 편차를 보이는데, 이는 시드 분산보다 훨씬 큽니다.

초록

말하는 얼굴(Talking-face, TF) 딥페이크 생성은 정지된 원본 이미지와 오디오 신호를 이용하여 실사 같은 얼굴 영상을 합성하는 기술로, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조 영상을 만들어냅니다. 얼굴 바꾸기 조작과는 달리, TF 합성은 생리적 특성을 계승할 수 있는 실제 영상이 없기 때문에 원격 광혈량측정(Remote Photoplethysmography, rPPG)은 이러한 위조 영상 유형에 대한 탐지에 있어 매우 적합한 방식입니다. 본 논문에서는 RhythmFormer를 통해 영상별 rPPG 파형을 추출하고, 실제 생리 신호와 합성된 생리 신호를 구별하기 위해 경량 분류기들을 학습시키는 탐지 프레임워크를 제안합니다. 엄격한 피험자 독립 프로토콜(테스트 신원과 훈련 신원이 완전히 분리된 상태) 하에서 Celeb-DF++의 TF 서브셋에 대해 평가한 결과, 본 연구의 1D ResNet은 AUC 0.806 및 EER 27.8%를 달성하여 생리적 채널만을 사용하면서도 기존에 발표된 최고의 범용 얼굴 인식 탐지기(Effort, ICML 2025)와 2.4포인트 이내의 성능을 보였습니다. 또한, 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys에 대한 제어된 재현 연구를 통해 기존 얼굴 교체 데이터에서 AUC 0.999를 달성했던 것이 Celeb-DF++의 TF 서브셋에서는 0.622로 저하됨을 보여주었습니다. 또한, 본 연구에서는 검출 난이도가 방법론에 따라 크게 달라진다는 것을 보여줍니다. 7개의 TF 생성기에서 AUC는 0.985(Real3DPortrait)에서 0.690(IP-LAP)까지 다양하게 나타났으며, 모든 평가 프로토콜에서 순위는 완벽하게 안정적으로 유지되었습니다. 이러한 편차는 평가 과정의 잡음이 아니라 각 생성기의 해석 가능한 생리적 특성을 반영하는 것이며, 이는 본 연구의 주요 이론적 기여입니다.

연구 출발점

말하는 얼굴 생성기는 정지된 얼굴 이미지와 음성을 이용하여 전체 영상을 합성하기 때문에 실제 혈액량 변화를 시간 경과에 따라 정확하게 반영하지 못할 수 있습니다. 기존의 rPPG 검출기는 주로 오래된 얼굴 교체 영상에서 검증되었는데, 이러한 영상에서는 원본 영상의 생리적 특성이 유지될 수 있고, 분할된 얼굴 이미지 간의 신원 정보 유출로 인해 결과가 왜곡될 수 있습니다.

방법

RhythmFormer는 각 얼굴 영상에서 파형을 추출한 후, 경량 1차원 ResNet 및 Transformer 분류기를 사용하여 실제 생리 현상과 합성된 생리 현상을 구분합니다. Celeb-DF++ 말하는 얼굴 데이터셋은 유명인별로 분할되었으며, 18개의 유명인 데이터가 평가에 사용되었습니다. 저자들은 동일한 설정으로 DeepFakesON-Phys를 재현하고 5개의 시드에 대한 종합 분석 및 생성기별 분석을 수행했습니다.

논문 요약

얼굴 생리학은 독립적인 해답이라기보다는 보완적이고 해석 가능한 채널입니다. 이는 매우 적은 매개변수를 가진 더 큰 시각적 탐지기에 근접하지만, 일부 생성기는 유사 주기 신호를 너무 잘 보존하여 우연에 가까운 결과를 도출하기도 합니다. 따라서 제작 시스템은 rPPG를 공간, 주파수 및 시청각적 증거와 융합하고 다양한 신원과 생성기 간에 유효성을 검증해야 합니다.

논문 032026-07-18cs.CV

InfoDense: 메모리 효율적인 점진적 얼굴 위조 탐지를 위한 밀도 인식 영역별 결정적 재생 알고리즘

arXiv PDF

저자 및 소속

Jikang Cheng

Peking University, China

Hao Shen

Huazhong Agricultural University, China

Xueyi Zhang

National University of Singapore, Singapore

Guangcheng Wang

Nantong University, China

Zhongyuan Wang

Wuhan University, China

Renye Yan

Peking University, China

Baojin Huang

Huazhong Agricultural University, China

해결하는 문제

InfoDense는 재생을 정보 밀도 문제로 재구성합니다. 즉, 조작 증거를 담고 있는 밀집된 영역을 유지하고, 이러한 영역 중 다양한 집합을 선택한 다음, 이전 전체 이미지 버퍼와 관련된 도메인 편향을 도입하지 않고 현재 작업 샘플과 결합합니다.

핵심 결과

InfoDense는 기본 프로토콜에서 증분 데이터 세트 전반에 걸쳐 평균 AUC 90.42%를 기록했으며, 성능은 4.52포인트 감소했습니다. 또한 데이터 세트 간 평균 AUC는 90.03%입니다. 논문에서는 저장 공간을 80% 줄이고 동일한 저장 공간에서 재생 다양성을 최대 10배까지 높인 후에도 유사한 성능을 보였다고 보고합니다. 저장된 조각들은 또한 보고된 개인정보 보호 분석에서 신원 검색 재현율을 0.02% 미만으로 감소시킵니다.

초록

얼굴 위조 기술의 급속한 발전으로 조작 수법의 다양성이 증가하고 있습니다. 새로운 위조 데이터를 점진적으로 추가하여 기존 학습 모델을 미세 조정하는 증분형 얼굴 위조 탐지(IFFD)는 진화하는 위조 위협에 대응할 수 있는 유망한 접근 방식으로 부상했습니다. 그러나 기존의 재생 기반 IFFD 방법은 치명적인 망각 문제를 안고 있습니다. 제한된 메모리에 전체 과거 이미지를 저장하는 방식은 미묘한 위조 단서를 보존하지 못하거나 도메인 편향을 유발하여 모델이 내재적이고 전이 가능한 조작 특성을 학습하는 능력을 저하시킵니다. 본 논문에서는 이러한 문제를 해결하기 위해 밀도 인식 영역 결정 재생 전략인 InfoDense를 제안합니다. InfoDense는 위조 흔적이 밀집된 영역과 위조에 중요한 영역을 우선시하여 저장 공간 요구 사항을 크게 줄이면서도 높은 정확도의 위조 증거를 유지합니다. 먼저 CLIP 기반 임베딩을 사용하여 결정적인 영역을 찾는 InfoDense Cut을 소개합니다. InfoDense Select는 잠재 공간 대표성과 결정적인 패치 개수를 결합하여 후보 세그먼트의 순위를 매겨 재생 버퍼의 다양성과 정보 밀도를 모두 확보합니다. 마지막으로 InfoDense Fuse는 저장된 세그먼트와 현재 작업 샘플을 적응적으로 병합하여 편향되지 않은 학습 입력을 재구성함으로써 지식 유지 및 일반화 성능을 향상시킵니다. 까다로운 증분형 딥페이크 벤치마크에 대한 광범위한 실험을 통해 InfoDense가 파괴적 망각을 효과적으로 완화하는 동시에 도메인 간 일반화 성능을 향상시킨다는 것을 입증했습니다.

연구 출발점

딥페이크 탐지기는 새로운 조작 기법이 등장할 때마다 반복적인 업데이트가 필요하지만, 과거의 얼굴 이미지를 모두 재생하는 방식은 메모리를 소모하고 식별 가능한 정보를 그대로 유지하며, 배경이나 중복되는 얼굴 구조에 대부분의 메모리를 낭비할 수 있습니다. 제한된 저장 용량 내에서 탐지기는 이전 작업을 잊지 않으면서 미묘한 위조 단서를 보존해야 합니다.

방법

InfoDense Cut은 CLIP 패치 임베딩과 위조 관련 텍스트를 사용하여 결정적인 영역의 점수를 매깁니다. InfoDense Select는 잠재 공간 대표성과 결정적인 패치의 개수를 기준으로 후보 세그먼트의 순위를 매깁니다. InfoDense Fuse는 저장된 과거 세그먼트와 현재 샘플을 결합하여 학습 입력을 재구성함으로써 동일한 메모리 예산 내에서 표현되는 소스 이미지의 수를 늘립니다. 평가는 점진적인 위조 시퀀스와 별도의 데이터셋 간 테스트를 통해 수행됩니다.

논문 요약

영역 수준 재생은 저장 공간이나 개인 정보 보호 제약 조건 하에서 지속적으로 학습해야 하는 탐지기에 매력적인 방식입니다. 이 방식의 실제 활용 가치는 선택된 패치가 실제 압축, 정책 변경, 그리고 악의적인 사후 처리 후에도 유용한 정보를 유지하는지에 달려 있지만, 전체 과거 얼굴 데이터를 보존하는 것에 대한 구체적인 대안을 제공합니다.