2026년 9월 얼굴 교체 논문: 조명 조화, 참조 주의, 실시간 더빙

해결하는 문제

이 논문은 기증자의 색상과 신원은 허용 가능하지만 형태 그림자가 없는 좁은 경우를 대상으로 합니다. 픽셀을 밝게 하거나 색도를 변경하거나 새로운 얼굴을 합성하지 않고 근사 얼굴 기하학에서 코, 안와, 입술 및 공동 그림자를 주입하는 방법을 묻습니다.

핵심 결과

논문에서 알려진 조명 조건 하에 분석적 얼굴 높이 필드(face heightfield)에서, 기본 설정은 얼굴 픽셀의 56.5%를 수정하고, 전체적으로 평균 게인은 0.938이며 수정된 픽셀에서는 0.890이고, 3.4%의 픽셀을 0.82 바닥값으로 보냅니다. 밝게 된 픽셀은 없으며 부동 소수점 노이즈를 넘어서는 수학적 색상 각도 변화도 없습니다. 이러한 수치는 지각 품질보다는 제한된 연산자를 특징짓는 것이며, 논문에서는 실제 합성 쌍 벤치마크나 기준 비교를 제공하지 않습니다. 하이라이트를 추가하거나 이미 어두운 도너를 보정하고, 반대쪽 소스 조명을 제거하거나 이중 그림자 잔여 도너 음영을 피할 수 없습니다.

해결하는 문제

RefGAP은 재학습 없이, 모델마다 별도의 보정 강도를 전면적으로 설정하지 않고도 다양한 이미지 및 비디오 편집기 전반에서 참조 정체성 충실도를 향상시키는 것을 목표로 합니다. 이는 편집 마스크 내부에서 참조 사용을 강하게 하고, 유지되어야 하는 영역에서는 이를 억제하는 것을 명시적으로 균형 있게 수행합니다.

핵심 결과

1,040개의 HeadSwapBench 클립에서 일곱 개 범용 편집기 모두 정체성 유사성이 향상되었고, 정의된 경우 교체 성공률은 최소 86%에 도달합니다; 전체 머리 유사성 또한 일곱 개 모두에서 증가합니다. 1,000개의 FaceForensics 얼굴 스왑 쌍에서 각 편집기 전반에 걸쳐 정체성 유사성이 향상되었으며, 교체 및 올바른 검색률은 각각 최소 82%와 75%입니다. 전문화된 DirectSwap 모델에 적용하면 정체성 유사성이 0.7019에서 0.7450으로 상승하고 전체 프레임 LPIPS는 거의 변하지 않습니다. 이러한 향상은 여러 시스템에서 주요 점 오류가 증가하고 비편집 유지가 혼합되는 결과를 가져옵니다; 배경 교체는 안정적으로 전송되지 않습니다. 통합되지 않은 주의 구현은 또한 상당한 메모리 또는 지연을 추가할 수 있으므로 통합 품질이 중요합니다.

해결하는 문제

TBDub는 기존의 비디오 확산 더빙 스택을 제작 영상에 맞게 적용하며, 투스텝 학생이 교사의 인식된 정체성, 동기화, 시각적 품질을 유지할 수 있는지 묻습니다. 재구성, 오디오 응답, 인간 평가, 그리고 전체 VAE-대 VAE 생성 경로를 평가하며, 단지 소음 제거 속도만 인용하는 것이 아닙니다.

핵심 결과

38개의 TalkVid 클립에서 교사는 X-Dub보다 보고된 8가지 재구성, 지각, 동일, 동기화 지표를 모두 향상시켰습니다. 각 방법당 114개의 평가에서 X-Dub의 립싱크, 정체성, 시각 품질 MOS 값 3.57, 2.83, 2.88이 교사의 경우 3.71, 3.78, 3.78로 상승했습니다. 학생은 3.85, 3.72, 3.80 점수를 받아 정체성을 유지하면서 립싱크와 시각적 품질을 선도합니다. 한 H20에서 512 x 512 시 학생은 7.13 유효 FPS에 도달한 반면 교사는 0.51에 비해 13.93배 속도 향상; DiT 단계만 해도 42.49배 더 빠릅니다. 벤치마크는 작고, 여러 전처리 및 인코딩 단계를 제외하며, 매우 낮은 해상도의 입력은 여전히 실패 사례로 남아 있습니다.