연구 레이더얼굴 교환arXiv2026년 10월

월간 arXiv 레이더

2026년 10월 얼굴 교환 논문: 원스텝, 실시간 스트림 및 표현적 정체성

10월의 얼굴 교환 문서는 데모 이미지 외부에 중요한 제약 조건에 중점을 두고 있습니다. ALADDIN은 정지 이미지 비용 및 평가 편향을 다루고, StreamingSwap은 장시간 라이브 비디오를 목표로 하며, 다양한 표정 참조 조건은 얼굴이 등록 포즈에서 멀어질 때 나타나는 정체성 격차를 해결합니다.

이번 달이 보여주는 신호

ALADDIN은 흐름 모델에서 1단계 적대 생성기를 초기화하고 가장 강력한 다단계 기준을 28개가 아닌 1개의 네트워크 평가와 일치시키는 동시에 신원 평가자 편향을 노출합니다. StreamingSwap은 얼굴 영역과 짧은 롤아웃 컨텍스트로 생성 범위를 좁혀 하나의 RTX 4090에서 20FPS에 도달하고 안정적인 10분 출력을 제공합니다. 표현이 다양한 참조는 실제 갤러리의 경우 극단적인 표현 동일성 유사성을 60.95에서 74.80으로, 합성 갤러리의 경우 68.36으로 높입니다. 이러한 연구는 함께 논의를 고립된 시각적 품질에서 처리량, 평가자 독립성, 시간적 안정성 및 등록 범위로 이동시킵니다.

논문 012026-10-27cs.CV

ALADDIN: 1단계 신원 교환을 위한 적대적 잠재 확산 증류

arXiv PDF

저자 및 소속

Ivan Shchekotov

Constructor University

Timofei Gritsaev

Constructor University

Viacheslav Pirogov

Sumsub

Dmitry Vetrov

Constructor University

해결하는 문제

ALADDIN은 확산 수준의 현실감과 소스 아이덴티티 전송과 대상 포즈, 표정, 머리카락, 조명, 액세서리 및 배경의 보존 사이의 제어 가능한 균형을 갖춘 원스텝 아이덴티티 교환을 추구합니다. 또한 비교되는 모든 방법과 독립적인 인코더를 기반으로 하는 신원 평가 프로토콜을 소개합니다.

핵심 결과

1,000개의 FFHQ 쌍에서 균형 잡힌 학생은 FID 4.49, 독립 인코더 신원 유사성 0.50 및 97.4% 상위 1 신원 검색을 보고합니다. 보존 중심 변형은 FID 3.34에 도달하고 APPLE의 식별 점수 0.40과 일치하는 동시에 포즈 오류를 1.86에서 1.56으로 개선합니다. APPLE의 28개 대신 하나의 네트워크 평가를 사용하고 128만 개가 아닌 약 115만 개의 훈련 쌍을 사용합니다.

초록

얼굴 교환은 대상의 포즈, 표정, 머리카락 및 조명을 유지하면서 소스 아이덴티티를 대상 이미지로 전송합니다. 현재 가장 현실적인 방법은 확산 기반이지만 이미지당 많은 네트워크 평가가 필요합니다. GAN 기반 방법은 빠르지만 처음부터 훈련되어 적대적 신호만으로 현실성을 학습하고 눈에 띄게 약한 결과를 생성해야 합니다. 우리는 사전 훈련된 다단계 흐름 일치 모델에서 생성기를 초기화하고 ID 및 목표 보존 제약 조건 하에서 이를 적대적으로 훈련하여 얻은 1단계 얼굴 교환기인 ALADDIN(Adversarial Latent Diffusion Distillation for One-Step Identity Swapping)을 제시합니다. 우리는 삼중 의사 라벨 감독을 통해 학생 모델을 훈련함으로써 신원 이전과 대상 속성 보존 사이의 제어 가능한 균형을 드러냅니다. 우리는 또한 점수를 매기는 데 사용된 동일한 ID 인코더에 대해 훈련된 방법을 선호하는 표준 평가 프로토콜의 편향을 식별하고 모든 기준을 독립적인 기준으로 재평가합니다. ALADDIN은 비슷한 ID 전송에서 현실감과 목표 보존의 1단계 방법 중 최첨단 방법이며, 28배 더 적은 네트워크 평가와 10배 더 적은 훈련 쌍으로 최상의 다단계 모델과 일치합니다.

연구 출발점

확산형 페이스 스와퍼는 현실적일 수 있지만 많은 네트워크 평가가 필요한 반면, 원스텝 GAN 시스템은 빠르고 충실도가 떨어지는 경우가 많습니다. 나중에 신원 유사성을 평가하는 데 사용되는 동일한 얼굴 인코더에 대해 방법을 학습할 때 평가가 편향될 수도 있습니다.

방법

생성기는 사전 훈련된 다단계 흐름 일치 모델에서 초기화되고 적대적으로 훈련됩니다. 판별자는 원시 잠재성이 아닌 동결된 확산 모델에서 중간 기능을 읽는 반면, ID 및 대상 보존 손실은 출력을 제한합니다. 두 번째 학생은 삼중 의사 라벨 감독을 사용하여 조정 가능한 재구성 가중치를 노출하므로 유용한 ID 대 속성 트레이드오프를 제공합니다.

논문 요약

ALADDIN은 고품질 정지 이미지 교환의 추론 및 훈련 비용을 실질적으로 낮춥니다. 독립적인 신원 평가는 조달에도 똑같이 중요합니다. 훈련 중에 사용된 평가자를 공유함으로써 유리한 점수가 부분적으로 발생할 수 있습니다.

논문 022026-10-19cs.CV

짧은 클립부터 실시간 스트림까지: 비디오 얼굴 교환을 위한 신원 인식 감독 및 상황 효율적인 생성

arXiv PDF

저자 및 소속

Zekai Luo

Zhejiang University

Yuwei Liang

Zhejiang University

Ruiqi Ma

Zhejiang University

Haoyu Huang

Zhejiang University

Xuehao Wang

Zhejiang University

Huanyi Zheng

Zhejiang University

Mingyu Liu

Zhejiang University

Linhao Zhong

Zhejiang University

Chenchen Jing

Zhejiang University of Technology

Yuling Xi

Zhejiang University

Hao Chen

Zhejiang University

해결하는 문제

StreamingSwap은 짧은 오프라인 클립이 아닌 몇 분 안에 충실한 실시간 얼굴 교환을 목표로 합니다. ID에 대한 감독을 집중하고 작은 창 내에서 양방향 생성을 유지하면서 중복된 배경과 시간적 계산을 제거합니다.

핵심 결과

이 시스템은 하나의 NVIDIA RTX 4090에서 초당 20프레임으로 실행되며 최대 10분 동안 비디오에서 안정적으로 유지됩니다. 단기 및 장기 평가 전반에 걸쳐 풀프레임, 장기 컨텍스트 노이즈 제거를 피하면서 경쟁력 있는 신원 전송 및 시각적 품질을 보고합니다. 결과는 하이엔드 데스크톱 GPU 및 논문에서 엄선한 얼굴 영역 파이프라인과 연결되어 있지만 구체적인 처리량 이정표입니다.

초록

비디오 얼굴 교환은 다른 속성과 모션을 유지하면서 참조 ID를 대상 비디오로 전송합니다. 참조 기반 흐름 기반 방법의 최근 발전에도 불구하고 긴 비디오 스트림에 대한 충실한 신원 전송, 높은 충실도 및 실시간 생성을 공동으로 달성하는 것은 여전히 어려운 일입니다. 이 문제를 해결하기 위해 우리는 참조 안내 비디오 얼굴 교환의 작업별 구조를 다시 생각합니다. 첫째, 얼굴 교환은 대부분의 시각적 콘텐츠를 보존하면서 신원만 변경하지만 흐름 일치 감독은 이러한 변경에 약하게 민감합니다. 따라서 우리는 소음 수준에 따라 명시적인 신원 감독과 잠재 재구성의 균형을 맞추는 Joint Rec-ID Loss를 개발했습니다. 둘째, 대상 비디오는 이미 편집되지 않은 속성과 시간적 역학을 제공하므로 Face-RoI 생성 및 Short-Context Rollout Training을 통해 더 적은 공간 토큰과 더 짧은 시간적 컨텍스트로 생성이 가능합니다. 이러한 설계를 통합하여 실시간 스트리밍 비디오 얼굴 교환을 위한 참조 기반 흐름 일치 프레임워크인 StreamingSwap을 제안합니다. 또한 1,000시간 분량의 영화 훈련 데이터와 200개의 단편 비디오와 200개의 긴 비디오로 구성된 평가 세트로 구성된 HumanFaceVid를 소개합니다. 실험은 우리의 방법이 단일 NVIDIA RTX 4090 GPU에서 20FPS로 경쟁력 있는 ID 전송 및 시각적 품질을 달성하고 최대 10분 길이의 비디오에 대해 안정적인 생성을 달성한다는 것을 보여줍니다. 프로젝트 웹페이지: https://aim-uofa.github.io/StreamingSwap/

연구 출발점

비디오 얼굴 교환은 깜박임 없이 ID와 대상 속성을 보존해야 하며, 긴 스트림은 드리프트와 메모리 비용을 확대합니다. 참조 기반 흐름 모델은 얼굴 신원만 변경되더라도 대규모 풀프레임 토큰 세트와 긴 컨텍스트를 처리합니다.

방법

Joint Rec-ID Loss는 소음 수준에 따른 명시적인 얼굴 인식 감독과 깨끗한 잠재 재구성을 혼합합니다. Face-RoI Generation은 얼굴 토큰에 대한 컨디셔닝 및 합성을 제한하고, Short-Context Rollout Training은 모델을 짧은 생성 내역에 노출하므로 스트리밍 추론이 훈련에서 벗어나지 않습니다. HumanFaceVid에는 1,000시간의 영화 교육 비디오와 200개의 짧은 평가 클립, 200개의 긴 평가 클립이 추가됩니다.

논문 요약

StreamingSwap은 확산 스타일 비디오 교환을 라이브 프로덕션 및 장편 워크플로에 더 가깝게 이동합니다. 구매자는 보고된 20FPS를 보편적인 수치로 취급하기보다는 탐지기, 크롭 합성기, 해상도 및 하드웨어를 사용하여 종단 간 대기 시간을 재현해야 합니다.

논문 032026-10-08cs.CV