저자 및 소속
Logan Robbins
Independent researcher
해결하는 문제
본 논문은 학생 아키텍처를 추가하는 대신 스왑 모델의 기반이 되는 데이터 팩토리에 초점을 맞춥니다. 합성 쌍에 필요한 아이덴티티 앵커의 수, 배치 위치, 그리고 아이덴티티를 유지할 수 없는 클립을 지도 학습 데이터로 사용하기 전에 어떻게 걸러내야 하는지에 대한 질문을 던집니다.
핵심 결과
본 문서는 연구 제안서이며, 완료된 실증적 연구 결과가 아닙니다. 제안서에서는 드리프트 대 앵커 간격 곡선, 동일 예산에서의 균일 배치 대 적응형 배치, 후속 학생 교육, 텍스처 제거, 그리고 인체 미용 필터 연구를 검증 가능한 테스트로 명시하고 있지만, 아직 측정된 신원, 시간, 스펙트럼 또는 사용자 연구 결과의 향상에 대한 보고는 포함하지 않습니다.
초록
비디오 얼굴 교체에는 자연스러운 쌍을 이루는 감독이 없습니다. 한 사람의 얼굴이 다른 사람의 비디오를 연기하는 실제 영상이 존재하지 않기 때문입니다. 현재 가장 강력한 해결책인 DreamID-V의 SyncID-Pipe는 실제 클립의 정확히 두 프레임(첫 번째와 마지막 프레임)에서 신원을 교체하고 나머지는 포즈 시퀀스만으로 재생성하여 쌍을 생성합니다. 포즈에는 교체된 신원의 외형적 증거가 없으므로 긴 클립, 가림 현상, 극단적인 포즈 변화 시 합성된 신원은 고정되지 않은 상태로 오랫동안 표류하게 됩니다. 앵커 개수나 배치에 대한 연구는 아직 발표되지 않았습니다. 본 논문에서는 적응형 신원 앵커링(AIA)을 제안합니다. (i) 프레임에 대한 조건화가 토큰의 노이즈를 0으로 제한하는 확산 강제 방식 변환기에 적합한 아키텍처를 통해 합성기를 임의의 앵커 세트로 일반화합니다. (ii) 생성된 모든 프레임을 실제 참조 이미지와 비교하여 점수를 매기고, 가장 낮은 점수를 받은 프레임에 얼굴이 바뀐 이미지 앵커를 삽입하는 폐쇄형 피드백 루프를 통해 앵커를 배치합니다. 이 과정은 두 이미지 쌍이 임계값을 넘거나 예산을 소진할 때까지 계속됩니다. (iii) 루프의 결과를 자동 데이터 필터로 재사용합니다. 두 번째 문제점인 과도하게 매끄럽게 처리된 피부의 뷰티 필터 효과 또한 동일한 근본 원인을 가지고 있습니다. 즉, 미세 질감은 이미지 식별과 마찬가지로 파이프라인의 어떤 목표에도 반영되지 않습니다. 따라서 AIA를 실제 참조 텍스처 복원과 결합합니다. 각 실제 프레임의 얼굴이 아닌 영역에서 일치하는 리그레인 처리를 수행하고, 실제 영상에서 하위 식별 미세 질감을 대역 분할 전송하며, 영상 자체의 스펙트럼을 기준으로 하는 두 번째 스펙트럼 수용 채널을 사용합니다. 우리는 아이덴티티 앵커 밀도가 제어 가능한 품질 조절 장치라고 주장하며, 이 제안을 검증하거나 반증할 수 있는 검증 가능한 실험들, 즉 드리프트 대 갭 곡선, 동일한 예산에서의 균일 배치 대 적응 배치, AIA에서 생성한 데이터를 사용한 학생 교육, 그리고 인간 미용 필터 연구를 통한 텍스처 제거 등을 구체적으로 제시합니다.
연구 출발점
비디오 얼굴 교체는 자연스러운 쌍을 이루는 정답 데이터가 부족합니다. 대상 인물이 원본 비디오에 실제로 출연한 적이 없기 때문입니다. 기존의 합성 지도 학습은 경계 프레임만 고정할 수 있어 긴 간격, 측면 움직임, 가려짐 등의 경우 직접적인 외모 증거를 확보할 수 없고, 인물이나 피부 질감이 변할 수 있습니다.
방법
적응형 아이덴티티 앵커링은 확산 강제 비디오 합성기를 임의의 조건부 프레임에 적용할 수 있도록 일반화합니다. 폐쇄 루프는 생성된 모든 프레임을 실제 목표 아이덴티티와 비교하여 점수를 매기고, 가장 품질이 낮은 프레임에 이미지 교환 앵커를 삽입한 후, 임계값 또는 앵커 예산에 도달할 때까지 이 과정을 반복합니다. 현실 참조 텍스처 복원은 실제 영상에서 아이덴티티와 관련 없는 미세 텍스처와 노이즈를 별도로 전송하고, 과도하게 매끄러워진 피부를 줄이기 위해 스펙트럼 수용 테스트를 추가합니다.
논문 요약
AIA는 합성 쌍 비디오 데이터를 구축하는 팀을 위한 설계 체크리스트로 유용합니다. 프레임별 식별자를 모니터링하고, 드리프트가 가장 심한 곳에 앵커를 배치하고, 수렴하지 않는 클립을 제거하고, 텍스처를 별도로 평가하는 등의 작업을 수행할 수 있습니다. 현재 AIA의 가치는 방법론적인 측면에 있으며, 기존 파이프라인보다 AIA를 선택하기 전에 구현 및 벤치마크 검증이 필요합니다.