← 블로그로 돌아가기
연구Face SwappingDeep Learning

신경망 Face Swapping의 진화: Deepfakes에서 InsightFace의 One-Shot 혁신까지

소개

Face swapping은 이미지나 영상에서 한 사람의 얼굴을 다른 사람의 얼굴로 교체하는 기술입니다. 과거에는 숙련된 편집자가 오랜 시간을 들여야 했지만, 지금은 AI를 통해 거의 즉시 사실적인 결과를 만들어낼 수 있습니다.

초기 디지털 조작 단계

수작업 기법

신경망 이전의 face swapping은 Photoshop 같은 도구를 사용한 수작업 중심이었습니다. 얼굴을 잘라 붙이고, 자연스럽게 섞고, 색감을 맞추는 과정은 시간이 오래 걸리고 높은 숙련도를 요구했습니다.

3D Morphable Models

초기 자동화 접근은 3D Morphable Models (3DMM)를 활용해 2D 이미지에 3D 얼굴 모델을 맞춘 다음, 재구성 결과 사이에서 텍스처를 옮겼습니다. 수작업보다 자동화 수준은 높았지만, 극단적인 자세와 조명에는 여전히 한계가 있었습니다.

GAN 혁명

Autoencoders와 Deepfakes

Deepfake 열풍은 autoencoder를 face swapping에 적용하면서 시작되었습니다. 핵심 아이디어는 공유 encoder와 개별 decoder를 조합해 정체성별 재구성을 가능하게 하는 것이었습니다.

GAN 기반 방법

Generative Adversarial Networks는 face swapping 품질을 크게 끌어올렸습니다. generator와 discriminator의 경쟁적 학습 구조는 훨씬 더 자연스러운 결과를 만들어냈습니다.

초기 방법의 주요 한계

  • 정체성마다 수백~수천 장의 학습 이미지가 필요함
  • 각 정체성 쌍마다 학습에 수시간에서 수일이 걸림
  • 자세나 표정 차이가 크면 품질이 크게 저하됨
  • 영상에서는 시간적 일관성이 부족함

One-Shot Face Swapping: InsightFace의 돌파구

InSwapper 아키텍처

InsightFace의 InSwapper 모델은 패러다임 전환을 가져왔습니다. 특정 정체성마다 재학습할 필요 없이, ArcFace identity vector를 조건 입력으로 사용하는 StyleGAN2 기반 encoder-decoder 아키텍처를 채택합니다.

1. Identity Extraction: ArcFace가 소스 얼굴에서 compact identity embedding을 추출

2. Attribute Preservation: 대상 얼굴의 자세, 표정, 조명을 유지

3. Feature Fusion: Adaptive Instance Normalization을 통해 identity와 attribute를 융합

4. High-Fidelity Output: decoder가 고해상도 swapped face를 생성

모델 변형

InsightFace는 여러 InSwapper 변형을 제공합니다.

  • inswapper_128: 128×128 출력의 기본 모델
  • inswapper_512: 운영 환경을 위한 512×512 고해상도 모델
  • inswapper_512_live: 실시간 카메라 사용에 최적화된 모델
  • Commercial variants: 품질과 속도를 강화한 엔터프라이즈 모델

One-Shot 능력

InSwapper의 핵심 혁신은 one-shot capability입니다. 단 한 장의 참조 이미지로도 어떤 얼굴이든 교체할 수 있으며, 정체성별 추가 학습이 필요하지 않습니다. 이는 identity와 attribute를 효과적으로 분리해 학습했기 때문에 가능합니다.

실전 사용 예

InsightFace로 face swapping을 구현하는 데 필요한 코드는 많지 않습니다.

import insightface

from insightface.app import FaceAnalysis



app = FaceAnalysis(name='buffalo_l')


app.prepare(ctx_id=0, det_size=(640, 640))



swapper = insightface.model_zoo.get_model('inswapper_128.onnx')



# Get faces from source and target


source_faces = app.get(source_img)


target_faces = app.get(target_img)



# Swap faces


result = swapper.get(target_img, target_faces[0], source_faces[0], paste_back=True)

적용 분야와 라이선스

Face swapping에는 다음과 같은 정당한 활용 사례가 있습니다.

  • 영화 및 TV: 디지털 더블, de-aging, 창의적 시각 효과
  • Gaming 및 VR: 아바타 생성과 캐릭터 커스터마이징
  • 개인정보 보호: 익명화와 신원 보호
  • Entertainment: 소셜 필터와 창작 콘텐츠

InsightFace는 InSwapper 모델에 대한 상업용 라이선스를 제공하며, Picsi.ai는 개인과 기업을 위한 managed face swapping 서비스를 제공합니다.

결론

수작업 이미지 편집에서 실시간 one-shot neural network face swapping으로의 전환은 매우 큰 기술적 도약입니다. InsightFace의 InSwapper 모델은 고품질 face swapping을 더 넓은 범위에서 활용 가능하게 하면서도, 상업 라이선스와 윤리적 가이드라인을 통해 책임 있는 사용을 지원합니다.