저자 및 소속
Haijie Yang
Nanjing University of Science and Technology, China
Jindi Bao
Nanjing University of Science and Technology, China
Yixuan Dong
Tsientang Institute for Advanced Study, China
Hongliang Zhang
Nanjing University of Science and Technology, China
Jian Bi
Nanjing University of Science and Technology, China
Hao Tang
Peking University, China
Zhenyu Zhang
Nanjing University, China
Jianjun Qian
Nanjing University of Science and Technology, China
Jian Yang
Nanjing University of Science and Technology, China
해결하는 문제
이 논문은 재사용 가능한 감정 움직임, 교차 정체성 리타겟팅, 외관 렌더링을 분리하여 단일 참조 초상화를 오디오와 감정 라벨로 실시간으로 애니메이션화할 수 있도록 합니다. 각 대상 정체성에 대한 캐시를 재학습하지 않고도 반복적인 참조 특징 계산을 구체적으로 제거합니다.
핵심 결과
RTX 4090에서는 전체 시스템이 32 FPS로 동작합니다. 자가 재구성 시 PSNR 31.24, LPIPS 0.018, SSIM 0.883, 립싱크 점수 6.314를 기록하며, EmoTag의 높은 원시 프레임 레이트에도 불구하고 대부분의 품질 및 모션 지표에서 1위를 차지했습니다. 교차 신원 운전에서는 29.64 FID, 0.745 정체성 유사성, 75.4% 감정 정확도, 6.096 립싱크를 기록했습니다. 참가자들은 감정 표현 70%, 립 싱크가 60%, 시각적 사실성 65%에서 선호했습니다; 확장된 클립에서는 명확한 정체성이나 싱크 드리프트가 없었습니다.
초록
오디오 기반 인물 애니메이션은 확산 기반 생성 모델로 빠르게 발전했지만, 표현적 감정 제어가 가능한 실시간 원샷 생성은 여전히 도전적입니다. 기존 방법들은 감정 인식 동작 사전에 부족하고, 다단계 노이즈 제거 시 비용이 많이 드는 외관 계산이 문제입니다. 이러한 문제를 해결하기 위해 우리는 실시간 원샷 감정 제어 가능한 초상화 애니메이션을 위한 계쇄 프레임워크인 Proxy Avatar Meets Low-Rank Caching을 제안합니다. 우리는 오디오 기반 감정 대리 아바타를 직접 생성하는 대신, 가우시안 기반 감정 대리 아바타를 재사용 가능한 모션 생성기로 사용하며, 단일 정체성에 한 번 학습하여 오디오와 감정 라벨로부터 표현력 있는 주행 영상을 생성합니다. 프록시 아바타는 대상 외형이나 기하학이 아닌 움직임만 제공하기 때문에, 대규모 원샷 리타겟팅 모델은 프록시 성능에서 정체성 독립적 움직임을 추출하여 임의의 대상 초상화에 맞게 조정합니다. 추론 효율을 높이기 위해 우리는 저랭크 캐싱을 통한 제로 샷 외관 재사용(zero-shot appearance reuse)을 도입하는데, 이는 초기 노이즈 제거 단계에서 참조 외관 특징을 캐시하고 경량 저랭크 어댑터를 사용해 이후 특징 변형을 모델링합니다. 광범위한 실험 결과, 이 방법은 더 강한 감정 표현력, 더 나은 정체성 보존 애니메이션, 그리고 추론 비용을 크게 줄여 실시간 원샷 초상화 애니메이션을 가능하게 함을 입증했습니다.
연구 출발점
원샷 토킹 초상화는 보이지 않는 인물의 외모를 보존하고, 대사를 따라가며, 요청된 감정을 표현하고, 사용 가능한 하드웨어에서 인터랙티브하게 실행되어야 합니다. 확산 시스템은 노이즈 제거 과정에서 거의 정적인 외관 특징을 반복적으로 재계산하며, 감정 제어는 종종 정체성과 움직임을 얽히거나 각 스타일에 대한 참조 영상이 필요합니다. 결과적으로 표현력 있지만 느린 생성이거나, 감정 범위가 약한 빠른 애니메이션이 나옵니다.
방법
가우시안 기반 프록시 아바타는 한 명의 연기자에게서 한 번 훈련되며, 오디오 및 감정 조건 동작 생성기로만 사용됩니다. 대규모 원샷 리타게팅 네트워크는 그 프록시 비디오에서 정체성 독립적인 움직임을 추출하여 임의의 대상 초상화에 적용합니다. 적은 단계 확산 동안, 제로 샷 외관 재사용은 첫 단계에서 참조 특징을 캐시하고, 경량 저순위 어댑터는 이후 변형만 모델링합니다. 이러한 연쇄 분담은 자기 재구성, 교차 정체성 원샷 주행, 장기 비디오 안정성, 절제, 그리고 20명의 참가자를 대상으로 한 블라인드 연구에서 평가됩니다.
논문 요약
재사용 가능한 프록시와 리타게이팅 설계는 사용자별 확산 훈련 없이도 실시간 감정 아바타를 실용적으로 만듭니다. 소비자용 RTX 4090에서 보고된 32 FPS는 유망하지만, 배포 규모에는 일회성 프록시 훈련과 대규모 리타겟팅 모델의 품질/비용 균형을 포함해야 하며, 단순한 고정 프레임 속도만이 아닙니다.