Proxy Avatar trifft auf Low-Rank Caching: Echtzeit-One-Shot-Porträtanimation mit Emotionskontrolle
Autoren & Institutionen
Haijie Yang
Nanjing University of Science and Technology, China
Jindi Bao
Nanjing University of Science and Technology, China
Yixuan Dong
Tsientang Institute for Advanced Study, China
Hongliang Zhang
Nanjing University of Science and Technology, China
Jian Bi
Nanjing University of Science and Technology, China
Hao Tang
Peking University, China
Zhenyu Zhang
Nanjing University, China
Jianjun Qian
Nanjing University of Science and Technology, China
Jian Yang
Nanjing University of Science and Technology, China
Welches Problem es löst
Das Paper trennt wiederverwendbare emotionale Bewegungen, Cross-Identity-Retargeting und Appearance Rendering, sodass ein einzelnes Referenzporträt in Echtzeit aus Audio und Emotionsbeschriftung animiert werden kann. Es entfernt gezielt wiederholte Referenzfeature-Berechnungen, ohne für jede Zielidentität einen Cache neu zu trainieren.
Zentrales Ergebnis
Auf einer RTX 4090 läuft das gesamte System mit 32 FPS. Bei der Selbstrekonstruktion erreicht es 31,24 PSNR, 0,018 LPIPS, 0,883 SSIM und einen Lip-Sync-Wert von 6,314, was die meisten Qualitäts- und Bewegungsmetriken trotz der höheren rohen Bildrate von EmoTag anführt. Beim Cross-Identity-Driving verzeichnet es 29,64 FID, 0,745 Identitätsähnlichkeit, 75,4 % Emotionsgenauigkeit und 6,096 Lippensynchronisation. Die Teilnehmer bevorzugten es wegen emotionaler Ausdruckskraft in 70 % der Vergleiche, Lippensynchronisation in 60 % und visuellen Realismus in 65 %; erweiterte Clips zeigten keine offensichtliche Identitäts- oder Synchronisationsdrift.
Abstract
Audiogesteuerte Porträtanimation hat sich mit diffusionsbasierten generativen Modellen rasant weiterentwickelt, doch die Echtzeit-One-Shot-Generierung mit expressiver Emotionssteuerung bleibt eine Herausforderung. Bestehende Methoden leiden oft unter unzureichenden emotionsbewussten Bewegungspriors und teurer Erscheinungsberechnung während mehrstufiger Denoising. Um diese Probleme zu lösen, schlagen wir Proxy Avatar Meets Low-Rank Caching vor, ein kaskadierendes Framework für Echtzeit-One-Shot-Porträtanimationen. Anstatt das Zielporträt direkt aus Audio zu erzeugen, verwendet unsere Methode einen Gauss-basierten Emotionsproxy-Avatar als wiederverwendbaren Bewegungsgenerator, der einmal auf einer einzigen Identität trainiert wird, um ausdrucksstarke Fahrvideos aus Audio- und Emotionslabels zu erzeugen. Da der Proxy-Avatar nur Bewegung und nicht Zielerscheinung oder Geometrie liefert, extrahiert ein großflächiges One-Shot-Retargeting-Modell die identitätsunabhängige Bewegung aus der Proxy-Performance und passt sie an beliebige Zielporträts an. Um die Inferenzeffizienz zu verbessern, führen wir Zero-Shot-Appearance-Reuse mit Low-Rank-Caching ein, das Referenzmerkmale im initialen Denoising-Schritt speichert und nachfolgende Feature-Variationen mit leichtgewichtigen Low-Rank-Adaptern modelliert. Umfangreiche Experimente zeigen, dass unsere Methode eine stärkere emotionale Ausdruckskraft, bessere Identitätsbewahrende Animationen und deutlich reduzierte Inferenzkosten erreicht, was Echtzeit-One-Shot-Porträtanimationen ermöglicht.
Ausgangspunkt der Forschung
One-shot-sprechende Porträts müssen das Aussehen einer unsichtbaren Person bewahren, Sprache folgen, eine gewünschte Emotion ausdrücken und interaktiv auf verfügbarer Hardware laufen. Diffusionssysteme berechnen während des Denoisings wiederholt fast statische Erscheinungsmerkmale neu, während Emotionskontrollen oft Identität und Bewegung verknüpfen oder für jeden Stil ein Referenzvideo benötigen. Das Ergebnis ist entweder eine expressive, aber langsame Erzeugung oder eine schnelle Animation mit schwacher emotionaler Bandbreite.
Methode
Ein Gauß-basierter Proxy-Avatar wird einmal bei einem Performer trainiert und dient nur als audio- und emotionsbedingter Bewegungsgenerator. Ein groß angelegtes One-Shot-Retargeting-Netzwerk extrahiert identitätsunabhängige Bewegungen aus diesem Proxy-Video und wendet sie auf beliebige Zielporträts an. Während der Diffusion mit wenigen Schritten beziehen sich Zero-Shot-Appearance-Caches auf Features im ersten Schritt, während leichte Low-Rank-Adapter nur deren spätere Varianten modellieren. Diese kaskadierte Arbeitsteilung wird in Selbstrekonstruktion, Cross-Identity-One-Shot-Fahren, Long-Video-Stabilität, Ablationen und einer verblindeten Studie mit zwanzig Teilnehmern bewertet.
Einordnung
Das wiederverwendbare Proxy-plus-Retargeting-Design macht Echtzeit-emotionale Avatare ohne Diffusionstraining pro Benutzer praktisch. Die berichteten 32 FPS auf einer Consumer-RTX 4090 sind vielversprechend, aber die Bereitstellungsgröße sollte das einmalige Proxy-Training und den Qualitäts-/Kosten-Kompromiss des großen Retargeting-Modells einschließen, nicht nur die Steady-State-Bildrate.