ALADDIN: Adversarial Latent Diffusion Destillation für einen Identitätsaustausch in einem Schritt
Autoren & Institutionen
Ivan Shchekotov
Constructor University
Timofei Gritsaev
Constructor University
Viacheslav Pirogov
Sumsub
Dmitry Vetrov
Constructor University
Welches Problem es löst
ALADDIN strebt einen einstufigen Identitätsaustausch mit Realismus auf Diffusionsebene und einem kontrollierbaren Gleichgewicht zwischen der Übertragung der Quellenidentität und der Beibehaltung von Pose, Ausdruck, Haaren, Beleuchtung, Accessoires und Hintergrund des Ziels an. Außerdem wird ein Identitätsbewertungsprotokoll eingeführt, das auf einem Encoder basiert, der von jeder verglichenen Methode unabhängig ist.
Zentrales Ergebnis
Bei 1.000 FFHQ-Paaren meldet der ausgeglichene Student einen FID von 4,49, eine Identitätsähnlichkeit unabhängiger Encoder von 0,50 und einen Top-1-Identitätsabruf von 97,4 %. Eine konservierungsorientierte Variante erreicht FID 3,34 und entspricht dem Identitätswert von APPLE von 0,40, während der Pose-Fehler von 1,86 auf 1,56 verbessert wird. Es verwendet eine Netzwerkauswertung anstelle der 28 von APPLE und etwa 0,115 Millionen Trainingspaare anstelle von 1,28 Millionen.
Abstract
Durch den Gesichtsaustausch wird die Identität einer Quelle auf ein Zielbild übertragen, während die Pose, der Ausdruck, die Haare und die Beleuchtung des Ziels erhalten bleiben. Die realistischsten aktuellen Methoden sind diffusionsbasiert, erfordern jedoch viele Netzwerkauswertungen pro Bild. GAN-basierte Methoden sind schnell, müssen jedoch von Grund auf trainiert werden, indem sie den Realismus allein durch das gegnerische Signal erlernen und sichtbar schwächere Ergebnisse liefern. Wir präsentieren ALADDIN (Adversarial Latent Diffusion Distillation for One-Step Identity Swapping), einen einstufigen Face-Swapper, der durch die Initialisierung des Generators aus einem vorab trainierten mehrstufigen Flow-Matching-Modell und das kontradiktorische Training unter Identitäts- und Zielerhaltungsbeschränkungen erhalten wird. Wir legen einen kontrollierbaren Kompromiss zwischen Identitätsübertragung und Erhaltung von Zielattributen offen, indem wir ein Studentenmodell mit Triplett-Pseudo-Label-Überwachung trainieren. Darüber hinaus identifizieren wir eine Verzerrung im Standardauswertungsprotokoll, die Methoden bevorzugt, die mit demselben Identitätsencoder trainiert werden, mit dem sie bewertet wurden, und evaluieren alle Basislinien mit einem unabhängigen Encoder neu. ALADDIN ist unter den einstufigen Methoden hinsichtlich Realismus und Zielerhaltung bei vergleichbarer Identitätsübertragung auf dem neuesten Stand und entspricht dem besten mehrstufigen Modell mit 28-mal weniger Netzwerkauswertungen und einer Größenordnung weniger Trainingspaaren.
Ausgangspunkt der Forschung
Diffusions-Face-Swapper können realistisch sein, erfordern jedoch viele Netzwerkauswertungen, während einstufige GAN-Systeme schnell und oft weniger zuverlässig sind. Die Bewertung kann auch verzerrt sein, wenn eine Methode mit demselben Gesichtsencoder trainiert wird, der später zur Bewertung ihrer Identitätsähnlichkeit verwendet wird.
Methode
Der Generator wird anhand eines vorab trainierten mehrstufigen Flow-Matching-Modells initialisiert und kontradiktorisch trainiert. Sein Diskriminator liest Zwischenmerkmale aus einem eingefrorenen Diffusionsmodell und nicht aus Rohlatenten, während Identitäts- und Zielerhaltungsverluste die Ausgabe einschränken. Ein zweiter Student nutzt die Triplett-Pseudo-Label-Überwachung, um ein anpassbares Rekonstruktionsgewicht und damit einen nützlichen Kompromiss zwischen Identität und Attribut aufzuzeigen.
Einordnung
ALADDIN senkt die Inferenz- und Schulungskosten für den Austausch hochwertiger Standbilder erheblich. Die unabhängige Identitätsbewertung ist für die Beschaffung gleichermaßen wichtig: Eine positive Bewertung kann teilweise durch die Weitergabe des während der Schulung verwendeten Bewerters verursacht werden.