著者・所属
Ivan Shchekotov
Constructor University
Timofei Gritsaev
Constructor University
Viacheslav Pirogov
Sumsub
Dmitry Vetrov
Constructor University
何を解決するか
ALADDIN は、拡散レベルのリアリズムによるワンステップのアイデンティティ交換と、ソースアイデンティティの転送とターゲットのポーズ、表情、髪、照明、アクセサリー、背景の保存との間の制御可能なバランスを追求します。また、比較されるすべての方法から独立したエンコーダに基づく同一性評価プロトコルも導入されています。
主要結果
1,000 個の FFHQ ペアで、バランスの取れた学生は、FID 4.49、独立エンコーダーのアイデンティティ類似性 0.50、および 97.4% のトップ 1 アイデンティティ検索を報告しました。保存を重視したバリアントは FID 3.34 に達し、APPLE のアイデンティティ スコア 0.40 と一致し、ポーズ エラーを 1.86 から 1.56 に改善しました。 APPLE の 28 の代わりに 1 つのネットワーク評価を使用し、128 万ではなく約 115 万のトレーニング ペアを使用します。
要旨
顔の交換では、ターゲットのポーズ、表情、髪、照明を維持しながら、ソースのアイデンティティをターゲット画像に転送します。現在の最も現実的な方法は拡散ベースですが、画像ごとに多くのネットワーク評価が必要です。 GAN ベースの手法は高速ですが、ゼロからトレーニングする必要があり、敵対的な信号のみから現実性を学習し、目に見えて弱い結果を生成する必要があります。我々は、ALADDIN (Adversarial Latent Diffusion Distillation for One-Step Identity Swapping) を紹介します。これは、事前にトレーニングされたマルチステップ フロー マッチング モデルからジェネレーターを初期化し、アイデンティティとターゲット保存制約の下で敵対的にトレーニングすることによって得られるワン ステップの顔スワッパーです。トリプレット擬似ラベル監視を使用してスチューデント モデルをトレーニングすることにより、アイデンティティの転送とターゲット属性の保存の間の制御可能なトレードオフを明らかにします。さらに、スコア付けに使用されたのと同じアイデンティティエンコーダに対してトレーニングされたメソッドを優先する標準評価プロトコルのバイアスを特定し、すべてのベースラインを独立したベースラインで再評価します。 ALADDIN は、同等の ID 転送におけるリアリズムとターゲット保存のワンステップ手法の中でも最先端であり、28 分の 1 のネットワーク評価と桁違いに少ないトレーニング ペアで最良のマルチステップ モデルと一致します。
研究の出発点
拡散面スワッパーは現実的ですが、多くのネットワーク評価が必要ですが、ワンステップ GAN システムは高速ですが、多くの場合忠実度が低くなります。後でアイデンティティの類似性をスコアするために使用される同じ顔エンコーダに対してメソッドがトレーニングされる場合にも、評価にバイアスがかかる可能性があります。
手法
事前学習済みの多段階フローマッチングモデルで生成器を初期化し、敵対的に学習します。識別器は生の潜在表現ではなく、凍結した拡散モデルの中間特徴を参照します。本人性と対象画像の属性を保持する損失で出力を制約し、続く生徒モデルを三つ組の疑似ラベルで学習します。再構成損失の重みを変えることで、本人性の転送と対象属性の保持を調整できます。
論文要点
ALADDINは、高品質な静止画の顔交換に必要な推論・学習コストを削減します。調達評価では独立した本人性評価器も重要です。学習に用いた認識器をそのまま評価に使うと、スコアが有利に偏る可能性があります。