作者与机构
Ivan Shchekotov
Constructor University
Timofei Gritsaev
Constructor University
Viacheslav Pirogov
Sumsub
Dmitry Vetrov
Constructor University
解决了什么问题
ALADDIN寻求具有扩散级真实感的一步式身份交换，以及源身份转移与目标姿势、表情、头发、灯光、配饰和背景保留之间的可控平衡。它还引入了基于独立于每种比较方法的编码器的身份评估协议。
关键结果
在 1,000 个 FFHQ 对上，平衡的学生报告 FID 4.49、独立编码器身份相似度 0.50 和 97.4% 的 top-1 身份检索。以保存为重点的变体达到 FID 3.34，与 APPLE 的 0.40 身份得分相匹配，同时将姿势误差从 1.86 改善到 1.56。它使用一个网络评估而不是 APPLE 的 28 个网络评估，并且使用大约 115 万个训练对而不是 128 万个。
摘要
面部交换将源身份转移到目标图像上，同时保留目标的姿势、表情、头发和灯光。当前最现实的方法是基于扩散的，但它们需要对每个图像进行许多网络评估。基于 GAN 的方法速度很快，但从头开始训练，它们必须仅从对抗信号中学习真实性，并产生明显较弱的结果。我们提出了 ALADDIN（用于一步身份交换的对抗性潜在扩散蒸馏），这是一种一步人脸交换器，通过从预训练的多步流匹配模型初始化生成器并在身份和目标保留约束下对其进行对抗性训练而获得。我们通过三元组伪标签监督训练学生模型，揭示了身份转移和目标属性保存之间的可控权衡。我们还发现标准评估协议中存在偏差，该偏差有利于针对用于评分的相同身份编码器进行训练的方法，并使用独立的基线重新评估所有基线。 ALADDIN 在可比身份转移的现实性和目标保留方面是最先进的一步方法，并且以减少 28 倍的网络评估和减少一个数量级的训练对来匹配最佳的多步模型。
研究出发点
扩散换脸器可以是现实的，但需要许多网络评估，而一步 GAN 系统速度很快，但往往不太忠实。当一种方法针对随后用于对其身份相似性进行评分的相同面部编码器进行训练时，评估也可能存在偏差。
方法概述
生成器由预训练的多步流匹配模型初始化，再进行对抗训练。判别器读取冻结扩散模型的中间特征，而不是直接读取原始潜变量；身份损失与目标属性保持损失共同约束输出。随后使用三元组伪标签监督学生模型，通过调整重建损失权重，控制源身份迁移与目标属性保留之间的取舍。
论文总结
ALADDIN 降低了高质量静态换脸的推理与训练成本。采购评估同样应使用独立的身份评测模型，因为沿用训练时使用的人脸编码器可能使得分偏高。