ALADDIN: состязательная дистилляция латентной диффузии для одношаговой замены идентичности
Авторы и организации
Ivan Shchekotov
Constructor University
Timofei Gritsaev
Constructor University
Viacheslav Pirogov
Sumsub
Dmitry Vetrov
Constructor University
Какую задачу решает
ALADDIN стремится к одношаговой смене идентичности с реализмом на уровне диффузии и контролируемым балансом между передачей исходной идентичности и сохранением целевой позы, выражения лица, волос, освещения, аксессуаров и фона. Он также представляет протокол оценки идентичности, основанный на кодере, независимом от каждого сравниваемого метода.
Ключевой результат
На 1000 парах FFHQ сбалансированный студент сообщает о FID 4,49, сходстве идентичности независимого кодировщика 0,50 и 97,4% извлечении идентичности из топ-1. Вариант, ориентированный на сохранение, достигает FID 3,34 и соответствует показателю идентичности APPLE 0,40, одновременно улучшая ошибку позы с 1,86 до 1,56. Он использует одну оценку сети вместо 28 в APPLE и около 0,115 миллиона обучающих пар вместо 1,28 миллиона.
Аннотация
При замене лица исходная личность переносится на целевое изображение, сохраняя при этом позу, выражение лица, волосы и освещение цели. Наиболее реалистичные современные методы основаны на диффузии, но для каждого изображения требуется множество сетевых оценок. Методы на основе GAN работают быстро, однако, обученные с нуля, они должны научиться реалистичности только на основе сигнала противника и давать заметно более слабые результаты. Мы представляем ALADDIN (состязательная латентная диффузионная дистилляция для одноэтапной замены идентичности), одношаговый механизм замены лиц, полученный путем инициализации генератора из предварительно обученной многоэтапной модели согласования потоков и его состязательного обучения в условиях ограничений идентичности и сохранения цели. Мы выявляем контролируемый компромисс между переносом идентичности и сохранением целевых атрибутов, обучая модель студента с тройным контролем псевдометок. Мы также выявляем предвзятость в стандартном протоколе оценки, который отдает предпочтение методам, обученным с использованием того же кодера идентификации, который использовался для их оценки, и повторно оцениваем все базовые показатели с помощью независимого. ALADDIN является самым современным среди одноэтапных методов с точки зрения реалистичности и сохранения цели при сопоставимой передаче идентичности и соответствует лучшей многоэтапной модели с в 28 раз меньшим количеством сетевых оценок и на порядок меньшим количеством обучающих пар.
Отправная точка исследования
Диффузионная замена граней может быть реалистичной, но требует многих сетевых оценок, в то время как одношаговые системы GAN работают быстро и часто менее достоверно. Оценка также может быть предвзятой, когда метод обучается на том же кодировщике лиц, который позже использовался для оценки сходства его идентичности.
Метод
Генератор инициализируется на основе предварительно обученной многоэтапной модели согласования потоков и обучается состязательно. Его дискриминатор считывает промежуточные признаки из замороженной диффузионной модели, а не из необработанных скрытых, в то время как потери идентичности и сохранения цели ограничивают выходные данные. Второй студент использует контроль тройной псевдометки, чтобы выявить регулируемый вес реконструкции и, следовательно, полезный компромисс между идентичностью и атрибутом.
Вывод по статье
ALADDIN существенно снижает затраты на вывод и обучение для замены высококачественных неподвижных изображений. Его независимая оценка идентичности не менее важна для закупок: положительная оценка может быть частично вызвана использованием совместного использования оценщика во время обучения.