Адаптивное закрепление идентичности: размещение ключевых кадров с замкнутым циклом для синтетического парного обучения при замене лиц в видео.
Авторы и организации
Logan Robbins
Independent researcher
Какую задачу решает
В статье основное внимание уделяется фабрике данных, лежащей в основе модели обмена, а не добавлению еще одной архитектуры для учащихся. В ней рассматривается вопрос о том, сколько идентификационных якорей необходимо синтетической паре, где их следует размещать и как следует фильтровать клипы, которые не могут поддерживать идентификацию, прежде чем они станут обучающими.
Ключевой результат
Это исследовательское предложение, а не завершенный эмпирический результат. В нем указаны кривые зависимости дрейфа от зазора между опорными точками, равномерное и адаптивное размещение при одинаковых бюджетах, последующее обучение студентов, удаление текстур и исследование «фильтра красоты человека» в качестве проверяемых тестов, но пока не сообщается о каких-либо измеренных улучшениях в отношении идентичности, времени, спектра или результатов пользовательского исследования.
Аннотация
Замена лиц в видео не имеет естественного парного контроля: не существует реальных видеозаписей, на которых лицо одного человека воспроизводит видео другого человека. Самое эффективное из существующих решений, SyncID-Pipe от DreamID-V, создает пары, заменяя идентификатор ровно в двух кадрах реального клипа — первом и последнем — и восстанавливая остальное только из последовательности поз. Поза не содержит никаких внешних признаков замененного идентификатора, поэтому на протяжении длинных клипов, при частичном перекрытии и экстремальных изменениях позы синтезированный идентификатор имеет большой нефиксированный диапазон, в пределах которого он может изменяться; ни в одном опубликованном исследовании не рассматривается количество или расположение якорей. Мы предлагаем адаптивное закрепление идентификаторов (AIA): (i) обобщить синтезатор на произвольные наборы якорей, что архитектурно естественно для трансформеров с диффузионным принуждением, где обусловливание кадра заключается в фиксации его токенов на нулевом уровне шума; (ii) размещать якоря с помощью замкнутого контура обратной связи, который оценивает каждый сгенерированный кадр по отношению к реальному эталонному изображению и вставляет якорь с изображением, в котором лицо заменено, в кадр с наихудшей оценкой, пока пара не превысит пороговое значение или не исчерпает бюджет; (iii) повторно использовать вердикт контура в качестве автоматического фильтра данных. Вторая патология, эффект «фильтра красоты» в виде чрезмерно сглаженной кожи, имеет ту же первопричину: микротекстура, как и идентичность, не учитывается ни одной из целей конвейера обработки. Поэтому мы объединяем AIA с восстановлением текстуры, привязанной к реальности: согласованное перезернистое изменение из областей, не относящихся к лицу, каждого реального кадра, разделение полос для переноса микротекстуры суб-идентичности из реального видеоматериала и второй, спектральный канал приема, определяемый собственным спектром видеоматериала. Мы утверждаем, что плотность опорных точек является контролируемым параметром качества, и приводим примеры экспериментов, которые можно опровергнуть — кривые зависимости дрейфа от зазора, равномерное и адаптивное размещение при одинаковых бюджетах, обучение студентов на данных, созданных AIA, и анализ текстур с помощью исследования «фильтра красоты человека», — которые могли бы подтвердить или опровергнуть это предположение.
Отправная точка исследования
В видеомонтаже с заменой лиц отсутствует естественная эталонная информация: целевой персонаж фактически никогда не участвовал в съемках исходного видео. Существующие методы синтетического контроля могут привязываться только к граничным кадрам, оставляя большие интервалы, движение профиля и частичное перекрытие без прямых доказательств внешнего вида и позволяя личности или текстуре кожи изменяться.
Метод
Адаптивное привязывание идентичности обобщает видеосинтезатор с диффузионным принуждением на произвольные кадры с заданными параметрами. Замкнутый цикл оценивает каждый сгенерированный кадр по отношению к реальной целевой идентичности, вставляет якорь с заменой изображения в худший кадр и повторяет процесс до достижения порогового значения или бюджета якорей. Восстановление текстур с привязкой к реальности отдельно переносит неидентичную микротекстуру и зернистость из реального видеоматериала и добавляет спектральный тест на приемлемость для уменьшения чрезмерного сглаживания кожи.
Вывод по статье
AIA полезен в качестве контрольного списка для команд, создающих синтетические парные видеоданные: отслеживание идентичности каждого кадра, размещение опорных точек там, где дрейф наиболее выражен, отбрасывание несовпадающих клипов и отдельная оценка текстуры. Его ценность в настоящее время носит методологический характер; прежде чем выбрать его вместо существующего конвейера обработки данных, по-прежнему необходимы данные о реализации и результатах сравнительных тестов.