← Voltar ao Blog
Radar de pesquisaTroca de rostoarXivOutubro de 2026

Radar arXiv mensal

Artigos de troca de rosto de outubro de 2026: uma etapa, transmissões em tempo real e identidade expressiva

Os artigos sobre troca de rostos de outubro concentram-se nas restrições que importam fora de uma imagem de demonstração. ALADDIN aborda o custo de imagens estáticas e o viés de avaliação, o StreamingSwap visa vídeos ao vivo de longa duração e o condicionamento de referência com expressão diversificada aborda uma lacuna de identidade que aparece quando o rosto se afasta da pose de inscrição.

O que este mês sinaliza

ALADDIN inicializa um gerador adversário de uma etapa a partir de um modelo de fluxo e combina a linha de base de várias etapas mais forte com uma avaliação de rede em vez de 28, ao mesmo tempo que expõe o viés do avaliador de identidade. StreamingSwap restringe a geração à região facial e um contexto de implementação curto, atingindo 20 FPS em um RTX 4090 e saída estável de dez minutos. Referências diversas de expressões aumentam a similaridade de identidade de expressões extremas de 60,95 para 74,80 com galerias reais e para 68,36 com galerias sintetizadas. Juntos, esses estudos movem a discussão da qualidade visual isolada para o rendimento, independência do avaliador, estabilidade temporal e cobertura de matrículas.

Artigo 012026-10-27cs.CV

ALADDIN: Destilação de Difusão Latente Adversarial para Troca de Identidade em Uma Etapa

arXivPDF

Autores e instituições

Ivan Shchekotov

Constructor University

Timofei Gritsaev

Constructor University

Viacheslav Pirogov

Sumsub

Dmitry Vetrov

Constructor University

Que problema resolve

ALADDIN busca a troca de identidade em uma etapa com realismo em nível de difusão e um equilíbrio controlável entre a transferência de identidade da fonte e a preservação da pose, expressão, cabelo, iluminação, acessórios e fundo do alvo. Também introduz um protocolo de avaliação de identidade baseado em um codificador independente de cada método comparado.

Resultado-chave

Em 1.000 pares FFHQ, o aluno balanceado relata FID 4,49, similaridade de identidade do codificador independente 0,50 e 97,4% de recuperação de identidade top-1. Uma variante focada na preservação atinge FID 3,34 e corresponde à pontuação de identidade de 0,40 da APPLE, ao mesmo tempo que melhora o erro de pose de 1,86 para 1,56. Ele usa uma avaliação de rede em vez dos 28 da APPLE e cerca de 0,115 milhão de pares de treinamento em vez de 1,28 milhão.

Resumo

A troca de rosto transfere uma identidade de origem para uma imagem alvo, preservando a pose, expressão, cabelo e iluminação do alvo. Os métodos atuais mais realistas são baseados em difusão, mas necessitam de muitas avaliações de rede por imagem. Os métodos baseados em GAN são rápidos, mas treinados do zero, eles devem aprender o realismo apenas com o sinal do adversário e produzir resultados visivelmente mais fracos. Apresentamos ALADDIN (Adversarial Latent Diffusion Distillation for One-Step Identity Swapping), um trocador de face de uma etapa obtido inicializando o gerador a partir de um modelo de correspondência de fluxo de várias etapas pré-treinado e treinando-o adversamente sob restrições de preservação de identidade e alvo. Expomos um compromisso controlável entre transferência de identidade e preservação de atributos-alvo, treinando um modelo de aluno com supervisão de pseudo-rótulo triplo. Além disso, identificamos um viés no protocolo de avaliação padrão, que favorece métodos treinados contra o mesmo codificador de identidade usado para pontuá-los e reavalia todas as linhas de base com uma linha de base independente. ALADDIN é o que há de mais moderno entre os métodos de uma etapa em realismo e preservação de alvos com transferência de identidade comparável, e corresponde ao melhor modelo de múltiplas etapas com 28 vezes menos avaliações de rede e uma ordem de magnitude menos pares de treinamento.

Ponto de partida da pesquisa

Os trocadores de face de difusão podem ser realistas, mas exigem muitas avaliações de rede, enquanto os sistemas GAN de uma etapa são rápidos e muitas vezes menos fiéis. A avaliação também pode ser tendenciosa quando um método é treinado no mesmo codificador facial usado posteriormente para avaliar sua similaridade de identidade.

Método

O gerador é inicializado a partir de um modelo de correspondência de fluxo de várias etapas pré-treinado e treinado de forma adversária. Seu discriminador lê características intermediárias de um modelo de difusão congelada em vez de latentes brutos, enquanto perdas de identidade e preservação de alvo restringem a saída. Um segundo aluno usa supervisão de pseudo-rótulo triplo para expor um peso de reconstrução ajustável e, portanto, uma troca útil de identidade versus atributo.

Síntese do artigo

ALADDIN reduz materialmente o custo de inferência e treinamento da troca de imagens estáticas de alta qualidade. A sua avaliação de identidade independente é igualmente importante para a aquisição: uma pontuação favorável pode ser parcialmente causada pela partilha do avaliador utilizado durante a formação.

Artigo 022026-10-19cs.CV

De clipes curtos a transmissões em tempo real: supervisão consciente de identidade e geração eficiente de contexto para troca de rostos de vídeo

arXivPDF

Autores e instituições

Zekai Luo

Zhejiang University

Yuwei Liang

Zhejiang University

Ruiqi Ma

Zhejiang University

Haoyu Huang

Zhejiang University

Xuehao Wang

Zhejiang University

Huanyi Zheng

Zhejiang University

Mingyu Liu

Zhejiang University

Linhao Zhong

Zhejiang University

Chenchen Jing

Zhejiang University of Technology

Yuling Xi

Zhejiang University

Hao Chen

Zhejiang University

Que problema resolve

O StreamingSwap tem como objetivo a troca de rosto fiel e em tempo real durante minutos, em vez de clipes curtos off-line. Ele concentra a supervisão na identidade e remove fundo redundante e computação temporal, preservando a geração bidirecional dentro de uma pequena janela.

Resultado-chave

O sistema funciona a 20 quadros por segundo em uma NVIDIA RTX 4090 e permanece estável em vídeos de até dez minutos. Em avaliações curtas e longas, ele relata a transferência de identidade competitiva e a qualidade visual, evitando a eliminação de ruído de contexto longo e de quadro inteiro. O resultado é um marco concreto de rendimento, embora esteja vinculado a uma GPU de desktop de última geração e ao pipeline de região facial com curadoria do artigo.

Resumo

A troca de face de vídeo transfere a identidade de referência para um vídeo alvo, preservando seus outros atributos e movimento. Apesar do progresso recente em métodos baseados em fluxo guiado por referência, alcançar em conjunto transferência de identidade fiel, alta fidelidade e geração em tempo real em longos fluxos de vídeo continua sendo um desafio. Para enfrentar esse desafio, repensamos a estrutura específica da tarefa de troca de faces de vídeo guiada por referência. Primeiro, a troca de rosto altera apenas a identidade, preservando a maior parte do conteúdo visual, mas a supervisão de correspondência de fluxo é pouco sensível a essas mudanças. Portanto, desenvolvemos o Joint Rec-ID Loss, que equilibra a supervisão de identidade explícita e a reconstrução latente de acordo com o nível de ruído. Em segundo lugar, o vídeo alvo já fornece atributos não editados e dinâmica temporal, permitindo a geração com menos tokens espaciais e contextos temporais mais curtos por meio da geração de RoI facial e do treinamento de implementação de contexto curto. Ao integrar esses designs, propomos o StreamingSwap, uma estrutura de correspondência de fluxo guiada por referência para troca de faces de streaming de vídeo em tempo real. Também apresentamos o HumanFaceVid, que compreende 1.000 horas de dados de treinamento cinematográfico e conjuntos de avaliação de 200 vídeos curtos e 200 vídeos longos. Experimentos demonstram que nosso método alcança transferência de identidade competitiva e qualidade visual a 20 FPS em uma única GPU NVIDIA RTX 4090, com geração estável em vídeos de até 10 minutos de duração. Página do projeto: https://aim-uofa.github.io/StreamingSwap/

Ponto de partida da pesquisa

A troca de rosto de vídeo deve preservar a identidade e os atributos de destino sem oscilações, e fluxos longos aumentam o desvio e o custo de memória. Os modelos de fluxo guiados por referência processam grandes conjuntos de tokens full-frame e contextos longos, mesmo que apenas a identidade facial mude.

Método

Joint Rec-ID Loss combina reconstrução latente limpa com supervisão explícita de reconhecimento facial de acordo com o nível de ruído. A geração Face-RoI limita o condicionamento e a síntese aos tokens faciais, e o Short-Context Rollout Training expõe o modelo ao seu próprio histórico curto gerado para que a inferência de streaming não divirja do treinamento. HumanFaceVid adiciona 1.000 horas de vídeo de treinamento cinematográfico, além de 200 clipes de avaliação curtos e 200 longos.

Síntese do artigo

StreamingSwap aproxima a troca de vídeo no estilo difusão da produção ao vivo e fluxos de trabalho longos. Os compradores devem reproduzir a latência ponta a ponta com seu detector, compositor de corte, resolução e hardware, em vez de tratar os 20 FPS relatados como um número universal.

Artigo 032026-10-08cs.CV

Referências de Expressão Diversas para Geração de Vídeo com Preservação de Identidade

arXivPDF

Autores e instituições

Tianwen Fu

Institute for Creative Technologies, University of Southern California

Wenbin Teng

Institute for Creative Technologies, University of Southern California

Gonglin Chen

Institute for Creative Technologies, University of Southern California

Junyi Ouyang

Institute for Creative Technologies, University of Southern California

Haolin Xiong

Institute for Creative Technologies, University of Southern California

Yajie Zhao

Institute for Creative Technologies, University of Southern California

Que problema resolve

O artigo usa galerias de referência com diversas expressões tanto para condicionar a geração de preservação de identidade quanto para avaliá-la. O objetivo é separar a mudança genuína de identidade da mudança inofensiva de aparência dependente da expressão, especialmente em movimentos intensos.

Resultado-chave

Em 10 assuntos e 48 prompts por assunto, a similaridade CurricularFace de expressão extrema aumenta de 60,95 para a linha de base mais forte para 74,80 com galerias reais e 68,36 com galerias sintetizadas. A semelhança com uma única referência neutra em fotografias reais tem uma correlação de Spearman de -0,701 com a intensidade da expressão. O modelo de galeria real vence em pelo menos 97,9% dos pares de assunto-prompt correspondentes entre reconhecedores e linhas de base.

Resumo

A geração de vídeos com preservação de identidade visa manter a identidade de um sujeito enquanto sintetiza vídeos realistas. No entanto, um único retrato de referência captura a aparência do sujeito sob apenas uma configuração facial. À medida que as expressões mudam, a aparência facial pode variar de maneiras altamente específicas à identidade, deixando a aparência do sujeito sob expressões invisíveis subdeterminadas apenas pela referência. Esta variação dependente da expressão também complica a avaliação: a similaridade com uma referência neutra pode diminuir sob expressões fortes, mesmo para imagens reais da mesma pessoa. Investigamos essa limitação tanto da perspectiva de geração quanto de avaliação. Primeiro, quantificamos como a similaridade de reconhecimento facial varia com a intensidade da expressão usando fotografias controladas e vídeos MEAD. Em seguida, construímos uma galeria de referência compacta, porém expressiva, que captura diversas configurações faciais dependentes de expressão. A comparação com esta galeria fornece uma medida mais robusta de similaridade de identidade sob movimento expressivo. Para expor ainda mais a degradação do desempenho com a intensidade da expressão, relatamos a similaridade de identidade separadamente para expressões leves, intensas e extremas. Para geração, estendemos o Stand-In para condicionar nossos conjuntos de referência com diversas expressões e desenvolvemos um pipeline de curadoria de dados que extrai recortes faciais consistentes, porém diversos, de vídeos de treinamento. Em ambientes práticos onde apenas um único retrato está disponível, construímos o conjunto de referência sintetizando expressões adicionais com um modelo de reconstituição facial pré-treinado. Em nosso benchmark controlado, os conjuntos de referência reais e sintetizados superam as linhas de base avaliadas em similaridade de identidade em todos os três regimes de intensidade de expressão, com as maiores melhorias para expressões extremas.

Ponto de partida da pesquisa

Um único retrato neutro não mostra como os olhos, a boca, as bochechas e a pele de uma pessoa se deformam sob uma expressão forte. Pode, portanto, subespecificar a identidade para a geração de vídeo e também tornar a avaliação injusta, porque mesmo imagens reais da mesma pessoa têm uma pontuação mais baixa em relação a uma referência neutra à medida que a intensidade da expressão aumenta.

Método

Cada identidade é representada por uma galeria de uma configuração neutra e sete configurações expressivas, e os quadros gerados são pontuados em relação à galeria mais próxima, inserida em faixas de expressão suaves, intensas e extremas. Stand-In é estendido com condicionamento multi-referência e treinado com cortes faciais selecionados. Quando apenas um retrato está disponível, o LivePortrait sintetiza as referências de expressão ausentes, permitindo que o mesmo gerador opere sem uma galeria real.

Síntese do artigo

O registro de múltiplas referências pode melhorar a geração e a medição quando o movimento expressivo é importante. As referências sintéticas são uma alternativa útil, mas as equipas devem verificar se os artefactos de reconstituição distorcem o sinal de identidade da sua população.