← Retour au Blog
Radar de rechercheÉchange de visagearXivoctobre 2026

Radar arXiv mensuel

Documents d'échange de visages d'octobre 2026 : une étape, flux en temps réel et identité expressive

Les articles d'échange de visage d'octobre se concentrent sur les contraintes qui comptent en dehors d'une image de démonstration. ALADDIN s'attaque au coût des images fixes et aux biais d'évaluation, StreamingSwap cible la vidéo longue durée et le conditionnement de références à expressions diverses comble un fossé identitaire qui apparaît lorsque le visage s'éloigne de la pose d'inscription.

Ce que révèle ce mois-ci

ALADDIN initialise un générateur contradictoire en une étape à partir d'un modèle de flux et fait correspondre la ligne de base en plusieurs étapes la plus solide avec une évaluation de réseau au lieu de 28, tout en exposant le biais de l'évaluateur d'identité. StreamingSwap restreint la génération à la région du visage et à un contexte de déploiement court, atteignant 20 FPS sur un RTX 4090 et une sortie stable de dix minutes. Les références à la diversité des expressions font passer la similarité identitaire des expressions extrêmes de 60,95 à 74,80 avec les galeries réelles et à 68,36 avec les galeries synthétisées. Ensemble, ces études font passer le débat de la qualité visuelle isolée au débit, à l'indépendance de l'évaluateur, à la stabilité temporelle et à la couverture des inscriptions.

Article 012026-10-27cs.CV

ALADDIN : distillation adversariale de diffusion latente pour le transfert d’identité en une étape

arXivPDF

Auteurs & institutions

Ivan Shchekotov

Constructor University

Timofei Gritsaev

Constructor University

Viacheslav Pirogov

Sumsub

Dmitry Vetrov

Constructor University

Problème traité

ALADDIN recherche un échange d'identité en une étape avec un réalisme au niveau de la diffusion et un équilibre contrôlable entre le transfert d'identité de la source et la préservation de la pose, de l'expression, des cheveux, de l'éclairage, des accessoires et de l'arrière-plan de la cible. Il introduit également un protocole d'évaluation d'identité basé sur un encodeur indépendant de chaque méthode comparée.

Résultat clé

Sur 1 000 paires FFHQ, l'étudiant équilibré rapporte un FID 4,49, une similarité d'identité avec encodeur indépendant de 0,50 et une récupération d'identité top-1 de 97,4 %. Une variante axée sur la préservation atteint le FID 3,34 et correspond au score d'identité de 0,40 d'APPLE tout en améliorant l'erreur de pose de 1,86 à 1,56. Il utilise une évaluation de réseau au lieu des 28 d'APPLE et environ 0,115 million de paires de formation au lieu de 1,28 million.

Résumé

L'échange de visage transfère une identité source sur une image cible tout en préservant la pose, l'expression, les cheveux et l'éclairage de la cible. Les méthodes actuelles les plus réalistes sont basées sur la diffusion, mais elles nécessitent de nombreuses évaluations de réseau par image. Les méthodes basées sur le GAN sont rapides, mais entraînées à partir de zéro, elles doivent apprendre le réalisme uniquement à partir du signal adverse et produire des résultats visiblement plus faibles. Nous présentons ALADDIN (Adversarial Latent Diffusion Distillation for One-Step Identity Swapping), un échangeur de visage en une étape obtenu en initialisant le générateur à partir d'un modèle de correspondance de flux en plusieurs étapes pré-entraîné et en l'entraînant de manière contradictoire sous des contraintes d'identité et de préservation de la cible. Nous exposons un compromis contrôlable entre le transfert d'identité et la préservation des attributs cibles en formant un modèle d'étudiant avec une supervision de pseudo-étiquette triplet. Nous identifions en outre un biais dans le protocole d'évaluation standard, qui favorise les méthodes entraînées sur le même encodeur d'identité utilisé pour les noter, et réévaluons toutes les lignes de base avec une ligne de base indépendante. ALADDIN est à la pointe de la technologie parmi les méthodes en une étape en matière de réalisme et de préservation de la cible avec un transfert d'identité comparable, et correspond au meilleur modèle en plusieurs étapes avec 28 fois moins d'évaluations de réseau et un ordre de grandeur moins de paires de formation.

Point de départ de la recherche

Les échangeurs de faces de diffusion peuvent être réalistes mais nécessitent de nombreuses évaluations de réseau, tandis que les systèmes GAN en une étape sont rapides et souvent moins fidèles. L'évaluation peut également être biaisée lorsqu'une méthode est entraînée sur le même encodeur de visage utilisé ultérieurement pour évaluer sa similarité d'identité.

Méthode

Le générateur est initialisé à partir d'un modèle de correspondance de flux en plusieurs étapes pré-entraîné et formé de manière contradictoire. Son discriminateur lit les caractéristiques intermédiaires d'un modèle de diffusion figé plutôt que les latents bruts, tandis que les pertes d'identité et de préservation de la cible limitent la sortie. Un deuxième étudiant utilise la supervision de pseudo-étiquettes triplet pour exposer un poids de reconstruction réglable et donc un compromis utile entre identité et attribut.

À retenir

ALADDIN réduit considérablement les coûts d'inférence et de formation liés à l'échange d'images fixes de haute qualité. Son évaluation indépendante de l'identité est également importante pour les achats : un score favorable peut être en partie dû au partage de l'évaluateur utilisé lors de la formation.

Article 022026-10-19cs.CV

Des clips courts aux flux en temps réel : supervision tenant compte de l'identité et génération efficace du contexte pour l'échange de visages vidéo

arXivPDF

Auteurs & institutions

Zekai Luo

Zhejiang University

Yuwei Liang

Zhejiang University

Ruiqi Ma

Zhejiang University

Haoyu Huang

Zhejiang University

Xuehao Wang

Zhejiang University

Huanyi Zheng

Zhejiang University

Mingyu Liu

Zhejiang University

Linhao Zhong

Zhejiang University

Chenchen Jing

Zhejiang University of Technology

Yuling Xi

Zhejiang University

Hao Chen

Zhejiang University

Problème traité

StreamingSwap cible l'échange de visages fidèle et en temps réel sur plusieurs minutes plutôt que de courts clips hors ligne. Il concentre la supervision sur l'identité et supprime les calculs temporels et d'arrière-plan redondants tout en préservant la génération bidirectionnelle dans une petite fenêtre.

Résultat clé

Le système fonctionne à 20 images par seconde sur une NVIDIA RTX 4090 et reste stable sur des vidéos jusqu'à dix minutes. Au cours d'évaluations courtes et longues, il fait état d'un transfert d'identité et d'une qualité visuelle compétitifs tout en évitant le débruitage plein format et à long contexte. Le résultat est une étape concrète en matière de débit, bien qu'il soit lié à un GPU de bureau haut de gamme et au pipeline de régions faciales organisé par le journal.

Résumé

L'échange de visage vidéo transfère l'identité de référence à une vidéo cible tout en préservant ses autres attributs et son mouvement. Malgré les progrès récents dans les méthodes basées sur des flux guidés par référence, parvenir conjointement à un transfert d'identité fidèle, à une haute fidélité et à une génération en temps réel sur de longs flux vidéo reste un défi. Pour relever ce défi, nous repensons la structure spécifique à la tâche de l'échange de visage vidéo guidé par référence. Premièrement, l'échange de visages modifie uniquement l'identité tout en préservant la plupart du contenu visuel, mais la supervision par correspondance de flux est faiblement sensible à ces changements. Nous développons donc Joint Rec-ID Loss, qui équilibre la supervision explicite de l’identité et la reconstruction latente en fonction du niveau de bruit. Deuxièmement, la vidéo cible fournit déjà des attributs non édités et une dynamique temporelle, permettant une génération avec moins de jetons spatiaux et des contextes temporels plus courts grâce à la génération Face-RoI et à la formation au déploiement de contextes courts. En intégrant ces conceptions, nous proposons StreamingSwap, un cadre de correspondance de flux guidé par référence pour l'échange de visages de vidéos en streaming en temps réel. Nous présentons également HumanFaceVid, comprenant 1 000 heures de données de formation cinématographique et des ensembles d'évaluation de 200 vidéos courtes et 200 longues. Les expériences démontrent que notre méthode permet d'obtenir un transfert d'identité et une qualité visuelle compétitifs à 20 FPS sur un seul GPU NVIDIA RTX 4090, avec une génération stable sur des vidéos d'une durée maximale de 10 minutes. Page Web du projet : https://aim-uofa.github.io/StreamingSwap/

Point de départ de la recherche

L'échange de visages vidéo doit préserver l'identité et les attributs de la cible sans scintillement, et les flux longs amplifient la dérive et le coût de la mémoire. Les modèles de flux guidés par référence traitent de grands ensembles de jetons plein format et des contextes longs, même si seule l'identité du visage change.

Méthode

Joint Rec-ID Loss associe une reconstruction latente propre à une supervision explicite par reconnaissance faciale en fonction du niveau de bruit. La génération Face-RoI limite le conditionnement et la synthèse aux jetons faciaux, et la formation au déploiement de contexte court expose le modèle à son propre historique généré court afin que l'inférence en continu ne s'écarte pas de la formation. HumanFaceVid ajoute 1 000 heures de vidéo de formation cinématographique ainsi que 200 clips d'évaluation courts et 200 longs.

À retenir

StreamingSwap rapproche l'échange vidéo de type diffusion de la production en direct et des flux de travail de longue durée. Les acheteurs doivent reproduire la latence de bout en bout avec leur détecteur, leur module de recadrage et de composition, leur résolution et leur matériel plutôt que de traiter les 20 FPS signalés comme un nombre universel.

Article 032026-10-08cs.CV

Références d'expressions diverses pour la génération vidéo préservant l'identité

arXivPDF

Auteurs & institutions

Tianwen Fu

Institute for Creative Technologies, University of Southern California

Wenbin Teng

Institute for Creative Technologies, University of Southern California

Gonglin Chen

Institute for Creative Technologies, University of Southern California

Junyi Ouyang

Institute for Creative Technologies, University of Southern California

Haolin Xiong

Institute for Creative Technologies, University of Southern California

Yajie Zhao

Institute for Creative Technologies, University of Southern California

Problème traité

L’article utilise des galeries de références d’expressions diverses à la fois pour conditionner la génération préservant l’identité et pour l’évaluer. L’objectif est de séparer la véritable dérive identitaire du changement d’apparence inoffensif dépendant de l’expression, en particulier lors d’un mouvement intense.

Résultat clé

Sur 10 sujets et 48 invites par sujet, la similarité CurricularFace avec expression extrême passe de 60,95 pour la ligne de base la plus forte à 74,80 avec des galeries réelles et 68,36 avec des galeries synthétisées. La similarité avec une seule référence neutre dans des photographies réelles a une corrélation de Spearman de -0,701 avec l'intensité de l'expression. Le modèle de galerie réelle gagne sur au moins 97,9 % des paires sujet-invite correspondantes parmi les outils de reconnaissance et les lignes de base.

Résumé

La génération vidéo préservant l'identité vise à maintenir l'identité d'un sujet tout en synthétisant des vidéos réalistes. Pourtant, un seul portrait de référence capture l'apparence du sujet sous une seule configuration faciale. À mesure que les expressions changent, l'apparence du visage peut varier de manière très spécifique à l'identité, laissant l'apparence du sujet sous des expressions invisibles sous-déterminée par la seule référence. Cette variation dépendante de l'expression complique également l'évaluation : la similarité avec une référence neutre peut diminuer sous des expressions fortes, même pour des images réelles de la même personne. Nous étudions cette limitation du point de vue de la génération et de l'évaluation. Premièrement, nous quantifions la manière dont la similarité de la reconnaissance faciale varie en fonction de l'intensité de l'expression à l'aide de photographies contrôlées et de vidéos MEAD. Nous construisons ensuite une galerie de référence compacte mais expressive qui capture diverses configurations faciales dépendant de l'expression. La comparaison avec cette galerie fournit une mesure plus robuste de la similarité identitaire sous un mouvement expressif. Pour exposer davantage la dégradation des performances avec l'intensité de l'expression, nous rapportons la similarité d'identité séparément pour les expressions légères, intenses et extrêmes. Pour la génération, nous étendons Stand-In pour conditionner nos ensembles de référence d'expressions diversifiées et développons un pipeline de curation de données qui extrait des cultures de visage cohérentes mais diversifiées à partir de vidéos de formation. Dans des contextes pratiques où un seul portrait est disponible, nous construisons l'ensemble de référence en synthétisant des expressions supplémentaires avec un modèle de reconstitution faciale pré-entraîné. Sur notre référence contrôlée, les ensembles de références réels et synthétisés surpassent les lignes de base évaluées en termes de similarité d'identité dans les trois régimes d'intensité d'expression, avec les améliorations les plus importantes pour les expressions extrêmes.

Point de départ de la recherche

Un seul portrait neutre ne montre pas comment les yeux, la bouche, les joues et la peau d'une personne se déforment sous une expression forte. Cela peut donc sous-spécifier l’identité pour la génération vidéo et également rendre l’évaluation injuste, car même les images réelles de la même personne obtiennent de moins bons résultats par rapport à une référence neutre à mesure que l’intensité de l’expression augmente.

Méthode

Chaque identité est représentée par une galerie d'une configuration neutre et de sept configurations expressives, et les images générées sont classées par rapport à leur galerie la plus proche, intégrées dans des bandes d'expression douces, intenses et extrêmes. Stand-In est étendu avec un conditionnement multi-références et formé avec des cultures faciales sélectionnées. Lorsqu'un seul portrait est disponible, LivePortrait synthétise les références d'expression manquantes, permettant au même générateur de fonctionner sans véritable galerie.

À retenir

L'inscription multi-références peut améliorer à la fois la génération et la mesure lorsque le mouvement expressif est important. Les références synthétiques constituent une solution de repli utile, mais les équipes doivent vérifier si les artefacts de reconstitution faussent le signal d’identité de leur population.