← Volver al Blog
Radar de investigaciónIntercambio de carasarXivOctubre 2026

Radar mensual arXiv

Octubre de 2026 Documentos sobre intercambio de rostros: un paso, transmisiones en tiempo real e identidad expresiva

Los artículos de octubre sobre intercambio de caras se centran en las limitaciones que importan fuera de una imagen de demostración. ALADDIN aborda el costo de las imágenes fijas y el sesgo de evaluación, StreamingSwap apunta a videos de larga duración y el condicionamiento de referencia de expresión diversa aborda una brecha de identidad que aparece cuando la cara se aleja de la pose de inscripción.

Lo que señala este mes

ALADDIN inicializa un generador adversario de un paso a partir de un modelo de flujo y hace coincidir la línea de base de varios pasos más sólida con una evaluación de red en lugar de 28, al tiempo que expone el sesgo del evaluador de identidad. StreamingSwap reduce la generación a la región frontal y a un contexto de implementación breve, alcanzando 20 FPS en un RTX 4090 y una salida estable de diez minutos. Las referencias de expresión diversa elevan la similitud de identidad de expresión extrema de 60,95 a 74,80 con galerías reales y a 68,36 con galerías sintetizadas. En conjunto, estos estudios mueven la discusión desde la calidad visual aislada hacia el rendimiento, la independencia del evaluador, la estabilidad temporal y la cobertura de inscripción.

Artículo 012026-10-27cs.CV

ALADDIN: Destilación por difusión latente adversaria para el intercambio de identidad en un solo paso

arXivPDF

Autores e instituciones

Ivan Shchekotov

Constructor University

Timofei Gritsaev

Constructor University

Viacheslav Pirogov

Sumsub

Dmitry Vetrov

Constructor University

Qué problema resuelve

ALADDIN busca el intercambio de identidad en un solo paso con realismo a nivel de difusión y un equilibrio controlable entre la transferencia de identidad de origen y la preservación de la pose, expresión, cabello, iluminación, accesorios y fondo del objetivo. También introduce un protocolo de evaluación de identidad basado en un codificador independiente de cada método comparado.

Resultado clave

En 1000 pares de FFHQ, el estudiante equilibrado informa FID 4,49, similitud de identidad con codificador independiente 0,50 y 97,4% de recuperación de identidad top-1. Una variante centrada en la preservación alcanza FID 3,34 y coincide con la puntuación de identidad de 0,40 de APPLE al tiempo que mejora el error de pose de 1,86 a 1,56. Utiliza una evaluación de red en lugar de las 28 de APPLE y aproximadamente 0,115 millones de pares de entrenamiento en lugar de 1,28 millones.

Resumen

El intercambio de rostros transfiere una identidad de origen a una imagen de destino y al mismo tiempo conserva la pose, la expresión, el cabello y la iluminación del objetivo. Los métodos actuales más realistas se basan en la difusión, pero necesitan muchas evaluaciones de red por imagen. Los métodos basados en GAN son rápidos, pero entrenados desde cero deben aprender a ser realistas únicamente con la señal del adversario y producir resultados visiblemente más débiles. Presentamos ALADDIN (Destilación por difusión latente adversaria para intercambio de identidad en un solo paso), un intercambiador de caras de un solo paso obtenido inicializando el generador a partir de un modelo de coincidencia de flujo de varios pasos previamente entrenado y entrenándolo de manera adversaria bajo restricciones de identidad y preservación de objetivos. Exponemos una compensación controlable entre la transferencia de identidad y la preservación del atributo objetivo entrenando un modelo de estudiante con supervisión de pseudoetiqueta triplete. Además, identificamos un sesgo en el protocolo de evaluación estándar, que favorece los métodos entrenados con el mismo codificador de identidad utilizado para calificarlos, y reevaluamos todas las líneas de base con una independiente. ALADDIN es lo último en métodos de un solo paso en realismo y preservación de objetivos en una transferencia de identidad comparable, y coincide con el mejor modelo de varios pasos con 28 veces menos evaluaciones de red y un orden de magnitud menos pares de entrenamiento.

Punto de partida

Los intercambiadores de caras de difusión pueden ser realistas, pero requieren muchas evaluaciones de red, mientras que los sistemas GAN de un solo paso son rápidos y, a menudo, menos fieles. La evaluación también puede estar sesgada cuando un método se entrena con el mismo codificador de rostros que luego se utiliza para calificar su similitud de identidad.

Método

El generador se inicializa a partir de un modelo de coincidencia de flujo de varios pasos previamente entrenado y se entrena de manera adversa. Su discriminador lee características intermedias de un modelo de difusión congelada en lugar de latentes en bruto, mientras que las pérdidas de identidad y preservación del objetivo limitan la salida. Un segundo estudiante utiliza la supervisión de pseudoetiquetas tripletes para exponer un peso de reconstrucción ajustable y, por lo tanto, una compensación útil entre identidad y atributo.

Conclusión del artículo

ALADDIN reduce materialmente el costo de inferencia y entrenamiento del intercambio de imágenes fijas de alta calidad. Su evaluación de identidad independiente es igualmente importante para la contratación: una puntuación favorable puede deberse en parte al compartir el evaluador utilizado durante la formación.

Artículo 022026-10-19cs.CV

Desde clips cortos hasta transmisiones en tiempo real: supervisión consciente de la identidad y generación eficiente del contexto para el intercambio de caras en videos

arXivPDF

Autores e instituciones

Zekai Luo

Zhejiang University

Yuwei Liang

Zhejiang University

Ruiqi Ma

Zhejiang University

Haoyu Huang

Zhejiang University

Xuehao Wang

Zhejiang University

Huanyi Zheng

Zhejiang University

Mingyu Liu

Zhejiang University

Linhao Zhong

Zhejiang University

Chenchen Jing

Zhejiang University of Technology

Yuling Xi

Zhejiang University

Hao Chen

Zhejiang University

Qué problema resuelve

StreamingSwap apunta a intercambios de rostros fieles y en tiempo real durante minutos en lugar de clips cortos sin conexión. Concentra la supervisión en la identidad y elimina el fondo redundante y el cálculo temporal al tiempo que preserva la generación bidireccional dentro de una ventana pequeña.

Resultado clave

El sistema funciona a 20 cuadros por segundo en una NVIDIA RTX 4090 y permanece estable en videos de hasta diez minutos. En evaluaciones cortas y largas, informa una transferencia de identidad competitiva y una calidad visual al tiempo que evita la eliminación de ruido de contexto prolongado y de fotograma completo. El resultado es un hito concreto en el rendimiento, aunque está vinculado a una GPU de escritorio de alta gama y al proceso de región facial seleccionado por el documento.

Resumen

El intercambio de caras de vídeo transfiere la identidad de referencia a un vídeo de destino conservando sus demás atributos y movimiento. A pesar de los avances recientes en los métodos basados en flujos guiados por referencias, lograr conjuntamente una transferencia de identidad fiel, alta fidelidad y generación en tiempo real en transmisiones de video largas sigue siendo un desafío. Para abordar este desafío, repensamos la estructura específica de la tarea del intercambio de caras en video guiado por referencias. En primer lugar, el intercambio de caras sólo cambia la identidad y preserva la mayor parte del contenido visual; sin embargo, la supervisión de coincidencia de flujo es débilmente sensible a estos cambios. Por lo tanto, desarrollamos Joint Rec-ID Loss, que equilibra la supervisión de identidad explícita y la reconstrucción latente según el nivel de ruido. En segundo lugar, el vídeo de destino ya proporciona atributos no editados y dinámica temporal, lo que permite la generación con menos tokens espaciales y contextos temporales más cortos a través de la generación Face-RoI y el entrenamiento de implementación de contexto corto. Al integrar estos diseños, proponemos StreamingSwap, un marco de coincidencia de flujo guiado por referencias para el intercambio de caras de video en tiempo real. También presentamos HumanFaceVid, que comprende 1000 horas de datos de entrenamiento cinematográfico y conjuntos de evaluación de 200 videos cortos y 200 largos. Los experimentos demuestran que nuestro método logra una transferencia de identidad competitiva y una calidad visual a 20 FPS en una sola GPU NVIDIA RTX 4090, con generación estable en videos de hasta 10 minutos de duración. Página web del proyecto: https://aim-uofa.github.io/StreamingSwap/

Punto de partida

El intercambio de caras de vídeo debe preservar la identidad y los atributos del objetivo sin parpadeos, y las transmisiones largas magnifican la deriva y el costo de la memoria. Los modelos de flujo guiados por referencia procesan grandes conjuntos de tokens de fotograma completo y contextos prolongados, aunque solo cambie la identidad del rostro.

Método

Joint Rec-ID Loss combina reconstrucción limpia-latente con supervisión explícita de reconocimiento facial según el nivel de ruido. Face-RoI Generation limita el condicionamiento y la síntesis a tokens faciales, y el Short-Context Rollout Training expone el modelo a su propio historial breve generado para que la inferencia de transmisión no se aparte del entrenamiento. HumanFaceVid agrega 1000 horas de videos de capacitación cinematográfica más 200 clips de evaluación cortos y 200 largos.

Conclusión del artículo

StreamingSwap acerca el intercambio de videos de estilo difusión a la producción en vivo y a los flujos de trabajo de formato largo. Los compradores deberían reproducir la latencia de un extremo a otro con su detector, compositor de recorte, resolución y hardware en lugar de tratar los 20 FPS informados como un número universal.

Artículo 032026-10-08cs.CV

Referencias de expresión diversa para la generación de videos que preservan la identidad

arXivPDF

Autores e instituciones

Tianwen Fu

Institute for Creative Technologies, University of Southern California

Wenbin Teng

Institute for Creative Technologies, University of Southern California

Gonglin Chen

Institute for Creative Technologies, University of Southern California

Junyi Ouyang

Institute for Creative Technologies, University of Southern California

Haolin Xiong

Institute for Creative Technologies, University of Southern California

Yajie Zhao

Institute for Creative Technologies, University of Southern California

Qué problema resuelve

El artículo utiliza galerías de referencias de expresión diversa tanto para condicionar la generación que preserva la identidad como para evaluarla. El objetivo es separar la deriva de identidad genuina del cambio de apariencia inofensivo que depende de la expresión, especialmente en movimientos intensos.

Resultado clave

En 10 sujetos y 48 indicaciones por tema, la similitud de CurricularFace de expresión extrema aumenta de 60,95 para la línea de base más fuerte a 74,80 con galerías reales y 68,36 con galerías sintetizadas. La similitud con una única referencia neutral en fotografías reales tiene una correlación de Spearman de -0,701 con la intensidad de la expresión. El modelo de galería real gana en al menos el 97,9% de los pares de tema-indicador coincidentes en reconocedores y líneas de base.

Resumen

La generación de videos que preservan la identidad tiene como objetivo mantener la identidad de un sujeto mientras sintetiza videos realistas. Sin embargo, un único retrato de referencia captura la apariencia del sujeto bajo una sola configuración facial. A medida que cambian las expresiones, la apariencia facial puede variar de maneras muy específicas de la identidad, dejando la apariencia del sujeto bajo expresiones invisibles subdeterminada sólo por la referencia. Esta variación dependiente de la expresión también complica la evaluación: la similitud con una referencia neutral puede disminuir bajo expresiones fuertes incluso para imágenes reales de la misma persona. Investigamos esta limitación desde la perspectiva tanto de generación como de evaluación. Primero, cuantificamos cómo la similitud del reconocimiento facial varía con la intensidad de la expresión utilizando fotografías controladas y videos MEAD. Luego construimos una galería de referencia compacta pero expresiva que captura diversas configuraciones faciales que dependen de la expresión. La comparación con esta galería proporciona una medida más sólida de similitud de identidad bajo movimiento expresivo. Para exponer aún más la degradación del rendimiento con la intensidad de la expresión, informamos la similitud de identidad por separado para las expresiones leves, intensas y extremas. Para la generación, ampliamos Stand-In para condicionarlo a nuestros conjuntos de referencias de expresión diversa y desarrollamos un proceso de curación de datos que extrae cultivos faciales consistentes pero diversos de los videos de capacitación. En entornos prácticos donde solo hay un retrato disponible, construimos el conjunto de referencia sintetizando expresiones adicionales con un modelo de recreación facial previamente entrenado. En nuestro punto de referencia controlado, los conjuntos de referencia tanto reales como sintetizados superan las líneas de base evaluadas en similitud de identidad en los tres regímenes de intensidad de expresión, con las mayores mejoras para las expresiones extremas.

Punto de partida

Un solo retrato neutro no muestra cómo los ojos, la boca, las mejillas y la piel de una persona se deforman bajo una expresión fuerte. Por lo tanto, puede subespecificar la identidad para la generación de videos y también hacer que la evaluación sea injusta, porque incluso las imágenes reales de la misma persona obtienen puntuaciones más bajas frente a una referencia neutral a medida que aumenta la intensidad de la expresión.

Método

Cada identidad está representada por una galería de una configuración neutra y siete expresivas, y los fotogramas generados se comparan con su galería más cercana incrustándose dentro de bandas de expresión leve, intensa y extrema. Stand-In se amplía con acondicionamiento de múltiples referencias y se entrena con cultivos faciales seleccionados. Cuando sólo hay un retrato disponible, LivePortrait sintetiza las referencias de expresión que faltan, permitiendo que el mismo generador funcione sin una galería real.

Conclusión del artículo

El registro de referencias múltiples puede mejorar tanto la generación como la medición cuando el movimiento expresivo es importante. Las referencias sintéticas son una alternativa útil, pero los equipos deben verificar si los artefactos de recreación sesgan la señal de identidad para su población.