Harmonisation géométrique des ombres pour les visages composites : un pipeline de rééclairage multiplicatif préservant l’albédo
Auteurs & institutions
Vijesh KP
Independent researcher (no institutional affiliation stated in the paper)
Problème traité
L’article cible le cas restreint où la couleur et l’identité du donneur sont acceptables mais où il manque des ombres de forme. Il demande comment injecter des ombres de nez, d’alvéole, de lèvres et de cavités à partir d’une géométrie du visage approximative, sans éclaircir les pixels, modifier la chromaticité ou synthétiser un nouveau visage.
Résultat clé
Sur le champ de hauteur analytique du visage avec une lumière connue, le réglage par défaut modifie 56,5 % des pixels de face, donne un gain moyen de 0,938 global et 0,890 sur des pixels modifiés, et envoie 3,4 % des pixels au sol de 0,82. Il garantit zéro pixel éclairci et aucun décalage mathématique de l’angle de teinte au-delà du bruit en virgule flottante. Ces chiffres caractérisent l’opérateur borné plutôt que la qualité perceptuelle : l’article ne fournit aucun benchmark réel composite apparié ni comparaison de base. Il ne peut pas ajouter de surlignes, corriger un donneur déjà sombre, supprimer la lumière source opposée, ni éviter l’ombrage résiduel du donneur à double ombre.
Résumé
Les pipelines d’échange de visages et de composition de visages produisent régulièrement un visage géométriquement bien aligné mais photométriquement peu plausible : le visage donneur porte une lumière plate et proche du frontal tandis que le corps hôte et l’arrière-plan transportent la lumière directionnelle de la scène. La plupart des remèdes existants resynthétisent le visage par transfert de couleur, relighting neuronal ou rendu inverse, risquant ainsi de modifier l’identité, le ton de peau et la texture. Nous présentons une alternative conservatrice : l’injection d’ombre de forme géométrique. Le pipeline ne repeint jamais le visage. Il estime un champ de gain par pixel $g\in[g_{\min},1]$ d’un proxy facial 3D rasterisé et le multiplie uniformément sur RGB linéaire, de sorte que l’opérateur ne peut que s’assombrir et ne peut pas déplacer la chromaticité. Un maillage dense de repère est rastérisé en un tampon de profondeur, d’où l’on dérive des normales de surface, un terme cavité et des ombres projetées en espace écran. La direction de la lumière principale est estimée à partir des indices côté hôte (corps, arrière-plan, halo capillaire) ; les indices sur le visage sont réduits car ils récupèrent l’éclairage du donneur. La magnitude de l’ombre n’est pas adaptée à l’hôte : elle est fixée par un transfert à trois paramètres $(τ,σ,g_{\min})$. Le champ d’ombrage est divisé par son 75e percentile sur la peau, puis grillé, échelle, clampé, lissé et re-cliqué à l’intérieur d’un masque facial à plumes et à contrôle de peau. Sur un champ de hauteur facial analytique, le taux par défaut $(τ,σ,g_{\min})=(0,90,45,82)$ modifie 56,5 % des pixels faciaux avec un gain moyen de 0,938 (0,890 sur les pixels modifiés) et pousse 3,4 % des pixels vers le plancher. L’invariance de teinte est un corollaire de l’opérateur. Nous analysons le transfert sous forme fermée, ablâchons ses paramètres et discutons des modes de défaillance d’une formulation monotone à foncement uniquement, incluant le double-shadowing des donneurs non plats.
Point de départ de la recherche
Un visage échangé peut être aligné géométriquement et identité, tout en restant collé car le donneur porte une lumière plate de studio tandis que la scène hôte a une clé directionnelle. La réillumination générative peut réparer davantage d’effets, mais elle peut aussi modifier le teint de peau, les pores, la texture ou l’identité après que le visage ait déjà été approuvé. Les équipes de production ont parfois besoin d’un opérateur délibérément limité dont le pire changement photométrique est connu.
Méthode
Un détecteur de visages et un maillage à 468 points produisent un tampon de profondeur rastérisé, des normales de surface, un proxy de cavité et un espace d’écran projettent des ombres dans un recadrage de 512 pixels. Les indices côté hôte du corps, de l’arrière-plan, du cou et du halo de cheveux votent pour la direction de la lumière principale tandis que les indices du visage donneur sont réduits. La carte d’ombrage normalisée passe par un seuil de trois paramètres, un transfert de force et de gain minimum, puis un lissage guidé et un masque de peau en plume. Le même gain scalaire est multiplié en tous les canaux RVB linéaires et découpé dans une plage de 0,82 à 1,0.
À retenir
C’est un contrôle post-compositing conservateur avec une limite de dégâts compréhensible, et non un système complet de réillumination. Il est attrayant lorsque la préservation de l’identité prime sur le réalisme dramatique, à condition que les plans réels soient examinés pour détecter une mauvaise direction de la lumière et des doubles ombres.