Armonización de sombras impulsada por geometría para caras compuestas: una tubería de reiluminación multiplicativa que preserva el albedo
Autores e instituciones
Vijesh KP
Independent researcher (no institutional affiliation stated in the paper)
Qué problema resuelve
El artículo se dirige al caso limitado en el que el color y la identidad del donante son aceptables pero faltan sombras de forma. Pregunta cómo inyectar sombras de nariz, alveolo, labio y cavidad a partir de geometría facial aproximada sin aclarar píxeles, cambiar la cromaticidad ni sintetizar un rostro nuevo.
Resultado clave
En el campo de altura analítica de la cara con luz conocida, la configuración predeterminada modifica el 56,5% de los píxeles de la cara, da una ganancia media de 0,938 en general y 0,890 en píxeles modificados, y envía el 3,4% de los píxeles al suelo de 0,82. Garantiza cero píxeles iluminados ni desplazamiento matemático del ángulo de tono más allá del ruido de punto flotante. Estas cifras caracterizan el operador acotado más que la calidad perceptiva: el papel no proporciona un punto de referencia real compuesto emparejado ni una comparación de línea base. No puede añadir resaltos, corregir un donante ya oscuro, eliminar luz fuente opuesta ni evitar sombras dobles del sombreado residual del donante.
Resumen
El intercambio de rostros y las canaletas de composición de rostros producen rutinariamente un rostro geométricamente bien alineado pero fotométricamente poco plausible: el rostro donante lleva iluminación plana y casi frontal del estudio, mientras que el cuerpo anfitrión y el fondo llevan luz direccional de la escena. La mayoría de los remedios existentes resintetizan el rostro mediante transferencia de color, reiluminación neuronal o renderizado inverso, y por tanto corren el riesgo de alterar identidad, tono de piel y textura. Presentamos una alternativa conservadora: la inyección de sombra de forma impulsada por geometría. La tubería nunca repinta la cara. Estima un campo de ganancia por píxel $g\in[g_{\min},1]$ de un proxy facial 3D rasterizado y lo multiplica de manera uniforme en RGB lineal, de modo que el operador solo puede oscurecer y no puede desplazar la cromaticidad. Una malla densa de hitmark se rasteriza en un buffer de profundidad, del que derivamos normales superficiales, un término cavidad y sombras proyectadas en el espacio de pantalla. La dirección de la luz clave se estima a partir de señales del lado del anfitrión (cuerpo, fondo, halo de cabello); las señales en la cara se reducen porque recuperan la iluminación del donante. La magnitud de la sombra no se ajusta a la del huésped: se establece mediante una transferencia de tres parámetros $(τ,σ,g_{\min})$. El campo de sombreado se divide por su percentil 75 sobre la piel, luego se encapsula, escala, sujeta, suaviza y re-recorta dentro de una máscara facial con difuminados y controlados por la piel. En un campo de altura facial analítico, el valor predeterminado $(τ,σ,g_{\min})=(0,90,0,45,0,82)$ modifica el 56,5% de los píxeles de la cara con una ganancia media de 0,938 (0,890 en píxeles modificados) y lleva el 3,4% de los píxeles al suelo. La invariancia de tono es una consecuencia del operador. Analizamos la transferencia en forma cerrada, ablacionamos sus parámetros y discutimos los modos de fallo de una formulación monótona y solo oscurecida, incluyendo doble sombra de donantes no planos.
Punto de partida
Una cara intercambiada puede estar alineada geométricamente y correcta por identidad, pero aún así parecer pegada porque el donante lleva luz plana de estudio mientras que la escena anfitriona tiene una clave direccional. La reiluminación generativa puede reparar más efectos, pero también puede cambiar el tono de piel, los poros, la textura o la identidad después de que la cara ya haya sido aprobada. Los equipos de producción a veces necesitan un operador deliberadamente limitado cuyo peor caso de cambio fotométrico sea conocido.
Método
Un detector facial y una malla de 468 puntos producen un buffer de profundidad rasterizado, normales superficiales, proxy de cavidad y espacio de pantalla proyectan sombras en un recorte de 512 píxeles. Las señales del cuerpo del lado del anfitrión, el fondo, el cuello y el halo capilar votan por la dirección de la luz principal mientras que las señales de rostro donante se reducen. El mapa de sombreado normalizado pasa por un umbral de tres parámetros, transferencia de fuerza y ganancia mínima, luego suavizado guiado y una máscara de piel difuminada. La misma ganancia escalar se multiplica en todos los canales RGB lineales y se recorta en un rango de 0,82 a 1,0.
Conclusión del artículo
Este es un control conservador post-composición con un límite de daño comprensible, no un sistema completo de reiluminación. Resulta atractivo cuando la preservación de la identidad supera el realismo dramático, siempre que se revisen planos reales para detectar dirección de luz incorrecta y sombras dobles.