作者与机构
Vijesh KP
Independent researcher (no institutional affiliation stated in the paper)
解决了什么问题
本文针对狭窄的情况，即捐赠者的颜色和身份可接受，但形状阴影缺失。它探讨如何在不增加像素亮度、改变色度或合成新脸的情况下，从近似面部几何注入鼻子、眼眶、嘴唇和腔体阴影。
关键结果
在论文的带有已知光照的解析面高度场上，默认设置修改了56.5%的面像素，总体平均增益为0.938，在修改像素上为0.890，并将3.4%的像素发送到0.82的底值。它保证零亮化像素，并且数学色相角变化不会超过浮点噪声。这些数据描述的是有界算子而非感知质量：论文未提供配对的真实复合基准或基线对比。它无法增加高光、纠正已经过暗的源图、移除相反的源光，或避免双重阴影残余源遮挡。
摘要
面部交换和面部合成流程通常会生成几何上对齐良好但光度上不合理的面部：捐赠者面部带有均匀、近正面的工作室光照，而主机身体和背景带有方向性的场景光。大多数现有解决方案通过颜色迁移、神经重光照或反向渲染重新合成面部，因此可能改变身份、肤色和纹理。我们提出了一种保守的替代方法：几何驱动的形态-阴影注入。该流程从不重绘面部。它从栅格化的三维面部代理中估计每像素增益场 $g\in[g_{\min},1]$，并将其统一乘到线性 RGB 上，因此操作只会使图像变暗而不会改变色度。一个密集的关键点网格被栅格化到深度缓冲区，从中我们导出表面法线、凹陷项以及屏幕空间投影阴影。主光方向通过主机侧线索（身体、背景、头发光晕）估计；面部线索被降低权重，因为它们会恢复捐赠者的光照。阴影强度不与主机匹配：它由三个参数的迁移 $(τ,σ,g_{\min})$ 设置。阴影场在皮肤区域按第 75 百分位数除以，然后进行门控、缩放、限制、平滑，并在羽化的皮肤门控面部遮罩内重新裁剪。在解析的面部高度场上，默认 $(τ,σ,g_{\min})=(0.90,0.45,0.82)$ 修改了 56.5% 的面部像素，平均增益为 0.938（修改过的像素为 0.890），并将 3.4% 的像素推至下限。色相不变性是该操作的推论。我们以闭式形式分析该迁移，消融其参数，并讨论单调、仅变暗形式的失败模式，包括对非平面捐赠者的双重阴影现象。
研究出发点
即使替换的脸在几何上对齐且身份正确，它仍然可能看起来像被贴上的，因为捐赠者脸部带有平面摄影棚光，而宿主场景有方向性主光。生成式重光照可以修复更多效果，但它也可能在脸部已被批准后改变肤色、毛孔、纹理或身份。制作团队有时需要一个刻意受限的操作员，其最坏情况的光度变化是已知的。
方法概述
面部检测器和468点网格生成一个光栅化深度缓冲、表面法线、腔体代理以及512像素裁剪中的屏幕空间投影阴影。宿主端的身体、背景、颈部和头发光晕线索投票以确定主光方向，而捐赠者脸部线索的权重被降低。归一化阴影图经过三参数的阈值、强度和最小增益传递，然后进行引导平滑和羽化皮肤掩码处理。同一标量增益被乘以所有线性RGB通道，并被裁剪到0.82到1.0的范围内。
论文总结
这是一个保守的后期合成控制，具有可理解的损伤界限，而不是完整的重新照明系统。当身份保留优先于戏剧性真实感时，它很有吸引力，前提是要检查真实拍摄以防错误光照方向和双重阴影。