著者・所属
Vijesh KP
Independent researcher (no institutional affiliation stated in the paper)
何を解決するか
この論文は、ドナーの色と身元は許容できるが、形状の影が欠けているという狭いケースを対象としています。明るさを増やしたり、色味を変えたり、新しい顔を合成したりせずに、近似顔の幾何から鼻、眼窩、唇、空洞の影をどのように注入するかを問います。
主要結果
紙上の解析的なフェイスハイトフィールドに既知の光源がある場合、デフォルト設定ではフェイスピクセルの56.5％を変更し、全体では平均ゲイン0.938、変更されたピクセルでは0.890を与え、3.4％のピクセルを0.82のフロアに送ります。これにより、明るくされたピクセルはゼロであり、浮動小数点のノイズを超える数学的な色相角の変化もありません。これらの数字は知覚品質ではなく、制限付き演算子の特性を示しています：論文には、ペアになった実際のコンポジットベンチマークやベースライン比較は提供されていません。ハイライトを追加することはできず、すでに暗いドナーを修正することも、反対側の光源を除去することも、二重影残留ドナーシェーディングを避けることもできません。
要旨
フェイススワッピングやフェイスコンポジットパイプラインは、幾何学的によく整列しているものの、光度学的には非現実的な顔を日常的に生成します。つまり、ドナーの顔は平面のほぼ前方のスタジオ照明を受け取り、ホストのボディと背景は指向性のあるシーン光を運びます。既存の多くの対策は、色転送、ニューラルリライティング、逆レンダリングによって顔を再合成するため、アイデンティティ、肌のトーン、質感が変化するリスクがあります。私たちは保守的な代替案として、幾何学駆動型のフォームシャドウ注入を提案します。パイプラインは顔を再塗装しません。ラスタ化された3Dフェイスプロキシからピクセルあたりのゲインフィールド$g\in[g_{\min},1]$を推定し、それをチャネル的に均一に線形RGBに乗算するため、オペレーターは暗くするだけで色度はシフトできません。密なランドマークメッシュをラスタライズして深度バッファにし、そこから表面法線、キャビティ項、スクリーンスペースから影を導き出します。キーライトの方向はホスト側の手がかり(ボディ、背景、ヘアハロー)から推定されます。顔面の手がかりはドナーのライティングを回復するため、重みが下がっています。シャドウの大きさはホストにマッチングせず、3パラメータ転送$(τ,σ,g_{\min}))によって設定されます。シェーディングフィールドは皮膚の上で75パーセンタイルで分割され、その後ゲート、スケーリング、クランプ、スムージ化、再クリップされ、フェザー付きのスキンゲートフェイスマスク内で再クリップされます。解析的な顔高度場では、デフォルトの$(τ,σ,g_{\min})=(0.90,0.45,0.82)$は、平均ゲイン0.938(修正ピクセルでは0.890)で56.5%の顔ピクセルを修正し、3.4%のピクセルを床に押し下げます。色相不変性は演算子の帰結です。私たちは閉形式での転送を解析し、そのパラメータをアブレートし、単調で暗くするのみの定式化の故障モードについて議論します。非フラットドナーの二重影も含まれます。
研究の出発点
交換された顔は、幾何学的に整列され、身元が正確であっても、ドナーの顔がフラットなスタジオ光を持っている一方で、ホストシーンに方向性のあるキーライトがあるため、貼り付けたように見えることがあります。ジェネレーティブリライティングはさらに多くの効果を修復することができますが、顔がすでに承認された後に、肌のトーン、毛穴、質感、または身元を変える可能性もあります。制作チームは時に、最悪の場合の光度変化が既知である意図的に制限されたオペレーターを必要とします。
手法
顔検出器と468ポイントメッシュは、512ピクセルのクロップでラスタライズされた深度バッファ、表面法線、空洞プロキシ、スクリーンスペース投影影を生成します。ホスト側の体、背景、首、髪のハローの手がかりはキーライトの方向に票を投じる一方で、ドナーフェイスの手がかりは抑制されます。正規化されたシェーディングマップは、3パラメータのしきい値、強度、最小ゲイン転送を通過し、次にガイド付き平滑化とフェザリングされた肌マスクを通ります。同じスカラゲインがすべての線形RGBチャンネルに掛けられ、0.82から1.0の範囲でクリップされます。
論文要点
これは、理解可能なダメージ限界を持つ保守的なポストコンポジット制御であり、完全な再ライティングシステムではありません。アイデンティティ保持が劇的なリアリズムよりも重要な場合に魅力的であり、実際のショットが間違った光の方向や二重影を確認する限りにおいて有効です。