Harmonização de sombras guiada pela geometria para faces compostas: um pipeline multiplicativo de reiluminação que preserva o albedo
Autores e instituições
Vijesh KP
Independent researcher (no institutional affiliation stated in the paper)
Que problema resolve
O artigo mira o caso restrito em que cor e identidade do doador são aceitáveis, mas sombras de forma estão ausentes. Pergunta como injetar sombras de nariz, alvéolo, lábio e cavidade a partir de geometria facial aproximada sem clarear pixels, alterar a cromaticidade ou sintetizar um novo rosto.
Resultado-chave
No campo analítico de altura da face com luz conhecida, a configuração padrão modifica 56,5% dos pixels da face, dá ganho médio de 0,938 no geral e 0,890 em pixels modificados, e envia 3,4% dos pixels para o piso de 0,82. Ela garante zero pixels iluminados e nenhuma mudança matemática do ângulo de matiz além do ruído de ponto flutuante. Esses valores caracterizam o operador limitado em vez da qualidade perceptiva: o artigo não fornece referência pareada com compósitos reais ou comparação de linha base. Não pode adicionar destacamentos, corrigir um doador já escuro, remover luz fonte oposta ou evitar sombreamento residual doador com duplo sombreamento.
Resumo
Pipelines de troca de rostos e composição facial produzem rotineiramente um rosto geometricamente bem alinhado, mas fotometricamente implausível: o rosto doador carrega iluminação plana e quase frontal do estúdio, enquanto o corpo hospedeiro e o fundo carregam luz direcional da cena. A maioria dos remédios existentes ressintetiza o rosto por meio de transferência de cor, reiluminação neural ou renderização inversa, correndo o risco de alterar identidade, tom de pele e textura. Apresentamos uma alternativa conservadora: injeção de sombra de forma orientada pela geometria. O pipeline nunca repinta o rosto. Ele estima um campo de ganho por pixel $g\in[g_{\min},1]$ de um proxy facial 3D rasterizado e o multiplica uniformemente para RGB linear, de modo que o operador só pode escurecer e não pode deslocar a cromaticidade. Uma malha densa de marcos é rasterizada em um buffer de profundidade, do qual derivamos normais de superfície, termo cavidade e sombras projetadas no espaço da tela. A direção da luz principal é estimada a partir de pistas do lado do hospedeiro (corpo, fundo, halo capilar); as pistas no rosto são reduzidas porque recuperam a iluminação do doador. A magnitude da sombra não é correspondida ao hospedeiro: ela é definida por uma transferência de três parâmetros $(τ,σ,g_{\min})$. O campo de sombreamento é dividido pelo percentil 75 sobre a pele, depois bloqueado, escalado, fixado, suavizado e reclipado dentro de uma máscara facial com controle de pele e com feathering. Em um campo de altura facial analítico, o padrão $(τ,σ,g_{\min})=(0,90,0,45,0,82)$ modifica 56,5% dos pixels faciais com ganho médio 0,938 (0,890 em pixels modificados) e conduz 3,4% dos pixels para o chão. A invariância de matiz é um corolário do operador. Analisamos a transferência em forma fechada, ablacionamos seus parâmetros e discutimos modos de falha de uma formulação monótona e apenas escurecendo, incluindo o duplo sombreamento de doadores não planos.
Ponto de partida da pesquisa
Um rosto trocado pode ser geometricamente alinhado e correto à identidade, mas ainda assim parecer colado porque o doador carrega luz plana do estúdio enquanto a cena anfitriã tem uma chave direcional. A reiluminação generativa pode reparar mais efeitos, mas também pode alterar tom de pele, poros, textura ou identidade após o rosto já ter sido aprovado. Equipes de produção às vezes precisam de um operador deliberadamente limitado cuja alteração fotométrica no pior caso seja conhecida.
Método
Um detector de rosto e uma malha de 468 pontos produzem um buffer de profundidade rasterizado, normais de superfície, proxy de cavidade e espaço de tela projetam sombras em um corte de 512 pixels. Os sinais do lado do hospedeiro do corpo, fundo, pescoço e halo de cabelo votam na direção da luz principal enquanto os sinais do rosto doador são reduzidos. O mapa de sombreamento normalizado passa por um limiar de três parâmetros, transferência de força e ganho mínimo, depois suavização guiada e uma máscara de pele com feathering. O mesmo ganho escalar é multiplicado em todos os canais linear-RGB e recortado em uma faixa de 0,82 a 1,0.
Síntese do artigo
Este é um controle conservador pós-composição com um limite de dano compreensível, não um sistema completo de reiluminação. É atraente quando a preservação de identidade supera o realismo dramático, desde que as cenas reais sejam revisadas quanto à direção errada da luz e sombras duplas.