LaP-Forensics: Raciocínio multimodal guiado pela consistência de pixels latentes para detecção de deepfakes
Autores e instituições
Can Wang
The Hong Kong Polytechnic University, Hong Kong, China
Yuhao Wang
University College London, United Kingdom
Yushe Cao
Tsinghua University, China
Canran Xiao
Sun Yat-sen University, China
Fei Shen
National University of Singapore, Singapore
Que problema resolve
O LaP-Forensics aborda a detecção de imagens entre diferentes geradores e a localização de artefatos em nível de pixel com uma referência de compatibilidade explícita. Seu objetivo é fazer com que o raciocínio estruturado de "onde-o quê-por quê" consulte essa evidência, reconhecendo que o uso da referência, por si só, não comprova todas as afirmações em uma explicação livre.
Resultado-chave
No UniversalFakeDetect, a detecção de artefatos na imagem atinge 97,23% de precisão em GANs, 71,30% em Deepfakes, 92,18% em Difusão e 98,98% em CRN. Sob o protocolo oficial do SynthScars, a localização de artefatos humanos atinge 61,40 mIoU e 66,00 F1. Na divisão controlada, a remoção do resíduo reduz o mIoU de 72,19 para 61,83 e o F1 de 63,62 para 41,71; substituir o resíduo por zero ou por um mapa de doadores também altera significativamente o resultado.
Resumo
Modelos generativos recentes podem produzir imagens com poucos artefatos visuais óbvios, enfraquecendo detectores e explicações que se baseiam apenas na aparência da superfície. Apresentamos o LaP-Forensics, uma estrutura multimodal que aumenta a semântica RGB com evidências forenses baseadas em reconstrução. Um modelo de inversão-reconstrução DDIM de Difusão Estável congelado fornece uma referência de reconstrução fixa, e seu mapa residual mede a compatibilidade local com essa referência. Projetores independentes codificam a imagem RGB e o mapa residual antes que um modelo estruturado de Onde-O quê-Por quê preveja uma análise textual e uma máscara de artefatos. O ajuste fino supervisionado é seguido pela Otimização de Política Relativa ao Grupo (GRPO), cuja recompensa combina a sobreposição da máscara com termos de estrutura de saída e referência de evidência. Esses termos do lado do texto incentivam o modelo a se referir ao mapa de consistência, mas não constituem um verificador da verdade textual de forma livre. Uma camada de processamento separada, em nível de imagem, funde características de classe RGB e DDIM-residual. Experimentos mostram detecção entre geradores no UniversalFakeDetect e localização competitiva de artefatos no benchmark oficial SynthScars. Análises controladas de construção de pistas, horizonte de inversão, componentes, termos de recompensa e contrafactuais corroboram a utilidade do fluxo residual nas configurações avaliadas, enquanto a fidelidade textual em formato livre e a confiabilidade após o pós-processamento permanecem limitações em aberto.
Ponto de partida da pesquisa
À medida que as imagens geradas perdem defeitos superficiais óbvios, um detector baseado apenas em RGB ou uma explicação em linguagem visual pode parecer persuasiva sem apontar para evidências forenses sólidas. Para análises corporativas, um sistema útil deve separar a pontuação de detecção, a localização espacial e a descrição textual, mostrando qual sinal adicional de fato altera o resultado.
Método
Um processo de inversão-reconstrução DDIM de Difusão Estável congelada produz um mapa residual entre a entrada e a reconstrução. Projetores separados codificam a semântica RGB e as evidências residuais; um ramo multimodal gera texto estruturado e uma máscara, enquanto um cabeçalho de imagem separado funde as características de classe para detecção. O ajuste fino supervisionado é seguido por recompensas GRPO para sobreposição de máscara, formato de saída e referências de evidência, com testes de benchmark oficiais mantidos separados de uma divisão de ablação controlada menor.
Síntese do artigo
O resíduo de reconstrução é um segundo canal forense útil e melhora a localização de forma mensurável, mas não é um mapa de manipulação calibrado nem um sinal de atribuição de origem. As equipes devem valorizar a clara separação entre detecção, localização e explicação, e então testar independentemente a robustez do pós-processamento e a fidelidade textual antes de usar a justificativa gerada nos fluxos de trabalho de revisão.