Melhorando o Reconhecimento Facial em Baixa Resolução sob Dados Limitados: Como a Geração de Dados Sintéticos Pode Fechar a Lacuna de Domínio
Autores e instituições
Luis S. Luevano
Idiap Research Institute, Switzerland
Ünsal Öztürk
Idiap Research Institute, Switzerland
Hatef Otroshi Shahreza
Idiap Research Institute, Switzerland
Anjith George
Idiap Research Institute, Switzerland
Sébastien Marcel
Idiap Research Institute, Switzerland
Que problema resolve
O estudo questiona qual estratégia sintética de baixa resolução realmente ajuda um reconhecedor compacto de faces quando os dados nativos rotulados são limitados, e se as conclusões tiradas de testes artificialmente reduzidos no estilo LFW se mantêm em sondas reais do TinyFace. Ele também estabelece uma linha de base de entrada direta para que módulos de super-resolução e tradução precisem provar que preservam a identidade em vez de apenas melhorar a aparência visual.
Resultado-chave
Testes sintéticos favoreceram uma degradação de 28 pixels, mas essa mesma configuração ficou abaixo da linha de base treinada em alta resolução no TinyFace real. Uma interpolação de aumento mais suave de 56 pixels foi a melhor configuração compacta, elevando o mAP do TinyFace de 52,55 para 54,68 e a identificação rank-1 de 59,66% para 61,40%. O pipeline aprendido de super-resolução RRDB mais tradução de domínio alcançou apenas 57,53 mAP com EdgeFace-base, versus 65,12 para entrada direta. A destilação de conhecimento entregou os maiores ganhos sintéticos, mas não se transferiu para baixa resolução nativa, mostrando que a fidelidade da síntese, não a complexidade da síntese, é o fator limitante.
Resumo
Sistemas de Reconhecimento Facial (FR) em ambientes de vigilância frequentemente encontram faces de Baixa Resolução (LR), aquelas cuja região facial é inferior ao tamanho de entrada padrão de 112 × 112. Embora dados de treino rotulados em Alta Resolução (HR) sejam abundantes, dados nativos LR rotulados e, acima de tudo, dados emparelhados nativos LR/HR, são escassos. Uma solução é sintetizar dados LR a partir das faces HR disponíveis, mas quão eficaz é esse esforço de síntese na precisão do reconhecimento ainda não está claro. Apresentamos um estudo de estratégias simples de geração sintética para um sistema compacto de reconhecimento facial voltado para dispositivos de borda, abrangendo degradação baseada em interpolação, destilação de conhecimento, um Transformador de Domínio Prependido (PDT), degradação estilo Real ESRGAN e um front-end de Super Resolução (SR) aprendido com perda consciente de identidade. Avaliamos essas estratégias em benchmarks de faces de resolução cruzada sintéticas (LFW, CFP-FP, AgeDB-30) e no TinyFace, um conjunto de dados nativo LR do mundo real, expondo uma lacuna sintético-real: a configuração de degradação que é ótima nos benchmarks sintéticos não é a ótima em LR real. Descobrimos que mais esforço de síntese não ajuda monotonamente: o front-end SR aprendido não supera uma alimentação direta da imagem LR alinhada em um backbone forte, enquanto a simples augmentação por interpolação de um backbone compacto é a única síntese que melhora em relação à sua própria linha de base. Concluímos que métodos generativos para reconhecimento facial LR devem ser validados em LR real e contra uma linha de base de alimentação direta, e lançamos nosso pipeline em https://idiap.ch/paper/synth-lrfr
Ponto de partida da pesquisa
Sistemas de vigilância e listas de observação comparam rotineiramente uma imagem de inscrição de alta qualidade com uma sonda cuja face alinhada é bem menor do que o padrão de entrada de 112 por 112. Identidades nativas de baixa resolução, especialmente capturas de baixa e alta resolução da mesma pessoa, são escassas, então equipes comumente fabricam dados de treinamento de baixa resolução a partir de faces abundantes de alta resolução. O risco prático é que uma receita de degradação pode obter boas pontuações em benchmarks sintéticos enquanto ensina ao reconhecedor sinais que não se assemelham a desfoque, ruído, compressão e erros de alinhamento de câmeras reais.
Método
Os autores utilizam a arquitetura EdgeFace-S de 3,65 milhões de parâmetros e comparam cinco níveis de esforço de adaptação: aumento por downsample e upsample baseado em interpolação, destilação de conhecimento de professor de alta resolução, um transformador de domínio pré-adicionado, um núcleo nativo de 32 pixels treinado com degradações ao estilo Real-ESRGAN e uma frente de super-resolução aprendida ciente da identidade. Eles avaliam a verificação de alta para baixa e de baixa para baixa no LFW, CFP-FP e AgeDB-30, e então repetem a comparação na baixa resolução nativa do TinyFace sob dois pipelines de alinhamento. Um modelo maior EdgeFace-base congelado fornece a referência para testar se uma frente generativa supera a alimentação da sonda alinhada diretamente a um reconhecedor forte.
Síntese do artigo
Para uma implantação de borda ou vigilância, valide cada receita de baixa resolução em rostos de baixa resolução realmente capturados e mantenha uma linha de base forte de alimentação direta. Uma simples e leve interpolação de aumento pode ser um investimento melhor do que um conjunto de super-resolução; ganhos apenas sintéticos em resoluções agressivas não são evidências confiáveis do desempenho em campo.