Escondendo-se à vista de todos: um ataque físico adversário eficaz contra a detecção facial por fusão visual-infravermelha.
Autores e instituições
Qiucheng Yu
City University of Hong Kong, Hong Kong, China
Tao Ni
King Abdullah University of Science and Technology, Saudi Arabia
Yihe Zhou
City University of Hong Kong, Hong Kong, China
Jiayimei Wang
City University of Hong Kong, Hong Kong, China
Qingchuan Zhao
City University of Hong Kong, Hong Kong, China
Que problema resolve
Os patches anteriores apresentam baixa transferência para detectores combinados porque a otimização para a imagem visível pode entrar em conflito com a resposta infravermelha, e padrões chamativos são mais fáceis de serem percebidos por pessoas ou sistemas secundários. O VIPatch busca um ataque conjunto, visualmente discreto e fisicamente viável.
Resultado-chave
O ataque digital de caixa preta apresenta uma taxa média de reconhecimento de alvos (ASR) de 94,59% em detectores visíveis e 97,40% em detectores infravermelhos. No cenário de fusão física, o VIPatch atinge 97,27% de ASR nos testes YOLOv8-Face e MTCNN e 100% nos testes TFW e OpenCV. Sua taxa de ASR física visível permanece em 80,29% sob luz de 12.000 lux e varia de 92,51% a 100% nas distâncias testadas de um a três metros.
Resumo
Modelos de detecção facial baseados em aprendizado profundo que combinam imagens visuais e infravermelhas são cada vez mais utilizados em uma ampla gama de aplicações, porém permanecem suscetíveis a ataques adversários de patches. A maioria dos ataques anteriores visa apenas a imagem visual ou infravermelha no domínio digital, o que os torna ineficazes contra modelos combinados no mundo físico. Além disso, muitos desses métodos são facilmente perceptíveis, pois seus padrões de patches divergem substancialmente daqueles observados no mundo real. Neste artigo, apresentamos o VIPatch (Visual-Infrared Patch), um novo ataque adversário físico de patches que produz patches discretos, realistas e com aparência natural para imagens faciais. Especificamente, o VIPatch cria uma máscara de cores gradientes juntamente com um adesivo de curativo sobre as imagens visual e infravermelha, otimizando conjuntamente esses dois elementos; os patches digitais resultantes orientam a fabricação de suas contrapartes físicas. Os resultados experimentais mostram que o VIPatch atinge taxas de sucesso de ataque competitivas (acima de 90%) tanto no domínio digital quanto no físico, mantendo os patches imperceptíveis para observadores humanos.
Ponto de partida da pesquisa
A fusão visual-infravermelha é usada para manter a detecção facial funcionando em ambientes com pouca luz e temperaturas controladas, mas a maioria das pesquisas adversárias ataca apenas uma modalidade ou permanece digital. Um sistema de produção precisa saber se um objeto de aparência comum pode suprimir ambos os canais após impressão, posicionamento, mudanças de iluminação e movimento da câmera.
Método
A VIPatch otimiza conjuntamente uma máscara facial com gradiente de cores para o canal visível e um adesivo térmico semelhante a um curativo para o canal infravermelho, fabricando em seguida suas contrapartes físicas. A avaliação combina múltiplos detectores visíveis e infravermelhos, transferência de dados em modelos de caixa branca e caixa preta, e testes físicos em diferentes ângulos de visão, iluminação de 200 a 12.000 lux e distâncias de um a três metros.
Síntese do artigo
A detecção multiespectral deve ser modelada como um sistema acoplado, e não como duas defesas independentes. O ataque é resultado de uma simulação de ataque (red team), e não de uma mitigação, mas fornece aos fornecedores de detectores condições físicas concretas, modelos de transferência e metas de sucesso de ataque para avaliar a detecção de falhas, verificações de consistência do sensor e políticas de contingência.