Ocultándose a plena vista: un ataque físico adversario eficaz contra la detección facial fusionada visual-infrarroja.
Autores e instituciones
Qiucheng Yu
City University of Hong Kong, Hong Kong, China
Tao Ni
King Abdullah University of Science and Technology, Saudi Arabia
Yihe Zhou
City University of Hong Kong, Hong Kong, China
Jiayimei Wang
City University of Hong Kong, Hong Kong, China
Qingchuan Zhao
City University of Hong Kong, Hong Kong, China
Qué problema resuelve
Los parches anteriores se transfieren mal a los detectores fusionados porque la optimización para la imagen visible puede entrar en conflicto con la respuesta infrarroja, y los patrones llamativos son más fáciles de detectar para las personas o los sistemas secundarios. VIPatch busca un ataque físicamente realizable, conjunto y visualmente discreto.
Resultado clave
El ataque de caja negra digital alcanza un promedio de 94,59 % de ASR en detectores visibles y de 97,40 % en detectores infrarrojos. En la configuración física fusionada, VIPatch alcanza un 97,27 % de ASR en YOLOv8-Face y MTCNN, y un 100 % en TFW y OpenCV. Su ASR físico visible se mantiene en un 80,29 % con una iluminación de 12 000 lux y varía entre el 92,51 % y el 100 % en las distancias probadas de uno a tres metros.
Resumen
Los modelos de detección facial fusionados visual-infrarrojo basados en aprendizaje profundo se implementan cada vez más en una amplia gama de aplicaciones, pero siguen siendo vulnerables a ataques de parches adversarios. La mayoría de los ataques anteriores se dirigen únicamente a la imagen visual o infrarroja en el dominio digital, lo que los hace ineficaces contra los modelos fusionados en el mundo físico. Además, muchos de estos métodos son fácilmente detectables, ya que sus patrones de parches se desvían sustancialmente de los que se ven en el mundo real. En este artículo, presentamos VIPatch (Visual-Infrared Patch), un novedoso ataque de parche adversario físico que produce parches discretos, realistas y de aspecto natural para imágenes faciales. Específicamente, VIPatch crea una máscara de color degradado junto con una etiqueta adhesiva sobre las imágenes visual e infrarroja, y optimiza conjuntamente estos dos elementos; los parches digitales resultantes guían la fabricación de sus contrapartes físicas. Los resultados experimentales muestran que VIPatch logra tasas de éxito de ataque competitivas (superiores al 90%) tanto en el dominio digital como en el físico, manteniendo los parches imperceptibles para los observadores humanos.
Punto de partida
La fusión visual-infrarroja se utiliza para mantener la detección facial en entornos con poca luz y controles de temperatura, pero la mayoría de las investigaciones adversarias atacan solo una modalidad o se mantienen en formato digital. Un sistema de producción necesita saber si un objeto de apariencia común puede suprimir ambos canales tras la impresión, la colocación, los cambios de iluminación y el movimiento de la cámara.
Método
VIPatch optimiza conjuntamente una mascarilla facial con degradado de color para el canal visible y una pegatina térmica tipo vendaje para el canal infrarrojo, para luego fabricar sus contrapartes físicas. La evaluación combina múltiples detectores visibles e infrarrojos, transferencia de datos en cajas blancas y negras, y pruebas físicas con diferentes ángulos de visión, iluminación de 200 a 12 000 lux y distancias de uno a tres metros.
Conclusión del artículo
La detección multiespectral debe modelarse como un sistema acoplado, no como dos defensas independientes. El ataque es un resultado de un ejercicio de simulación de ataques (red team) y no una medida de mitigación, pero proporciona a los fabricantes de detectores condiciones físicas concretas, modelos de transferencia y objetivos de éxito del ataque para evaluar la detección de parches, las comprobaciones de coherencia del sensor y la política de respaldo.