著者・所属
Qiucheng Yu
City University of Hong Kong, Hong Kong, China
Tao Ni
King Abdullah University of Science and Technology, Saudi Arabia
Yihe Zhou
City University of Hong Kong, Hong Kong, China
Jiayimei Wang
City University of Hong Kong, Hong Kong, China
Qingchuan Zhao
City University of Hong Kong, Hong Kong, China
何を解決するか
従来のパッチは、可視画像への最適化が赤外線応答と矛盾する可能性があり、目立つパターンは人や二次システムに気づかれやすいため、融合型検出器への適用性が低い。VIPatchは、物理的に実現可能で、統合型であり、視覚的に目立たない攻撃を目指している。
主要結果
デジタルブラックボックス攻撃では、可視検出器全体で平均94.59%、赤外線検出器全体で平均97.40%のASRを達成しています。物理融合設定では、VIPatchはYOLOv8-FaceとMTCNNで97.27%、TFWとOpenCVで100%のASRを達成しています。可視物理ASRは12,000ルクスの光で80.29%を維持し、テストした1~3メートルの距離で92.51%から100%の範囲となっています。
要旨
深層学習に基づく可視光と赤外線を融合した顔検出モデルは、幅広いアプリケーションでますます広く利用されていますが、敵対的パッチ攻撃に対して脆弱なままです。これまでの攻撃のほとんどは、デジタル領域における可視光画像または赤外線画像のいずれか一方のみを標的としており、物理世界における融合モデルに対しては効果がありません。さらに、これらの手法の多くは、パッチパターンが現実世界で見られるものと大きく異なるため、容易に認識されてしまいます。本論文では、顔画像に対して目立たず、リアルで自然な外観のパッチを生成する、新しい物理的敵対的パッチ攻撃であるVIPatch(Visual-Infrared Patch)を紹介します。具体的には、VIPatchは、可視光画像と赤外線画像の両方にグラデーションカラーマスクと絆創膏ステッカーを作成し、これら2つの要素を共同で最適化します。生成されたデジタルパッチは、物理的な対応物の製造をさらにガイドします。実験結果は、VIPatchがデジタル領域と物理領域の両方で90%を超える攻撃成功率を達成しつつ、パッチが人間の観察者にとって目立たない状態を維持していることを示しています。
研究の出発点
可視光と赤外線の融合は、低照度環境や温度スクリーニング環境下でも顔検出機能を維持するために用いられますが、ほとんどの敵対的攻撃に関する研究は、いずれか一方のモダリティのみを攻撃するか、あるいはデジタルデータに留まっています。実用システムでは、印刷、配置、照明の変化、カメラの動きといった様々な要因によって、一見普通の物体が両方のチャネルを抑制できるかどうかを把握する必要があります。
手法
VIPatchは、可視光チャネル用のグラデーションカラーのフェイスマスクと赤外線チャネル用の包帯状のサーマルステッカーを共同で最適化し、実物を製作します。評価では、複数の可視光および赤外線検出器、ホワイトボックスおよびブラックボックス転送、視野角、200~12,000ルクスの照度、1~3メートルの距離における物理テストを組み合わせて実施します。
論文要点
マルチスペクトルセンシングは、2つの独立した防御策としてではなく、結合されたシステムとして脅威をモデル化する必要があります。この攻撃は緩和策ではなく、レッドチームによる攻撃の結果ですが、検出器ベンダーに、パッチ検出、センサーの一貫性チェック、およびフォールバックポリシーを評価するための具体的な物理的条件、転送モデル、および攻撃成功目標を提供します。