研究レーダー顔検出arXiv2026年10月

月刊arXivレーダー

2026年10月の顔検出論文：軽量な特徴融合、オンライン話者判定、実環境CCTV

10 月には、1 つの直接検出器に関する論文と、位置特定に関する 2 つの有用なシステムレベルの研究が発表されました。 WeaveFace は、厳しいコンピューティング予算の下で小さくて隠れた顔に焦点を当てています。 CAST-ASD は、今後のフレームを使用せずに追跡された顔をオンラインでどのように比較できるかを示します。一方、CVBL-CCTV-Face は、実際の監視の劣化が強化と照合に達したときに検出後に何が起こるかをテストします。

本月の重要シグナル

WeaveFace は、Mamba スキャンの前に隣接する特徴スケールをインターリーブし、34 万個のパラメータを持つ WIDER FACE で平均 AP の 91.41% に達します。 CAST-ASD は、検出された顔トラックを入力として受け取り、現在のスピーカー全体でゼロ先読みアテンションを使用し、MSDWild で競合するスピーカーの誤警報を 32% 削減します。 CVBL-CCTV-Face は、本物の監視劣化下でキャプチャされた 223 の ID を提供しており、合成劣化微調整が直接の低品質微調整よりも認識に役立つことがわかりました。総合的な教訓は、検出器の品質、オンラインシーンの推論、および下流の認識ユーティリティを 1 つのパイプラインとしてテストする必要があるということです。

論文 012026-10-05cs.CV

Weave Mamba Fusion：軽量顔検出のためのグローバルなスケール間相互作用

arXiv PDF

著者・所属

Dohun Kim

School of Data Science, The University of Suwon

Jinmyung Jung

School of Data Science, The University of Suwon

何を解決するか

WeaveFace は、完全な特徴マップを連結したり二次セルフアテンションを適用したりするためのメモリと計算コストを支払うことなく、100 万未満のパラメータの顔検出器にグローバルなクロススケールインタラクションを追加することを目的としています。

主要結果

WIDER FACE では、WeaveFace は 34 万のパラメータと 1.16 GFLOP で 91.41% の平均 AP を報告します。そのハードサブセット AP は 87.14% であり、小さくて遮蔽された面がクロススケール設計に最もストレスを与える領域です。この論文では、50 万パラメータ以下で以前の検出器よりも高い精度が報告されています。

要旨

FPN から BiFPN までの特徴ピラミッド法は、マルチスケール特徴を融合することで顔検出において強力なパフォーマンスを達成しました。ただし、小規模、オクルージョン、極端なポーズなどの制約のない条件下で顔を検出することは、ローカルフュージョンではモデル化できないグローバルなスケール間の依存関係が必要となるため、依然として困難です。 Mamba などの状態空間モデルは、フィーチャをシーケンスとしてスキャンすることで線形複雑性を備えたグローバルコンテキストを提供するため、この問題に対して有望な方向性を提供します。それにもかかわらず、このようなスキャンでは 2 つのピラミッドスケールを 1 つの特徴マップに結合する必要があり、それらを結合する方法によって、スケール間の構造が保存されるかどうかが決まります。合計ではスキャン前に 2 つのスケールが折りたたまれるため、スキャンには利用できるクロススケール構造がありませんが、連結では両方のスケールが維持されますが、コストがはるかに高くなります。これに対処するために、Weave Mamba Fusion (WMF) を提案します。これは、水平双方向 SS2D スキャンの各ステップが 1 つのスケールから別のスケールに移動するように、2 つの隣接するピラミッドスケールを列ごとにインターリーブします。 WMF は、部分チャネル処理とパラメーターフリーのデウィービングにより、特徴構造を維持しながら効率的なクロススケール相互作用を可能にします。 WMF をすべての融合ノードに統合すると、WeaveFace 検出器のネックである WeaveBiFPN が生成されます。 WIDER FACE では、WeaveFace はわずか 0.34M パラメータと 1.16 GFLOP で 91.41% の平均 AP を達成し、0.5M パラメータの下で以前の検出器を上回りました。最大の増加はハードサブセットであり、87.14% AP に達します。コードは https://github.com/dohun-mat/WeaveMambaFusion で公開されています。

研究の出発点

小さく、遮蔽され、強く回転された顔には、高解像度のピラミッドレベルからの詳細な空間的詳細と、低解像度レベルからのセマンティックコンテキストが必要です。標準の FPN と BiFPN の融合はローカルですが、軽量の検出器で使用される解像度では完全な注意を払うとコストがかかりすぎる可能性があります。

手法

Weave Mamba Fusion は、隣接するピラミッドレベルの列をインターリーブするため、双方向の水平 SS2D スキャンが各ステップのスケール間で交互に行われます。チャンネルの一部のみが処理され、パラメータを使用しないデウィービング操作により元のスケールが復元されます。各 BiFPN 融合ノードをこのオペレーターで置き換えると、WeaveBiFPN が生成され、WeaveFace 検出器のネックとして使用されます。

論文要点

パラメータ数と演算量が限られるエッジ環境、特に小さな顔が多い場面に有望な検出器です。ただし、効率の主な根拠はモデル規模と演算量なので、対象アクセラレータで実測の遅延とメモリ使用量を確認する必要があります。

論文 022026-10-10cs.CV

CAST-ASD：オンライン話者検出のための話者間・時間方向の因果アテンション

arXiv PDF

著者・所属

Pratham Gupta

Indian Institute of Technology Kanpur

KTH Royal Institute of Technology

Haotian Qi

KTH Royal Institute of Technology

Tushar Sandhan

Indian Institute of Technology Kanpur

Gabriel Skantze

KTH Royal Institute of Technology

何を解決するか

CAST-ASD は、可視の顔の数に応じてパラメーター数が増加しないゼロ先読み検出器にクロスフェイス推論をもたらします。これは、低遅延と話者の属性の両方が必要となる、顔の検出と追跡後のオンライン段階に対応します。

主要結果

CAST-ASD は、競合するスピーカーの誤報を顔ごとの因果バックボーンと比較して 32% 削減し、両方の MSDWild 検証分割ですべての因果ベースラインを上回ります。 1 つの CAST ブロックは 157 万個のパラメーターを使用し、3 ブロックの固定ロスターコンボリューションのスピーカー間パラメーターの約 10 分の 1 を使用します。その因果的ペナルティは 1.14 mAP であるのに対し、一致する LoCoNet 構成の場合は 2.67 mAP です。

要旨

アクティブスピーカー検出（ASD）のための因果結合モデルであるCAST-ASD（スピーカーと時間に対するコーザルアテンション）を紹介します。最近の ASD モデルは、シーン内のすべての顔を共同処理することでパフォーマンスを向上させますが、オフラインで動作し、フレームにラベルが付けられる前に完全なクリップが利用可能になります。低遅延の因果検出器は、代わりに各顔を個別に処理します。 CAST-ASD は、関節面推論と完全な因果推論を組み合わせます。現在のフレーム内の顔全体にシーンレベルの注意を適用し、各顔の履歴に因果的な時間的注意を適用することで、先読みなしで話者間で情報を共有できるようにします。パラメータ数は面の数とともに増加しません。 MSDWild では、ほとんどのネガティブな顔フレームに目に見える競合する話者が含まれており、CAST-ASD は、拡張された顔ごとの因果検出器と比較して、競合する話者の誤報を 32% 削減し、シーンの占有率が増加するにつれてゲインが大きくなります。これは、3 ブロックの固定ロスター畳み込みのスピーカー間パラメーターの 10 分の 1 のみを使用しながら、両方の検証分割ですべての因果ベースラインを上回ります。コードとモデルは https://github.com/prathamg007/CAST-ASD で入手できます。

研究の出発点

発話者検出では、共有された音声がどの可視人物の発話に対応するかを判断します。高精度な共同モデルは通常未来フレームを参照しますが、因果モデルは各顔を独立に評価しがちです。そのため、複数人の場面で黙っている人物を発話者と誤認することがあります。

手法

因果的な音声・映像バックボーンで各顔の追跡系列と共有音声を符号化します。CASTブロックは現在フレームの全顔に対する自己注意の後、各顔の過去だけを参照する時間方向の注意を適用します。MSDWildでは、非発話の顔の多くが別の可視話者と同時に現れます。この条件で、顔を独立に処理する方式や人数固定の方式と、学習条件を揃えて比較します。

論文要点

ライブ会議、話者ダイアライゼーション、カメラ制御では、現在見えているすべての顔を比較することで、先読みを使わないために失われる文脈を補えます。ただし、信頼できる顔追跡が前提であり、検出・追跡の失敗はシステム全体のリスクとして残ります。

論文 032026-10-27cs.CV

監視環境における実世界の顔画像強調・認識向けCVBL-CCTV-Faceデータセット

arXiv PDF

著者・所属

Manish Das

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Ajay Kumar Yadav

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Shiv Ram Dubey

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Satish Kumar Singh

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

何を解決するか

本研究は、低品質な監視画像と別途撮影した高品質な参照画像からなる非整列データセットと、顔検出・画質改善・認識の一連の処理を提供し、実環境で重なる複数の画質劣化を調べます。事前学習モデルの直接利用、合成劣化データでの微調整、実際の低品質画像での微調整を比較します。

主要結果

データセットには、14,081 枚の低品質トレーニング画像、2,186 枚の拡張高品質参照画像、および 1,581 枚の低品質画像と 528 枚の高品質画像を含むテストセットが含まれています。合成的に劣化した高品質の画像を微調整すると、最も強力な認識結果が得られますが、実際の低品質の作物を直接微調整しても、事前トレーニングされたベースラインよりも改善されません。この否定的な結果は、修復目標と制御されていない監視成果物との間に残っている不一致を浮き彫りにします。

要旨

現実世界の監視設定では、閉回路テレビシステムからの顔キャプチャには、低解像度、モーションブラー、ノイズ、オクルージョンなどの劣化が発生し、信頼性の高い顔認識が損なわれます。この研究では、監視アプリケーションを目的とした超解像およびアイデンティティ認識のフレームワークを提案します。この目的のために、CVBL-CCTV-顔データセットを提示します。これは、ペアになっていない方法で撮影された現実世界の画像のデータセットであり、各ペアは、8MP IP ドーム CCTV カメラで撮影された顔の低品質 (LQ) 画像と、制御された設定で撮影された高品質 (HQ) 参照画像で構成されます。このようなデータセットによって引き起こされるさまざまな問題に対処するために、私たちは、顔検出、低品質の顔画像の深層学習に基づく超解像、および埋め込みモデルによって抽出された L2 正規化埋め込みによる同一性認識を含むモジュール型システムを構築します。拡張モデルは 3 つの異なるセットアップに従ってトレーニングおよびテストされ、システムはリアルタイムの制約のない環境で ID 検証を行うために展開されます。

研究の出発点

監視フェイスパイプラインはスタジオ画像や合成ダウンサンプリングを使用してテストされることがよくありますが、実際の CCTV クロップではモーションブラー、センサーノイズ、姿勢変化、オクルージョン、距離、照明不足が組み合わされます。したがって、きちんとペアになったデータに基づいてトレーニングされた拡張モデルは、実際のカメラでのアイデンティティマッチングを向上させることなく、魅力的な画像を生成する可能性があります。

手法

CVBL-CCTV-Face には、8 MP IP ドームカメラでキャプチャされた 223 のアイデンティティと、別途取得された高品質のリファレンスが含まれています。 2 つのバージョンは、スパースな登録とより豊富な登録をモデル化し、ID に共通点のない分割により評価をサポートします。このベンチマークでは、MTCNN 検出、4 つのトランスフォーマーまたは拡散強化モデル、正規化された顔の埋め込み、および L2 マッチングを使用し、同じモジュールをライブ CCTV デモンストレーションに導入します。

論文要点

本研究の価値は、新しい本番用モデルというより、監視映像パイプラインを実条件で試せる評価資産にあります。実カメラのデータ収集は不可欠ですが、その顔切り出し画像で復元モデルを微調整するだけでは本人判定が改善するとは限りません。