リサーチレーダー顔認識arXiv2026年7月

月次 arXiv レーダー

2026年7月の顔認識論文：合成データによる基盤モデル適応、車両越しNIR、レンズレスカメラ

7月に発表された顔認識に関する論文は、ベンチマーク精度のみに焦点を当てる議論から、実用化の品質を左右するデータとキャプチャシステムへと議論の焦点を移している。選ばれた論文では、プライバシーに配慮した合成学習を2つのデータスケールで検証し、ガラス越しプローブを用いたクロススペクトル境界監視データセットを紹介し、カメラ自体をレンズレス光学エンコーダに置き換えた場合に何が起こるかを測定している。

本月の重要シグナル

合成のみによる適応は、汎用的なビジョン基盤モデルを顔認識において競争力のあるものにすることができますが、最適な戦略はデータ量によって大きく変化します。DriveFaceは、可視登録画像を自動車のガラスを通して移動する近赤外線プローブと照合する場合、強力な埋め込みモデルでも依然として大きなエラーが発生することを示しています。LFDは、レンズレス光学系、再構成、検出、認識をリンクされたコンポーネントとして扱うことで、キャプチャスタックをさらに進化させています。共通の教訓は、展開パフォーマンスは認識損失だけでなく、取得から埋め込みまでのパイプライン全体に依存するということです。

論文 012026-07-27cs.CV

IJCB-AFMFR 2026：合成トレーニングデータを用いた顔認識のための基盤モデルの適応に関するコンペティション

arXiv PDF

著者・所属

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Arturas Nakvosas

Vilnius University, Lithuania

Hatef Otroshi Shahreza

Idiap Research Institute, Switzerland

Sébastien Marcel

Idiap Research Institute, Switzerland

Rishabh Shukla

Indian Institute of Technology Jammu, India

Aditya Takkar

Indian Institute of Technology Jammu, India

Rushil Khullar

Indian Institute of Technology Jammu, India

Lalak Yadav

Indian Institute of Technology Jammu, India

Gourav Gupta

ArogyaPandit Private Limited, India

Anant Gupta

ArogyaPandit Private Limited, India

Shiqi Yu

Southern University of Science and Technology, China

Vitomir Struc

University of Ljubljana, Slovenia

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD, Germany

Technical University of Darmstadt, Germany

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD, Germany

何を解決するか

以前の合成データを用いた課題では、ジェネレータの品質、バックボーンの選択、トレーニング方法などが混在していました。今回のベンチマークでは、CLIP ViT-L/14とIDPERTURBジェネレータを修正することで、完全なファインチューニング、LoRA、ランク安定化LoRA、射影のみの適応を、同一の識別データと評価スイートの下で比較できるようにしました。

主要結果

Sub-Center ArcFace を使用した完全な微調整により、フルデータトラックでは、小規模ベンチマークで平均精度 95.51%、IJB-C の FAR 1e-5 で TAR 87.42% を達成し、FRoundation ベースラインの 76.71% を上回ります。限定データでは、rsLoRA の方が堅牢です。Idiap-BSP は平均精度 94.52%、IJB-C TAR 81.13%（FAR 1e-5）を達成します。公平性の評価も体制によって異なり、フルデータで勝者は平均 RFW 精度 91.70%、限定データで勝者は 88.92% を達成します。

要旨

本稿では、2026年国際バイオメトリクス合同会議（IJCB 2026）で開催された、合成トレーニングデータを用いた顔認識のための基盤モデルの適応に関するコンペティション（AFMFR）の概要を述べる。このコンペティションには、2つの補完的なトラック（参加者が大規模な合成IDデータを使用してCLIP ViT-L/14基盤モデルを適応させるフルデータトラックと、よりリソース制約のある適応体制を反映するように設計されたリミテッドデータトラック）から、4つの異なるチームから合計8つの有効な応募があった。すべてのトレーニングデータは、IDPERTURBのみを使用して生成された。提出されたソリューションは、Bordaカウント法を使用して、LFW、CFP-FP、AgeDB-30、CALFW、CPLFW、IJB-B、IJB-C、TinyFaceなどの多様なベンチマークにおける検証および識別性能に基づいてランク付けされる。公平性評価は、RFWデータセットについて4つの人口統計グループにわたって追加で実施される。今回の結果は、CLIP基礎モデルを合成トレーニングデータで適応させることで、既製のモデルよりも大幅に性能が向上し、場合によってはベースラインを上回ることを示しています。特に、Sub-Center ArcFace（DMSTI-Neurotechnology）を用いたフルファインチューニングはフルデータトラックでトップの成績を収め、ランク安定化LoRA適応（Idiap-BSP）はデータ制限条件下で最も効果的であることが証明されました。

研究の出発点

顔認識の開発者は、広範かつ同意を得た実顔のトレーニングデータセットがますます不足している一方で、一般的な視覚基盤モデルは、適応なしでは厳密な生体認証動作点において十分な識別能力を発揮できない。このコンペティションでは、合成IDがその適応を提供できるかどうか、また、利用可能な合成データセットが桁違いに変化した場合に、どの程度のトレーニング容量が適切かが問われる。

手法

このコンペティションでは、35,000人の合成IDから得られた約300万枚の画像を含むフルデータトラックと、5,000人のIDから得られた250,000枚の画像を含むリミテッドデータトラックが定義されています。有効な8つの提出物は、IJB-B、IJB-C、TinyFaceという5つの小規模検証セットにわたるBorda集計によって採点され、RFWは4つの人口統計グループにわたるパフォーマンスのばらつきを測定します。提出された手法は、フルバックボーン更新、LoRAおよびrsLoRAランク、マージン損失、データ拡張、軽量射影チューニングを探求しています。

論文要点

大規模なビジュアル基盤を採用するチームにとって、合成データ量に基づいてチューニング戦略を策定する必要があります。数百万枚の画像規模では、徹底的なファインチューニングが効果を発揮しますが、IDと画像が制約されている場合は、高ランクrsLoRAが有効な正則化手法として機能します。どちらの状況にも最適な単一の手法は存在しないでしょう。

論文 022026-07-15cs.CV

DriveFace：移動中の車両国境管理のためのクロススペクトルガラス越し顔データセット

arXiv PDF

著者・所属

Anjith George

Idiap Research Institute, Switzerland

Luis S. Luevano

Idiap Research Institute, Switzerland

Alain Komaty

Idiap Research Institute, Switzerland

Zeina Al Amine

Idiap Research Institute, Switzerland

Vidit Vidit

Idiap Research Institute, Switzerland

Sebastien Marcel

Idiap Research Institute, Switzerland

University of Lausanne, Switzerland

何を解決するか

DriveFaceは、スマートフォンのRGB登録と外部の近赤外線車両画像キャプチャを連携させる公開ベンチマークが不足していた状況を補うものです。また、プレゼンテーション攻撃のサブセットも含まれているため、認識とキャプチャのセキュリティを同一の運用環境下で研究できます。

主要結果

屋外でのマッチングは比較的良好で、AdaFace は AUC 99.45%、EER 2.69%、Rank-1 97.42% を記録しています。シミュレートされた色合いはより難しく、最高の AUC は 96.23% で、xEdgeFace は EER 8.09%、FAR 1% での検証率 88.63% を記録しています。PAD のベースラインも未知の攻撃に対して悪化しており、既知の攻撃プロトコルでのエラーは低いにもかかわらず、未知のマスクに対する最高の ACER は 26.20% です。

要旨

国境を越える移動の継続的な増加は、既存の国境管理インフラにますます大きな圧力をかけており、移動中の生体認証の必要性が高まっています。これは、旅行者がチェックポイントで車両内で直接識別される方式です。顔認識は、受動的かつ遠隔で取得できるため、この状況に最適です。しかし、代表的なデータセットが不足しているため、その開発は阻害されています。既存のベンチマークは管理された環境で収集されており、モーションブラー、可変照明、遮蔽、クロススペクトル登録など、車両内での取得に固有の課題を捉えていません。このギャップに対処するため、私たちは国境管理シナリオにおける移動中の顔認識のためのデータセットを紹介します。このデータセットは、NIR車両通過ビデオとスマートフォンベースの事前登録データで構成されています。最先端モデルを用いたベースライン評価では、これらの現実的な条件下では明確な性能限界が示され、この分野を発展させるための専用手法の必要性が強調されています。

研究の出発点

車両検問所では、事前に登録した旅行者を車から降りることなく識別できると便利だが、プローブは反射ガラスや着色ガラス越しに撮影されるため、多くの場合、車両や被写体が移動中である。既存の屋内可視近赤外線データセットでは、こうした光学的な劣化に加えて、姿勢、天候、速度、セッション間の登録といった要素が組み合わされていない。

手法

このデータセットは、2回のセッションにわたって70人の同意を得たボランティアを追跡し、スマートフォンの登録に加え、屋外、屋内（車内）、および模擬着色NIRプローブの記録を行います。メタデータには、ガラスの色合い、照明、頭の姿勢、天候、車両速度が含まれます。ID分離型の学習・テストプロトコルでは、AUC、EER、1% FARでの検証率、およびRank-1識別を使用して、AdaFace、LVFace、EdgeFace、およびクロススペクトル適応型xEdgeFaceを評価します。個別のPADプロトコルでは、既知および未知の印刷物攻撃とマスク攻撃を扱います。

論文要点

DriveFaceは、車両や国境での導入における受け入れテスト用データセットとして非常に有用です。なぜなら、登録、センサースペクトル、ガラス、動き、なりすましといった要素を単一のプロトコルに統合しているからです。しかし、そのベースラインデータは、制約のない顔認識スコアが良好であっても、着色された異種スペクトル画像による撮影下では十分なセキュリティマージンが確保されるとは限らないことを示唆しています。

論文 032026-07-11cs.CV

LFD：大規模データセットを用いた実世界におけるレンズレス顔認識の実現

arXiv PDF

著者・所属

Junho Kim

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Salman S. Khan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Sara Wan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Tomi Kuye

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

Ashok Veeraraghavan

Department of Electrical and Computer Engineering, Rice University, Houston, Texas, USA

何を解決するか

この分野では、屋内と屋外の条件下で、実際のレンズレス計測データ、再構成画像、および従来の顔画像を組み合わせた大規模なデータセットが不足していた。そのため、再構成品質と検出器や認識器の不具合を区別したり、モデルが異なる光学エンコーダ間で転用可能かどうかをテストしたりすることが困難だった。

主要結果

プロトタイプ 1 では、LFD でトレーニングされた認識器は、屋内イージーで AUC 0.946、屋外で 0.808、完全なセットで 0.851、ハードセットで 0.778 を達成しました。対応する標準画像モデルのスコアは、それぞれ 0.884、0.625、0.763、0.599 でした。クロスモーダルマッチングで 0.05% FPR の場合、LFD 再構成は 77.30% TPR を達成し、以前の FCFD FlatNet データの 66.02% を上回り、この優位性は 2 番目の光学プロトタイプでも維持されました。

要旨

顔認識は、日常的なスマートフォンの生体認証から高度なセキュリティシステムまで、幅広い用途を持つ、広く普及しているコンピュータビジョンタスクです。ほとんどの顔認識システムは従来のカメラに依存していますが、カメラはかさばる形状、高コスト、限られたプライバシー保護などの制約を抱えています。これらの制約に対処するため、レンズレスカメラが代替手段として登場しました。レンズレスカメラは薄型の光学エンコーダを使用することで、小型化、低コスト化、設計の柔軟性の向上を実現しています。これらのカメラは通常、生のキャプチャを認識可能な画像に変換する再構成アルゴリズムと組み合わせて使用されます。しかし、再構成された画像にはアーティファクトが含まれることが多く、再構成手法は現実世界の状況にうまく一般化することが困難です。さらに、既存の顔データセットは、レンズレス画像に存在するアーティファクトを考慮していません。この問題を解決するために、レンズレス顔データセット（LFD）を紹介します。LFDは、さまざまな照明、角度、距離で撮影された21,080個のレンズレス生測定値、再構成、および標準画像で構成されています。私たちの主な貢献は以下のとおりです。(1) 実世界のレンズレス顔データ：LFDは、さまざまな環境下で発生するさまざまなレベルのアーティファクトを含む多様な顔データセットの取得に重点を置いています。(2) 実環境での取得：さまざまな強度の自然光とさまざまな背景パターンを持つ屋外環境で4,976枚の画像が取得されています。(3) 複数のレンズレスデバイス：LFDには、それぞれ独自の光学エンコーダを備えた3種類のレンズレスカメラから収集された顔画像が含まれています。このハードウェアの多様性を利用して、異なるレンズレスカメラ間での汎化性能を実証します。包括的な評価と分析を通じて、LFDが異なるレンズレスイメージングデバイス間で共通の特徴とアーティファクトを効果的に取得し、レンズレス顔認識の進歩に役立つ貴重なデータセットであることを示します。

研究の出発点

レンズレスカメラは、かさばるレンズを薄型のコード化された光学素子に置き換えることで、サイズを縮小し、センサーに人間が判読しにくい画像を表示させることができます。しかし、その画像再構成には、デバイス固有のぼやけ、色歪み、周辺光量落ちが含まれるため、通常の写真やシミュレーションによる測定値で学習させた認識モデルは、実際の撮影データには確実に適用できません。

手法

LFDは、4,976枚の屋外画像と3種類のレンズレスカメラ設計からのキャプチャを含む、21,080個の生のレンズレス計測、再構成、および標準画像を収集します。著者らは、再構成コンポーネントと顔検出コンポーネントを別々にトレーニングした後、標準VGGFace2画像、シミュレートされたレンズレス再構成、または実際のLFDトレーニング分割でトレーニングされたSENet認識器を比較します。検証には、イージー、アウトドア、完全、ハードの各サブセットにわたってバランスの取れた正例と負例のペアを使用し、その後、デバイス間テストを実施します。

論文要点

LFDは、レンズレス生体認証製品は、再構成を透過的な前処理ステップとして扱うのではなく、実際のセンサーアーティファクトに対して学習する必要があることを示している。これは、小型カメラやプライバシー重視のカメラを評価するための具体的な基礎を提供する一方で、屋外でのギャップが残っていることから、ハードウェアの利点には依然として相当な認識コストが伴うことが分かる。