著者・所属
Luis S. Luevano
Idiap Research Institute, Switzerland
Ünsal Öztürk
Idiap Research Institute, Switzerland
Hatef Otroshi Shahreza
Idiap Research Institute, Switzerland
Anjith George
Idiap Research Institute, Switzerland
Sébastien Marcel
Idiap Research Institute, Switzerland
何を解決するか
この研究は、ラベル付きネイティブデータが限られている場合に、どの合成低解像度戦略がコンパクトな顔認識器に実際に役立つのか、また人工的にダウンサンプリングされたLFWスタイルのテストから導き出された結論が実際のTinyFaceプローブ上で存続するかどうかを問います。また、超分解能および翻訳モジュールが単に視覚的外観を改善するだけでなく、同一性を保つことを証明する直接入力基準も確立しています。
主要結果
合成テストでは28ピクセルの劣化が推奨されましたが、同じ設定は実際のTinyFaceでは高解像度訓練ベースラインを下回りました。より穏やかな56ピクセル補間拡張が最良のコンパクト構成であり、TinyFaceのmAPは52.55から54.68に、ランク1の識別率は59.66%から61.40%に上昇しました。学習済みのRRDB超解像度およびドメイン変換パイプラインは、EdgeFaceベースで57.53 mAPに達しましたが、直接入力では65.12でした。知識蒸留は最大の合成向上をもたらしましたが、ネイティブの低解像度には移行せず、合成の精度が制限要因であることを示しました。
要旨
監視環境における顔認識(FR)システムは、標準的な112 $ × times$ 112入力サイズを下回る低解像度(LR)顔に遭遇することが多いです。ラベル付き高解像度(HR)の訓練データは豊富ですが、ラベル付きネイティブLRデータ、特にペア化されたネイティブLR/HRデータは希少です。回避策として利用可能なHR顔からLRデータを合成する方法がありますが、認識精度にどれだけの労力が見合うかは不明です。我々は、補間ベースの劣化、知識蒸留、Prepended Domain Transformer(PDT)、Real ESRGANスタイルの劣化、そして識別認識損失を伴う学習済みスーパーレゾリューション(SR)フロントエンドを含む、コンパクトでエッジデバイス指向の顔認識システムのための単純な合成生成戦略の研究を提示します。これらの戦略を合成クロス解像度の顔ベンチマーク(LFW、CFP-FP、AgeDB-30)や、実際のネイティブLRデータセットであるTinyFaceで評価し、合成ベンチマークで最適な劣化設定が実際のLRで最適とは異なるという合成と実数のギャップを明らかにしました。合成作業が増えても単調には役に立たないことがわかりました。学習したSRフロントエンドは、アラインメントされたLR画像を強力なバックボーンに直接送るよりも上回らず、コンパクトなバックボーンの単純な補間補強だけが独自のベースラインを上回るものです。LR顔認識の生成手法は実際のLRおよび直接フィードベースラインに対して検証される必要があると結論づけ、パイプラインを https://idiap.ch/paper/synth-lrfr 年に公開します
研究の出発点
監視やウォッチリストシステムは、標準的な112×112入力よりもはるかに小さい顔のアラインメントプローブと高品質な登録画像を日常的に比較します。特に同一人物の低解像度と高解像度のペアキャプチャは稀であるため、チームは豊富な高解像度顔から低解像度のトレーニングデータを製造することが多いです。実際のリスクは、劣化レシピが合成ベンチマークで高評価を得て、実際のカメラのぼかし、ノイズ、圧縮、アラインメントエラーに似ない認識手がかりを教えることです。
手法
著者らは365万パラメータのEdgeFace-Sバックボーンを用い、補間によるダウンサンプルおよびアップサンプル増強、高解像度の教師知識蒸留、前置ドメイントランスフォーマー、Real-ESRGANスタイルの劣化で訓練されたネイティブ32ピクセルステム、アイデンティティ認識型学習型超解像度フロントエンドの5つの適応レベルを比較します。彼らはLFW、CFP-FP、AGEDB-30上で高対低および低から低への検証を評価し、ネイティブの低解像度TinyFaceで2つのアライメントパイプラインで比較を繰り返しました。より大きな凍結されたEdgeFaceベースモデルは、生成フロントエンドがアライン化されたプローブを直接強力な認識器に送るよりも優れているかどうかを検証するための参照を提供します。
論文要点
エッジ端末や監視用途では、すべての低解像度手法を実際に撮影された低解像度顔で検証し、強力な直接入力ベースラインを維持すべきです。単純で緩やかな補間拡張は、超解像パイプラインより費用対効果が高い場合があります。極端な低解像度を人工的に作ったテストでの改善だけでは、現場性能の根拠になりません。