著者・所属
Maxime Moussi
UCLouvain, Louvain-la-Neuve, Belgium
Benoît Ronval
UCLouvain, ICTEAM, Louvain-la-Neuve, Belgium
Siegfried Nijssen
UCLouvain, ICTEAM, Louvain-la-Neuve, Belgium
KU Leuven, DTAI, Leuven, Belgium
Félicien Schiltz
Euranova, Mont-Saint-Guibert, Belgium
何を解決するか
広く使われる検出benchmarkにはsensitive feature labelが少なく、fairness主張を検証しにくいという測定gapを扱う。
主要結果
実証ではBlack individualsの検出性能が目立って低く、このgroupをtrainingから除外すると他のethnic groupより格差が大きくなる。
要旨
WIDER-FAIRはWIDER-FACEのsubsetに知覚されたethnicityとsexの注釈を追加し、顔検出器の人口統計的格差を監査できるようにする。embedding、KNN、t-SNEで注釈の一貫性を確認し、YOLOv5 ablationでbias分析を示す。
研究の出発点
顔検出は認識、liveness、analyticsの最初の段階であることが多く、この段階の人口統計別miss rateは下流指標すべてに伝播する。
手法
著者は16,256画像に4つの知覚ethnicityと2つのsex categoryを手動注釈し、その注釈でtraining-data ablationを行い、特定groupの除外が検出fairnessをどう変えるかを示す。
論文要点
WIDER-FAIRは、検出器fairnessを逸話ではなく検証可能な証拠に移す点で重要である。vendorにとって、優れたbenchmark scoreでも適切な注釈がなければgroup-specific failureを隠しうるという警告になる。