저자 및 소속
Maxime Moussi
UCLouvain, Louvain-la-Neuve, Belgium
Benoît Ronval
UCLouvain, ICTEAM, Louvain-la-Neuve, Belgium
Siegfried Nijssen
UCLouvain, ICTEAM, Louvain-la-Neuve, Belgium
KU Leuven, DTAI, Leuven, Belgium
Félicien Schiltz
Euranova, Mont-Saint-Guibert, Belgium
해결하는 문제
민감 특성 라벨이 부족한 유명 검출 벤치마크 때문에 공정성 주장을 검증하기 어려운 측정 공백을 다룬다.
핵심 결과
실험은 Black 개인에 대한 검출 성능이 낮고, 이 그룹을 훈련에서 제외하면 다른 ethnicity 제외보다 격차가 더 커짐을 보인다.
초록
WIDER-FAIR는 WIDER-FACE subset에 인지된 ethnicity와 sex 주석을 붙여 얼굴 검출기의 인구통계 격차를 감사할 수 있게 한다. embedding, KNN, t-SNE로 일관성을 확인한다.
연구 출발점
얼굴 검출은 인식, liveness, 분석 파이프라인의 첫 단계인 경우가 많아 이 단계의 인구통계별 누락률이 모두에 전파된다.
방법
저자들은 16,256개 이미지를 4개 인지 ethnicity와 2개 sex category로 수동 주석하고, 특정 그룹 제외가 검출 공정성에 미치는 영향을 ablation으로 본다.
논문 요약
WIDER-FAIR는 검출기 공정성을 일화가 아닌 테스트 가능한 증거로 만든다. 공급업체에는 전체 점수가 좋아도 그룹별 실패가 숨을 수 있음을 알려준다.