저자 및 소속
Kartik Narayan
Johns Hopkins University
Vishal M. Patel
Johns Hopkins University
해결하는 문제
논문은 단일 공유 인코더가 LR 미세조정 뒤 열화 영역을 제대로 처리하지 못하고 HR 식별 지식을 잃는 문제를 다룬다.
핵심 결과
11개의 HR, 혼합 품질, LR 벤치마크에서 저자들은 희소 expert 활성화를 유지하며 기존 SOTA보다 뚜렷한 향상을 보고한다.
초록
FaceMoE는 흐림, 가림, 낮은 대비와 HR/LR 도메인 차이로 신원 단서가 약해지는 저해상도 얼굴 인식을 다룬다. Transformer에 FFN 전문가와 top-k 라우터를 추가해 전문 용량을 희소하게 활성화한다.
연구 출발점
감시, 출입, 국경 업무에서는 열화된 probe와 선명한 등록 이미지를 비교한다. 문제는 세부 정보 부족뿐 아니라 도메인 차이와 망각이다.
방법
FaceMoE는 Transformer에 전문 FFN expert를 넣고 토큰별 top-k 라우팅을 쓴다. 인식 손실, router z-loss, load balancing loss가 안정적인 전문화를 유도한다.
논문 요약
FaceMoE는 촬영 품질을 통제하기 어려운 팀에 유용하다. 라우팅으로 열화 얼굴 처리 용량을 늘리되 별도 LR 시스템이나 더 큰 dense 모델 비용을 피할 수 있다.