作者与机构
Kartik Narayan
Johns Hopkins University
Vishal M. Patel
Johns Hopkins University
解决了什么问题
论文解决单一共享编码器的弱点:在低清数据上微调后,它可能既不能充分建模退化区域,又丢失高清识别知识。
关键结果
作者在 11 个高清、混合质量和低清基准上报告了相对现有低分辨率人脸识别方法的显著提升,同时保持稀疏专家激活。
摘要
FaceMoE 聚焦低分辨率人脸识别:探测图像常因模糊、遮挡、低对比度以及与高分辨率底库不匹配而丢失身份线索。它在 Transformer 中加入多个 FFN 专家和 top-k 路由,使不同脸部区域与分辨率能够调用专门容量,同时尽量保留预训练知识。
研究出发点
监控、门禁与边检常要把退化探测图与更清晰的注册图比对;风险不只是细节变少,还包括低清域微调让编码器遗忘高清识别能力。
方法概述
FaceMoE 在 Transformer 中插入专门的前馈专家,并通过 top-k 路由让每个 token 只选择少量专家。训练目标结合人脸识别损失、router z-loss 与负载均衡损失,让专家稳定分工而不必每张图都激活全部专家。
论文总结
FaceMoE 适合无法控制采集质量的团队。它的产品意义在于:用路由机制为退化人脸增加容量,而不必重训一套低清专用系统,也不必承担更大稠密模型的全部计算成本。