저자 및 소속
Dohun Kim
School of Data Science, The University of Suwon
Jinmyung Jung
School of Data Science, The University of Suwon
해결하는 문제
WeaveFace는 전체 기능 맵을 연결하거나 2차 self-attention을 적용하는 데 필요한 메모리 및 계산 비용을 지불하지 않고 매개변수가 백만 개 미만인 얼굴 감지기에 전역 교차 규모 상호 작용을 추가하는 것을 목표로 합니다.
핵심 결과
WIDER FACE에서 WeaveFace는 34만 개의 매개변수와 1.16 GFLOP를 갖춘 평균 AP의 91.41%를 보고했습니다. 하드 하위 집합 AP는 87.14%로, 작고 폐색된 면이 교차 규모 설계를 가장 강조하는 영역입니다. 이 논문은 50만 개 매개변수 미만의 이전 검출기보다 정확도가 더 높다고 보고합니다.
초록
FPN에서 BiFPN까지의 특징 피라미드 방법은 다중 규모 특징을 융합하여 얼굴 감지에서 강력한 성능을 달성했습니다. 그러나 소규모, 폐색, 극단적인 포즈 등 제약되지 않은 조건에서 얼굴을 감지하는 것은 로컬 융합으로 모델링할 수 없는 전역 규모의 종속성이 필요하기 때문에 여전히 어렵습니다. Mamba와 같은 상태 공간 모델은 특징을 시퀀스로 스캔하여 선형 복잡성이 있는 전역 컨텍스트를 제공하므로 이 문제에 대한 유망한 방향을 제시합니다. 그럼에도 불구하고 이러한 스캔에는 두 개의 피라미드 스케일을 단일 기능 맵으로 결합해야 하며, 결합 방식에 따라 교차 스케일 구조가 유지되는지 여부가 결정됩니다. 합산은 스캔 전에 두 척도를 축소하므로 스캔에는 악용할 교차 척도 구조가 없는 반면 연결은 두 척도를 모두 유지하지만 훨씬 더 높은 비용이 듭니다. 이 문제를 해결하기 위해 우리는 수평 양방향 SS2D 스캔의 각 단계가 한 스케일에서 다른 스케일로 이동하도록 두 개의 인접한 피라미드 스케일을 열별로 인터리브하는 Weave Mamba Fusion(WMF)을 제안합니다. 부분 채널 처리 및 매개변수 없는 디위빙을 통해 WMF는 기능 구조를 유지하면서 효율적인 규모 간 상호 작용을 가능하게 합니다. 모든 융합 노드에 WMF를 통합하면 WeaveFace 감지기의 목 부분인 WeaveBiFPN이 생성됩니다. WIDER FACE에서 WeaveFace는 0.34M 매개변수와 1.16 GFLOP로 91.41% 평균 AP를 달성하여 0.5M 매개변수에서 이전 감지기보다 성능이 뛰어납니다. 가장 큰 이득은 하드 하위 집합에서 87.14% AP에 도달합니다. 코드는 https://github.com/dohun-mat/WeaveMambaFusion에서 공개적으로 제공됩니다.
연구 출발점
작고, 가려지고, 강하게 회전하는 면에는 고해상도 피라미드 수준의 미세한 공간 세부 정보와 저해상도 수준의 의미적 맥락이 필요합니다. 표준 FPN과 BiFPN 융합은 국부적으로 이루어지는 반면, 경량 감지기에 사용되는 해상도에서는 전체 주의가 너무 비쌀 수 있습니다.
방법
Weave Mamba Fusion은 인접한 피라미드 레벨의 열을 인터리브하여 양방향 수평 SS2D 스캔이 각 단계에서 스케일을 번갈아 가며 수행됩니다. 채널의 일부만 처리되며 매개변수가 없는 디위빙 작업을 통해 원래 스케일이 복원됩니다. 각 BiFPN 융합 노드를 이 연산자로 교체하면 WeaveFace 감지기의 목으로 사용되는 WeaveBiFPN이 생성됩니다.
논문 요약
작은 얼굴이 많은 장면에서 매개변수 수와 연산량이 제한된 에지 장치에 유망한 검출기입니다. 효율성의 주된 근거가 모델 복잡도이므로 실제 사용할 가속기에서 지연 시간과 메모리 사용량을 측정해야 합니다.