← 블로그로 돌아가기
연구 레이더얼굴 인식arXiv2026년 10월

월간 arXiv 레이더

2026년 10월 얼굴 인식 논문: 하드 샘플 주의, 데이터 감사 및 열 척도

10월의 얼굴 인식 작업은 단일 리더보드 점수 그 이상을 보여줍니다. ViT-HarDis는 훈련 중에 변환기가 정규화되는 방식을 변경하고, MS1MV3 감사는 어떤 데이터 복구가 실제로 도움이 되는지 측정하며, VTF900은 매력적인 AUC 값이 약한 작동 지점 성능을 숨길 수 있는 규모로 교차 스펙트럼 매칭을 테스트합니다.

이번 달이 보여주는 신호

ViT-HarDis는 신원이 모호한 샘플에 대한 주의 헤드 역상관을 지시하고 추론을 변경하지 않고 IJB-B, IJB-C 및 TinyFace에서 비교된 ViT 시스템을 주도합니다. 통제된 MS1MV3 감사에 따르면 15.44%의 중복 이미지를 제거하면 정확도가 약간 향상되고 23.7% 더 적은 단계로 기본 성능에 도달하는 반면 광범위한 필터링은 자동으로 도움이 되지 않습니다. 그런 다음 VTF900은 가시광·열적외선 평가를 900명의 대상으로 확장합니다. 97.68% AUC는 정면 설정에서 1% FAR에서 51.10% TAR에 해당하며 오프 포즈 성능은 더욱 떨어집니다. 이 논문에서는 훈련 역학, 데이터 결함, 갤러리 규모 및 운영 임계값을 별도로 평가해야 한다고 주장합니다.

논문 012026-10-30cs.CV

강건한 얼굴 인식을 위한 어려운 샘플 조건부 어텐션 비상관화

arXivPDF

저자 및 소속

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD

해결하는 문제

ViT-HarDis는 특히 임베딩이 다른 신원과 위험할 정도로 가까운 경우 중복된 주의를 집중시키는 것을 목표로 합니다. 추론 대기 시간, 모델 모양 및 임베딩 인터페이스를 변경하지 않고 유지하면서 대규모 및 저해상도 얼굴 인식을 개선하도록 설계되었습니다.

핵심 결과

제어된 ViT-S 절제에서 FAR 1e-4의 TAR은 IJB-B에서는 84.46%에서 85.72%로, IJB-C에서는 88.18%에서 89.09%로 증가합니다. WebFace4M에서 훈련된 ViT-B를 사용하면 이 방법은 IJB-B에서 95.84%, IJB-C에서 97.24%, TinyFace Rank-1에서 75.97%를 보고하여 ViT 기반 시스템 비교에서 선두를 달리고 있습니다. 저자는 WebFace4M에서 훈련 시간이 약 30% 더 길다고 보고했지만 페널티는 훈련 전용이기 때문에 추론 비용은 변하지 않습니다.

초록

ViT(Vision Transformers)의 다중 헤드 주의는 머리 전반에 걸쳐 독립적인 주의 패턴을 허용하지만 명시적인 정규화가 없으면 머리는 보완적인 역할이 아닌 중복 패턴을 학습할 수 있습니다. 상관 기반 페널티는 머리 분리를 장려하지만 모든 훈련 샘플에 균일한 정규화를 적용합니다. 얼굴 인식(FR)에서는 임베딩이 경쟁 ID에 가까운 하드 샘플이 최적화 및 일반화에 중요합니다. 이에 동기를 부여하여 우리는 샘플 난이도에 대한 주의 헤드 분리를 조건으로 하는 ViT-HarDis를 제안합니다. 네거티브 클래스 센터에 대한 코사인 유사성이 높은 샘플은 더 강한 헤드 상관 관계를 수신하여 신원 모호성이 가장 높은 전문화를 적용합니다. 실험 결과 대부분의 벤치마크에서 기준선과 균일한 풀림 모두에 대한 개선이 나타났습니다. 우리의 분석에 따르면 ViT-HarDis는 경쟁 클래스 센터에 대한 하드 샘플의 유사성을 줄이는 동시에 헤드간 주의 유사성을 줄이며, 최종 변환기 레이어에만 분리를 적용하는 것이 전체 네트워크를 정규화하는 것보다 성능이 우수하다는 것을 보여줍니다. WebFace4M에서 교육을 받은 ViT-HarDis는 IJB-B, IJB-C 및 TinyFace Rank-1에서 ViT 기반 방법 중 SOTA 결과를 달성하는 동시에 MS1MV3에서 교육을 받을 때 최고의 IJB-B 및 TinyFace 결과를 달성하여 아키텍처 수정이나 추가 추론 비용 없이 FR을 향상시킵니다. 코드: https://github.com/TaharChettaoui/Hard-Sample-Conditioned-Attention-for-FR.

연구 출발점

Vision Transformer는 다양한 얼굴 영역을 다양한 주의 머리에 할당할 수 있지만 이러한 머리는 종종 중복 패턴으로 수렴됩니다. 경쟁 클래스 센터 근처의 어려운 샘플이 확인 오류를 결정할 가능성이 가장 높은 샘플임에도 불구하고 균일한 역상관 페널티는 쉬운 정면 초상화와 신원이 모호한 하드 샘플을 모두 처리합니다. 이 백서는 배포된 아키텍처를 변경하지 않고도 이러한 어려운 정체성에 교육 역량을 집중할 수 있는지 묻습니다.

방법

이 방법은 코사인 유사성부터 가장 가까운 네거티브 클래스 중심까지 샘플 경도를 측정합니다. 선택된 각 변환기 블록에 대해 헤드 간 주의 상관 페널티, 정확하게 분류된 샘플에 대해 더 강력한 페널티를 적용하는 가중치를 계산하고 이를 일반 마진 기반 얼굴 인식 손실에 추가합니다. 실험에서는 기준선, 균일한 풀림, 경도 조건 풀림을 비교합니다. 레이어 절제는 변압기 블록의 마지막 1/4만 정규화하는 것이 모든 곳에 제약 조건을 적용하는 것보다 더 효과적이라는 것을 보여줍니다.

논문 요약

이미 ViT 얼굴 인코더를 사용하는 팀이라면 추론 시스템을 다시 만드는 대신 학습 절차를 개선할 수 있습니다. 대규모·저해상도 난이도 높은 평가에서 효과가 크지만 학습 시간이 늘어나므로 실제 대상 집단에서 검증해야 합니다.

논문 022026-10-20cs.CV

다양한 결함, 다양한 효과: 얼굴 인식 훈련 데이터에 대한 통제된 감사

arXivPDF

저자 및 소속

Ana Dias

University of Beira Interior

Instituto de Telecomunicacoes

NOVA LINCS

João Ribeiro Pinto

Amadeus

Hugo Proença

University of Beira Interior

Instituto de Telecomunicacoes

João C. Neves

University of Beira Interior

NOVA LINCS

해결하는 문제

이 연구에서는 5개의 결함 클래스를 분리하고 동일한 IResNet-50 및 ArcFace 교육 프로토콜에 따라 각 클래스를 수정하는 효과를 측정합니다. 이를 통해 데이터 소유자는 교육 효율성을 향상시키는 개입과 유익한 샘플을 실수로 제거할 수 있는 광범위한 필터링을 구별할 수 있습니다.

핵심 결과

최고의 중복 제거 설정은 이미지의 15.44%를 삭제하고, 평균 유효성 검사 정확도를 97.20%에서 97.27%로 높이고, 23.7% 더 적은 최적화 단계로 기준 성능에 도달합니다. 일치하는 무작위 제거는 97.18%에 불과하므로 데이터 세트 축소만으로는 결과를 설명할 수 없습니다. 분할 ID를 병합하면 21.8% 더 적은 단계로 기준 성능에 도달하면서 모든 이미지가 유지됩니다. 유효하지 않은 콘텐츠를 제거하는 것도 비슷하게 도움이 되지만, 모든 유효성 필터를 결합하면 최상의 모델이 자동으로 생성되지는 않습니다.

초록

얼굴 인식의 발전은 대규모 교육 데이터 세트의 가용성으로 인해 강력하게 지원되었습니다. 그 중에서 MS-Celeb-1M은 거의 10만 개에 달하는 신원에서 수백만 개의 얼굴 이미지를 제공하는 중요한 역할을 했습니다. 그러나 이러한 데이터 세트의 크기와 이질성으로 인해 주석 오류, 중복 샘플 및 기타 형태의 데이터 불일치 가능성이 높아집니다. 이로 인해 훈련 데이터의 품질 향상을 목표로 하는 MS1MV2 및 MS1MV3과 같은 개선된 버전이 도입되었습니다. 이러한 정리 노력에도 불구하고 MS1MV3에는 여러 유형의 훈련 데이터 결함이 남아 있음을 보여줍니다. 보완적인 데이터 감사 전략을 제안함으로써 우리는 정확하고 거의 중복된 이미지, 분할된 ID, 자르기 오류, 다중 얼굴 모호함, 유효하지 않은 콘텐츠 등 5가지 결함 범주를 식별합니다. 그런 다음 IResNet-50 및 ArcFace를 기반으로 하는 제어된 얼굴 인식 훈련 프로토콜에 따라 이러한 결함을 수정하는 효과를 평가합니다. 결과는 표적화된 개입이 원래 훈련 세트의 성능에 도달하기 위해 더 적은 최적화 단계를 필요로 하면서 인식 성능을 보존하고 어떤 경우에는 향상시킬 수 있음을 보여줍니다. 중복 제거는 가장 명확한 전체 이점을 제공하는 반면, 분할 ID 병합 및 유효하지 않은 콘텐츠 제거는 교육 효율성도 향상시킵니다. 전반적으로, 결과는 데이터 세트 정리의 효과가 해결되는 결함 유형에 크게 좌우된다는 것을 나타내며 훈련 데이터 품질이 대규모 얼굴 인식에서 여전히 중요하고 비교적 과소 탐구되는 요소라는 추가 증거를 제공합니다. 이 작업에 사용된 교육 매니페스트와 코드는 수락 시 공개됩니다.

연구 출발점

대규모 얼굴 인식 데이터 세트는 일반적으로 집합적으로 깨끗하거나 노이즈가 많은 것으로 설명되지만 중복, 신원 분할, 잘못된 자르기, 여러 얼굴 및 유효하지 않은 이미지로 인해 다양한 감독 오류가 발생합니다. MS1MV3은 이미 개선된 벤치마크이므로 남아 있는 결함을 통해 또 다른 정리 과정을 통해 인식이 향상되는지 아니면 유용한 다양성만 제거되는지에 대한 유용한 테스트를 제공합니다.

방법

지각 해시를 사용하면 정확하고 거의 중복된 항목이 발견됩니다. 분할된 신원은 신원 수준 표현과 이미지 확인을 통해 발견됩니다. 자르기 오류 및 다중 면 모호성은 기하학적 및 OFIQ 검사를 사용합니다. 유효하지 않은 콘텐츠는 BLIP 시각적 질문 답변으로 식별됩니다. 저자는 제어된 데이터 세트 변형을 만들고, ID 및 이미지 수와 일치하는 무작위 제거 제어를 포함하고, 각 변형을 동일하게 훈련하고, IJB-B 및 IJB-C에서 검증 정확도와 초기 체크포인트를 모두 평가합니다.

논문 요약

운영 교훈은 결함 유형을 별도로 감사하고 학습 효율성과 최종 정확성을 측정하는 것입니다. 중복 제거 및 신원 복구는 여기에서 가치가 있는 것처럼 보이지만 무차별적인 품질 필터링은 승리를 보장하지 않습니다.

논문 032026-10-17cs.CV

VTF900: 900명 규모의 가시광·열적외선 얼굴 인식 데이터셋 및 벤치마크

arXivPDF

저자 및 소속

Jacob Abaare

University of Nebraska-Lincoln

Bianca Ianetta

University of Nebraska-Lincoln

Cedric Nimpa Fondje

AeroVironment

Shuowen Hu

DEVCOM Army Research Laboratory

Benjamin S. Riggan

University of Tennessee, Knoxville

해결하는 문제

VTF900은 검증 및 폐쇄 세트 식별을 위해 900개 대상 쌍의 가시광·열적외선 벤치마크를 제공합니다. 훈련 데이터가 다른 컬렉션에서 나올 때와 프로브 자세, 표현 및 폐색이 다를 때 교차 스펙트럼 방법이 어떻게 확장되는지 밝히기 위한 것입니다.

핵심 결과

전체 900명 갤러리에서 ViT-B는 AUC 97.68%에 도달하지만 정면 조건에서는 FAR 1%에서 TAR 51.10%에 불과합니다. DPIT-ResNet50은 1% FAR에서 94.68% AUC 및 36.08% TAR로 탄력성이 더 뛰어납니다. 헤드라인 AUC와 운영 TAR 사이의 격차가 커지고 갤러리 크기가 커짐에 따라 저하되는 현상은 약 100명의 열 벤치마크 결과가 생산 준비 상태를 확립하지 못하는 이유를 보여줍니다.

초록

열 프로브(쿼리) 얼굴 이미지를 가시 등록 템플릿과 일치시키는 가시광·열적외선 얼굴 인식의 발전에도 불구하고 기존 벤치마크는 현재 작은 갤러리 크기(N 약 100 주제)로 제한됩니다. 이러한 제한으로 인해 가시광·열적외선 얼굴 인식을 대규모로 정확하게 평가하고 운영 관련성이 더 높은 중요한 인식 성능 지표를 보고하는 기능이 방해를 받습니다. 따라서 우리는 900명의 피사체와 표정, 포즈 및 교합 변화를 포함하는 쌍을 이루는 이미지를 갖춘 대규모 가시광·열적외선 얼굴 인식 벤치마크인 VTF900을 소개합니다. VTF900은 가시광·열적외선 얼굴 인식을 위한 검증(1:1 매칭) 및 폐쇄 세트 식별(1:N 매칭) 전반에 걸쳐 대규모(예: 대형 갤러리) 평가를 지원하도록 설계되었습니다. 또한 VTF900은 특히 교차 스펙트럼 및 교차 데이터세트 분석의 까다로운 조합을 해결합니다. 이 문서에서는 ARL-VTF 데이터 세트에 대한 모델을 훈련한 후 컨벌루션(기준선), 비전 변환기 및 도메인 적응 신경망 아키텍처에 대한 벤치마크 분석을 제공하여 이러한 방법이 어떻게 확장되는지 평가합니다. 전체 갤러리 규모(N = 900)에서 변압기 모델은 정면 조건(예: ViT-B: 97.68% AUC, 51.10% TAR@1%FAR)에서 강력한 식별 성능을 달성하는 반면, DPIT-ResNet50과 같은 도메인 적응 방법은 오프 포즈 조건(94.68%AUC, 36.08% TAR@1%FAR)에서 더 큰 견고성을 보여줍니다. 우리의 결과는 소규모의 높은 AUC가 배포 규모에서 안정적인 성능으로 변환되지 않으며, 이러한 포즈 변화가 성능 저하를 크게 증폭시킨다는 것을 보여줍니다. VTF900은 이러한 한계를 드러내므로 교차 스펙트럼 얼굴 인식 시스템을 보다 엄격하게 평가할 수 있습니다.

연구 출발점

가시광선 얼굴 인식은 저조도 및 야간 작업에 매력적이지만 대부분의 공개 평가에는 대략 100개의 신원이 포함됩니다. 소규모 갤러리는 시스템이 배포 규모의 인구를 검색해야 할 때, 특히 포즈 및 센서 이동 시 나타나는 잘못된 일치 및 순위 오류를 숨기면서 AUC를 강력하게 보이게 할 수 있습니다.

방법

데이터 세트는 900명의 동의한 피험자를 위한 열 프로브와 가시적 등록 이미지를 결합하고 통제되고 철저한 기회주의적 프로토콜을 정의합니다. 모델은 VTF900이 아닌 ARL-VTF에서 훈련된 다음 컨벌루션, 변환기 및 도메인 적응 아키텍처를 사용하여 증가하는 갤러리 크기에 걸쳐 테스트됩니다. 분석은 정면 및 오프 포즈 조건에 대한 검증 및 식별 지표를 별도로 보고합니다.

논문 요약

VTF900은 센서 불일치와 갤러리 규모를 모두 테스트하므로 야간 ID 시스템을 평가하는 구매자에게 유용합니다. 그 결과는 AUC만 보고하는 것이 아니라 작동 지점과 계층화된 측정 지표를 보고해야 한다고 주장합니다.