← Назад в Блог
Исследовательский радарРаспознавание лицarXivоктябрь 2026 г.

Ежемесячный радар arXiv

Октябрь 2026 г. Документы по распознаванию лиц: внимание к жестким образцам, аудит данных и температурная шкала

Октябрьская работа по распознаванию лиц выходит за рамки одного результата в таблице лидеров. ViT-HarDis меняет способ регуляризации трансформатора во время обучения, аудит MS1MV3 определяет, какие исправления данных действительно помогают, а VTF900 тестирует перекрестное спектральное соответствие в масштабе, где привлекательные значения AUC могут скрывать слабые характеристики в рабочей точке.

Что показывает этот месяц

ViT-HarDis направляет декорреляцию головы внимания на образцы с неоднозначной идентичностью и ведет сравниваемые системы ViT на IJB-B, IJB-C и TinyFace без изменения вывода. Контролируемый аудит MS1MV3 показывает, что удаление 15,44 % повторяющихся изображений немного повышает точность и позволяет достичь базовой производительности с меньшим количеством шагов на 23,7 %, тогда как широкая фильтрация автоматически не приносит пользы. Затем VTF900 расширяет видимо-тепловую оценку до 900 субъектов: AUC 97,68% соответствует только 51,10% TAR при 1% FAR во фронтальной установке, а производительность вне позы еще больше падает. В совокупности в документах утверждается, что динамика обучения, дефекты данных, масштаб галереи и эксплуатационные пороги должны оцениваться отдельно.

Статья 012026-10-30cs.CV

Декорреляция внимания с учётом сложных примеров для устойчивого распознавания лиц

arXivPDF

Авторы и организации

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD

Какую задачу решает

ViT-HarDis нацелен на избыточное внимание, особенно там, где встраивание находится в опасной близости от другого идентификатора. Он предназначен для улучшения распознавания лиц в крупном масштабе и с низким разрешением, сохраняя при этом задержку вывода, форму модели и интерфейсы внедрения неизменными.

Ключевой результат

При контролируемой абляции ViT-S TAR на FAR 1e-4 повышается с 84,46% до 85,72% на IJB-B и с 88,18% до 89,09% на IJB-C. При обучении ViT-B на WebFace4M этот метод показывает 95,84% на IJB-B, 97,24% на IJB-C и 75,97% на TinyFace Rank-1, что является лидером среди сравниваемых систем на базе ViT. Стоимость вывода не изменилась, поскольку штраф связан только с обучением, хотя авторы сообщают, что обучение на WebFace4M длится примерно на 30 % дольше.

Аннотация

Внимание нескольких голов в Vision Transformers (ViTs) обеспечивает независимые модели внимания для разных голов, но без явной регуляризации головы могут усвоить избыточные модели, а не дополнительные роли. Штрафы, основанные на корреляции, способствуют распутыванию головы, но при этом применяют единую регуляризацию для всех обучающих выборок. При распознавании лиц (FR) жесткие образцы, вложения которых близки к конкурирующим личностям, имеют решающее значение для оптимизации и обобщения. Руководствуясь этим, мы предлагаем ViT-HarDis, который обусловливает распутывание головы внимания в зависимости от сложности выборки: образцы с высоким косинусным сходством с центрами отрицательных классов получают более сильную декорреляцию головы, обеспечивая специализацию там, где неоднозначность идентичности самая высокая. Эксперименты показывают улучшение как по сравнению с базовым уровнем, так и равномерное распутывание по большинству показателей. Наш анализ показывает, что ViT-HarDis уменьшает сходство жестких выборок с конкурирующими центрами классов, одновременно уменьшая сходство внимания между головами, и что применение распутывания только к конечным слоям преобразователя превосходит регуляризацию всей сети. Обученный на WebFace4M, ViT-HarDis достигает результатов SOTA среди методов на основе ViT на IJB-B, IJB-C и TinyFace Rank-1, одновременно достигая лучших результатов IJB-B и TinyFace при обучении на MS1MV3, улучшая FR без архитектурных модификаций или дополнительных затрат на логические выводы. Код: https://github.com/TaharChettaoui/Hard-Sample-Conditioned-Attention-for-FR.

Отправная точка исследования

Трансформаторы зрения могут назначать разные области лица разным головам внимания, но эти головы часто сходятся в повторяющихся шаблонах. Равномерные штрафы за декорреляцию одинаково относятся как к простому фронтальному портрету, так и к сложному образцу с неоднозначной идентичностью, даже несмотря на то, что сложные образцы вблизи конкурирующих центров классов с наибольшей вероятностью определяют ошибки проверки. В документе задается вопрос, можно ли сосредоточить возможности обучения на этих сложных идентичностях без изменения развернутой архитектуры.

Метод

Этот метод измеряет твердость образца от косинусного подобия до ближайшего центра отрицательного класса. Для каждого выбранного блока преобразователя он вычисляет штраф за корреляцию внимания между головами, взвешивает этот штраф сильнее для более правильно классифицированных образцов и добавляет его к обычным потерям при распознавании лиц на основе маржи. Эксперименты сравнивают базовую линию, равномерное распутывание и распутывание, обусловленное твердостью; абляция слоев показывает, что регуляризация только последней четверти блоков трансформатора более эффективна, чем применение ограничения повсюду.

Вывод по статье

Для команд, уже использующих лицевой энкодер ViT, это улучшение процедуры обучения, а не переделка системы инференса. Наибольший эффект наблюдается в сложных тестах с большим числом личностей и низким разрешением, но обучение занимает больше времени и требует проверки на целевой популяции.

Статья 022026-10-20cs.CV

Разные дефекты, разные эффекты: контролируемый аудит данных обучения распознаванию лиц

arXivPDF

Авторы и организации

Ana Dias

University of Beira Interior

Instituto de Telecomunicacoes

NOVA LINCS

João Ribeiro Pinto

Amadeus

Hugo Proença

University of Beira Interior

Instituto de Telecomunicacoes

João C. Neves

University of Beira Interior

NOVA LINCS

Какую задачу решает

В исследовании выделяются пять классов дефектов и измеряется эффект исправления каждого из них в рамках одного и того же протокола обучения IResNet-50 и ArcFace. Это позволяет владельцам данных отличать вмешательства, повышающие эффективность обучения, от широкой фильтрации, которая может случайно удалить информативные образцы.

Ключевой результат

Лучший вариант удаления дубликатов удаляет 15,44 % изображений, повышает среднюю точность проверки с 97,20 % до 97,27 % и достигает базовой производительности при меньшем на 23,7 % шаге оптимизации. Сопоставленное случайное удаление достигает только 97,18%, поэтому само по себе сокращение набора данных не объясняет результат. При объединении разделенных идентификаторов все изображения сохраняются, при этом достигается базовая производительность за счет меньшего количества шагов на 21,8 %; Удаление недопустимого контента помогает аналогичным образом, хотя объединение каждого фильтра достоверности не приводит автоматически к созданию лучшей модели.

Аннотация

Развитие распознавания лиц во многом поддерживается наличием крупномасштабных наборов обучающих данных. Среди них MS-Celeb-1M сыграл важную роль, предоставив миллионы изображений лиц почти 100 тысяч человек. Однако размер и неоднородность таких наборов данных увеличивают вероятность ошибок аннотаций, избыточных выборок и других форм несогласованности данных. Это побудило к внедрению усовершенствованных версий, таких как MS1MV2 и MS1MV3, направленных на улучшение качества обучающих данных. Несмотря на эти усилия по очистке, мы показываем, что в MS1MV3 остаются несколько типов дефектов обучающих данных. Предлагая дополнительные стратегии аудита данных, мы выделяем пять категорий дефектов: точные и почти повторяющиеся изображения, раздвоение личности, ошибки обрезки, многоликая неоднозначность и недействительный контент. Затем мы оцениваем эффект от исправления этих дефектов с помощью протокола обучения контролируемому распознаванию лиц, основанного на IResNet-50 и ArcFace. Результаты показывают, что целевые вмешательства могут сохранить, а в некоторых случаях улучшить эффективность распознавания, при этом требуя меньше шагов оптимизации для достижения производительности исходного обучающего набора. Удаление дубликатов обеспечивает очевидную общую выгоду, а объединение разделенных идентификаторов и удаление недействительного контента также повышают эффективность обучения. В целом результаты показывают, что эффект очистки набора данных сильно зависит от типа устраняемого дефекта, и предоставляют дополнительные доказательства того, что качество обучающих данных остается важным и сравнительно малоизученным фактором в крупномасштабном распознавании лиц. Манифесты обучения и код, использованные в этой работе, будут опубликованы после принятия.

Отправная точка исследования

Большие наборы данных для распознавания лиц обычно описываются как чистые или зашумленные в совокупности, однако дубликаты, раздвоение личности, некачественная обрезка, несколько лиц и недействительные изображения создают различные ошибки контроля. MS1MV3 уже является усовершенствованным эталоном, поэтому оставшиеся дефекты служат полезной проверкой того, улучшает ли еще один проход очистки распознавание или просто удаляет полезное разнообразие.

Метод

Точные и близкие дубликаты находятся с помощью перцептивных хешей; разделенные личности обнаруживаются с использованием представлений на уровне личности с последующей проверкой изображения; ошибки обрезки и многосторонняя неоднозначность используют геометрические проверки и проверки OFIQ; недействительный контент идентифицируется с помощью визуального ответа на вопрос BLIP. Авторы создают контролируемые варианты набора данных, включают контроль случайного удаления, соответствующий количеству идентификаторов и изображений, обучают каждый вариант одинаково и оценивают как точность проверки, так и ранние контрольные точки на IJB-B и IJB-C.

Вывод по статье

Практический урок заключается в том, чтобы проверять типы дефектов отдельно и измерять эффективность обучения, а также конечную точность. Удаление дубликатов и исправление меток личности здесь выглядят целесообразными, тогда как неразборчивая качественная фильтрация не является гарантированным выигрышем.

Статья 032026-10-17cs.CV

VTF900: набор данных и эталонный тест для визуально-теплового распознавания лиц на 900 человек

arXivPDF

Авторы и организации

Jacob Abaare

University of Nebraska-Lincoln

Bianca Ianetta

University of Nebraska-Lincoln

Cedric Nimpa Fondje

AeroVironment

Shuowen Hu

DEVCOM Army Research Laboratory

Benjamin S. Riggan

University of Tennessee, Knoxville

Какую задачу решает

VTF900 предоставляет парный видимо-тепловой тест для проверки и идентификации с закрытым набором на 900 человек. Он предназначен для того, чтобы показать, как масштабируются кросс-спектральные методы, когда обучающие данные поступают из другой коллекции и когда поза зонда, выражение лица и окклюзия различаются.

Ключевой результат

На полной галерее из 900 человек ViT-B достигает 97,68% AUC, но только 51,10% TAR при 1% FAR в лобовых условиях. DPIT-ResNet50 более устойчив вне позы: AUC 94,68% и TAR 36,08% при FAR 1%. Растущий разрыв между основным AUC и эксплуатационным TAR, а также деградация по мере увеличения размера галереи показывает, почему результаты тепловых тестов с участием примерно 100 человек не определяют готовность производства.

Аннотация

Несмотря на достижения в области видимо-теплового распознавания лиц, где изображения лиц, полученные с помощью термозонда (запроса), сопоставляются с видимыми шаблонами регистрации, существующие тесты в настоящее время ограничены небольшими размерами галерей (N около 100 субъектов). Это ограничение препятствует возможности точно оценить видимо-тепловое распознавание лиц в масштабе и сообщить о значительных показателях эффективности распознавания, которые имеют большую эксплуатационную значимость. Поэтому мы представляем VTF900, крупномасштабный тест распознавания лиц в видимом и тепловом диапазонах с 900 объектами и парными изображениями, включающими вариации выражения, позы и окклюзии. VTF900 предназначен для поддержки крупномасштабных (т. е. больших галерей) оценок при проверке (сопоставление 1:1) и идентификации с закрытым набором (сопоставление 1:N) для видимо-теплового распознавания лиц. Кроме того, VTF900 специально предназначен для сложной комбинации перекрестного спектрального анализа и анализа перекрестных наборов данных. В этой статье, после обучения моделей на наборе данных ARL-VTF, мы предоставляем эталонный анализ сверточных (базовых), преобразователей зрения и архитектур нейронных сетей, адаптивных к предметной области, чтобы оценить, как масштабируются эти методы. В полном масштабе галереи (N = 900) модели трансформаторов достигают высоких различительных характеристик при фронтальных условиях (например, ViT-B: 97,68% AUC, 51,10% TAR@1%FAR), в то время как адаптивные к домену методы, такие как DPIT-ResNet50, демонстрируют большую надежность в условиях не позы (94,68% AUC, 36,08% TAR@1%FAR). Наши результаты показывают, что высокая AUC в небольших масштабах не обеспечивает надежную производительность в масштабе развертывания, и что изменение позы значительно усиливает снижение производительности. VTF900 раскрывает эти ограничения, позволяя более тщательно оценивать системы перекрестного спектрального распознавания лиц.

Отправная точка исследования

Распознавание лиц в видимом или тепловом диапазоне привлекательно для работы при слабом освещении и в ночное время, но большинство публичных оценок содержат около сотни личностей. Небольшие галереи могут сделать AUC сильным, скрывая при этом ложные совпадения и ошибки ранжирования, которые появляются, когда системе приходится выполнять поиск в популяции размером с развертывание, особенно при смене позы и сенсора.

Метод

Набор данных объединяет видимые изображения регистрации с тепловыми датчиками для 900 согласившихся субъектов и определяет контролируемые и исчерпывающие оппортунистические протоколы. Модели обучаются на ARL-VTF, а не на VTF900, а затем тестируются в галереях увеличивающегося размера с использованием сверточных, преобразовательных и доменно-адаптивных архитектур. Анализ сообщает о показателях проверки и идентификации отдельно для условий фронтальной и вне позы.

Вывод по статье

VTF900 полезен для покупателей, оценивающих системы идентификации в ночное время, поскольку он проверяет как несоответствие датчиков, так и масштаб галереи. Его результаты свидетельствуют о том, что необходимо сообщать о показателях рабочей точки и стратификации позы, а не только об AUC.