Исследовательский радарРаспознавание лицarXivоктябрь 2026 г.

Ежемесячный радар arXiv

Октябрь 2026 г. Документы по распознаванию лиц: Lightweight Fusion, онлайн-динамики и настоящее видеонаблюдение

В октябре была опубликована одна статья о прямом детекторе и два полезных исследования на системном уровне, посвященных локализации. WeaveFace фокусируется на маленьких и закрытых лицах в условиях ограниченного вычислительного бюджета. CAST-ASD показывает, как отслеживаемые лица можно сравнивать в режиме онлайн без каких-либо будущих кадров, а CVBL-CCTV-Face проверяет, что происходит после обнаружения, когда реальное ухудшение наблюдения достигает улучшения и сопоставления.

Что показывает этот месяц

WeaveFace чередует масштабы соседних объектов перед сканированием Mamba и достигает средней точки AP 91,41% на WIDER FACE с 0,34 миллионами параметров. CAST-ASD принимает обнаруженные следы лиц в качестве входных данных и использует беспрецедентное внимание к текущим говорящим, сокращая количество ложных тревог конкурирующих говорящих на 32% на MSDWild. CVBL-CCTV-Face предоставил 223 идентификационных данных, захваченных при подлинном ухудшении качества наблюдения, и обнаружил, что точная настройка синтетического ухудшения помогает распознаванию больше, чем прямая точная настройка низкого качества. Общий вывод заключается в том, что качество детектора, анализ онлайн-сцены и утилита распознавания на последующих этапах должны тестироваться как один конвейер.

Статья 012026-10-05cs.CV

Weave Mamba Fusion: глобальное взаимодействие между масштабами для легковесного обнаружения лиц

arXiv PDF

Авторы и организации

Dohun Kim

School of Data Science, The University of Suwon

Jinmyung Jung

School of Data Science, The University of Suwon

Какую задачу решает

WeaveFace стремится добавить глобальное межмасштабное взаимодействие к детектору лиц с субмиллионом параметров без затрат на память и вычислительные затраты на объединение полных карт объектов или применение квадратичного самоконтроля.

Ключевой результат

На WIDER FACE WeaveFace сообщает о средней точке доступа 91,41% с 0,34 миллионами параметров и 1,16 GFLOP. Его жесткое подмножество AP составляет 87,14%, область, где маленькие и закрытые лица больше всего подчеркивают межмасштабный дизайн. В документе сообщается о более высокой точности, чем у предыдущих детекторов с параметрами менее 0,5 миллиона.

Аннотация

Методы пирамиды признаков, от FPN до BiFPN, достигли высокой эффективности в обнаружении лиц за счет объединения многомасштабных функций. Однако обнаружение лиц в неограниченных условиях, таких как мелкий масштаб, окклюзия и экстремальная поза, остается трудным, поскольку требует глобальных межмасштабных зависимостей, которые локальное слияние не может смоделировать. Модели пространства состояний, такие как Mamba, обеспечивают глобальный контекст с линейной сложностью путем сканирования объектов как последовательности и, следовательно, предлагают многообещающее направление для решения этой проблемы. Тем не менее, такое сканирование требует объединения двух масштабов пирамиды в одну карту объектов, и способ их объединения определяет, сохранится ли межмасштабная структура. При суммировании две шкалы сжимаются перед сканированием, поэтому сканирование не имеет межмасштабной структуры, которую можно было бы использовать, тогда как конкатенация сохраняет обе шкалы, но с гораздо более высокими затратами. Чтобы решить эту проблему, мы предлагаем Weave Mamba Fusion (WMF), который чередует две соседние пирамидальные шкалы столбец за столбцом, так что каждый шаг горизонтального двунаправленного сканирования SS2D перемещается от одного масштаба к другому. Благодаря частично-канальной обработке и расплетению без параметров WMF обеспечивает эффективное межмасштабное взаимодействие, сохраняя при этом структуру объектов. Интеграция WMF в каждый узел слияния дает WeaveBiFPN, шейку нашего детектора WeaveFace. На WIDER FACE WeaveFace достигает средней точки доступа 91,41% всего при 0,34 млн параметров и 1,16 GFLOP, превосходя предыдущие детекторы при 0,5 млн параметров. Наибольший прирост наблюдается на сложном подмножестве, где он достигает 87,14% AP. Код общедоступен по адресу https://github.com/dohun-mat/WeaveMambaFusion.

Отправная точка исследования

Маленькие, закрытые и сильно повернутые лица нуждаются в мелких пространственных деталях на уровнях пирамид с высоким разрешением и семантическом контексте на уровнях с низким разрешением. Стандартное объединение FPN и BiFPN является локальным, в то время как полное внимание может быть слишком дорогим при разрешении, используемом легким детектором.

Метод

Weave Mamba Fusion чередует столбцы соседних уровней пирамиды, поэтому двунаправленное горизонтальное сканирование SS2D чередует масштабы на каждом этапе. Обрабатывается только часть каналов, а операция расплетения без параметров восстанавливает исходные масштабы. Замена каждого узла слияния BiFPN этим оператором создает WeaveBiFPN, который используется в качестве шейки детектора WeaveFace.

Вывод по статье

Детектор перспективен для периферийных устройств с ограниченным числом параметров и вычислительным бюджетом, особенно при большом числе мелких лиц. Поскольку эффективность показана главным образом через сложность модели, задержку и потребление памяти нужно измерять на целевом ускорителе.

Статья 022026-10-10cs.CV

CAST-ASD: причинное внимание между говорящими и во времени для потокового определения активного говорящего

arXiv PDF

Авторы и организации

Pratham Gupta

Indian Institute of Technology Kanpur

KTH Royal Institute of Technology

Haotian Qi

KTH Royal Institute of Technology

Tushar Sandhan

Indian Institute of Technology Kanpur

Gabriel Skantze

KTH Royal Institute of Technology

Какую задачу решает

CAST-ASD обеспечивает перекрестное рассуждение в детекторе с нулевым просмотром, количество параметров которого не увеличивается с количеством видимых граней. Он касается онлайн-этапа после обнаружения и отслеживания лиц, где требуются как низкая задержка, так и атрибуция говорящего.

Ключевой результат

CAST-ASD снижает количество ложных тревог конкурирующих говорящих на 32 % по сравнению с причинно-следственной магистралью для каждого лица и превосходит все причинно-следственные базовые показатели в обоих разделах проверки MSDWild. Один блок CAST использует 1,57 миллиона параметров и примерно одну десятую часть межспикерских параметров свертки с фиксированным списком из трех блоков. Его причинный штраф составляет 1,14 мА по сравнению с 2,67 мА для соответствующей конфигурации LoCoNet.

Аннотация

Мы представляем CAST-ASD (причинное внимание по говорящим и времени), причинно-совместную модель для обнаружения активного говорящего (ASD). Последние модели ASD повышают производительность за счет совместной обработки всех лиц в сцене, но работают в автономном режиме, при этом весь клип доступен до того, как любой кадр будет помечен. Вместо этого причинные детекторы с малой задержкой обрабатывают каждое лицо независимо. CAST-ASD сочетает в себе совместное рассуждение лица с полностью причинным выводом. Он применяет внимание на уровне сцены к лицам в текущем кадре и причинно-временное внимание к истории каждого лица, обеспечивая обмен информацией между говорящими без предварительного просмотра. Количество его параметров не увеличивается с количеством граней. В MSDWild, где большинство негативных кадров лиц содержат видимого конкурирующего говорящего, CAST-ASD снижает количество ложных тревог конкурирующих говорящих на 32% по сравнению с расширяемым детектором причинно-следственных связей для каждого лица, причем прирост увеличивается по мере увеличения занятости сцены. Он превосходит все причинно-следственные базовые линии в обоих разделах проверки, используя при этом только одну десятую межспикерских параметров свертки с фиксированным составом из трех блоков. Код и модели доступны по адресу https://github.com/prathamg007/CAST-ASD.

Отправная точка исследования

Обнаружение активного говорящего должно решить, какому видимому лицу принадлежит общая звуковая дорожка. Точные совместные модели обычно заглядывают в будущие кадры, в то время как причинные системы часто оценивают каждое лицо независимо и поэтому путают молчаливых свидетелей с текущим говорящим в многолюдных сценах.

Метод

Причинная аудиовизуальная магистраль кодирует каждую дорожку лица и общий аудиопоток. Каждый блок CAST сначала применяет самовнимание на уровне сцены ко всем лицам в текущем кадре, а затем причинно-временное внимание к прошлому каждого лица. Модель оценивается на MSDWild, где большинство негативных кадров лица содержат конкурирующего видимого говорящего, и сравнивается с базовыми причинными линиями для каждого лица и фиксированного списка в соответствующих условиях обучения.

Вывод по статье

Для конференций в реальном времени, диаризации речи и управления камерой сравнение всех видимых лиц восполняет часть контекста, потерянного при отказе от будущих кадров. Модель предполагает надёжное отслеживание лиц, поэтому ошибки детекции и трекинга остаются риском всей системы.

Статья 032026-10-27cs.CV

Набор данных CVBL-CCTV-Face для улучшения и распознавания лиц в реальных условиях при наблюдении

arXiv PDF

Авторы и организации

Manish Das

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Ajay Kumar Yadav

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Shiv Ram Dubey

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Satish Kumar Singh

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Какую задачу решает

Работа представляет собой непарный набор данных CCTV-Reference, а также конвейер полного обнаружения, улучшения и распознавания лиц для изучения подлинной деградации соединений. Он также сравнивает, является ли передача предварительно обученного улучшения, тонкой настройки с синтетическим ухудшением или прямой точной настройки низкого качества.

Ключевой результат

Набор данных содержит 14 081 обучающее изображение низкого качества, 2 186 дополненных высококачественных ссылок и тестовый набор с 1 581 изображением низкого качества и 528 изображениями высокого качества. Точная настройка синтетически ухудшенных высококачественных изображений дает самые сильные результаты распознавания, в то время как прямая точная настройка реальных низкокачественных изображений не улучшается по сравнению с предварительно обученными базовыми уровнями. Этот отрицательный результат подчеркивает сохраняющееся несоответствие между целями восстановления и неконтролируемыми артефактами наблюдения.

Аннотация

В реальных условиях наблюдения при съемке лиц с помощью систем замкнутого телевидения возникают такие ухудшения, как низкое разрешение, размытие изображения при движении, шум и окклюзия, которые подрывают надежное распознавание лиц. В этом исследовании мы предлагаем структуру сверхвысокого разрешения и распознавания личности, предназначенную для приложений наблюдения. С этой целью мы представляем набор данных CVBL-CCTV-Face, который представляет собой набор данных реальных изображений, снятых непарным способом, где каждая пара состоит из изображения лица низкого качества (LQ), снятого купольной IP-камерой видеонаблюдения 8 Мп, вместе с эталонным изображением высокого качества (HQ), снятым с контролируемыми настройками. Чтобы справиться с различными проблемами, возникающими в таких наборах данных, мы создаем модульную систему, которая включает в себя распознавание лиц, сверхразрешение низкокачественных изображений лиц на основе глубокого обучения и распознавание личности с помощью L2-нормализованных вложений, извлеченных с помощью модели встраивания. Модели расширения обучаются и тестируются в соответствии с тремя различными настройками, а система развертывается для проверки личности в неограниченной среде в режиме реального времени.

Отправная точка исследования

Конвейеры лиц наблюдения часто тестируются с использованием студийных изображений или синтетической понижающей дискретизации, в то время как реальные кадры с камер видеонаблюдения сочетают в себе размытие изображения при движении, шум датчика, изменения позы, окклюзию, расстояние и плохое освещение. Таким образом, модели улучшения, обученные на аккуратных парных данных, могут создавать привлекательные изображения без улучшения идентификации на реальных камерах.

Метод

CVBL-CCTV-Face содержит 223 личности, снятые с помощью купольной IP-камеры с разрешением 8 МП, а также отдельно полученные высококачественные референсы. Две версии моделируют редкую и более широкую регистрацию, а разделение по идентичности поддерживает оценку. В тесте используется обнаружение MTCNN, четыре модели преобразования или диффузии, нормализованное встраивание лиц и сопоставление L2, а затем те же модули используются в демонстрации видеонаблюдения в реальном времени.

Вывод по статье

Главная ценность работы — данные и реалистичный протокол проверки систем видеонаблюдения, а не готовая промышленная модель. Реальные данные с камер необходимы, но дообучение сети восстановления на этих фрагментах лиц не гарантирует улучшения идентификации.