Radar de pesquisaDetecção de rostoarXivOutubro de 2026

Radar arXiv mensal

Documentos de detecção de rosto de outubro de 2026: fusão leve, falantes on-line e CFTV real

Outubro produziu um artigo de detecção direta e dois estudos úteis em nível de sistema sobre localização. WeaveFace concentra-se em rostos pequenos e ocluídos sob orçamentos de computação apertados. O CAST-ASD mostra como os rostos rastreados podem ser comparados on-line sem quadros futuros, enquanto o CVBL-CCTV-Face testa o que acontece após a detecção, quando a degradação real da vigilância atinge o aprimoramento e a correspondência.

O que este mês sinaliza

WeaveFace intercala escalas de recursos adjacentes antes de uma varredura Mamba e atinge 91,41% de AP médio em WIDER FACE com 0,34 milhão de parâmetros. CAST-ASD usa faixas de rosto detectadas como entrada e usa atenção zero-lookahead nos falantes atuais, reduzindo alarmes falsos de falantes concorrentes em 32% no MSDWild. CVBL-CCTV-Face contribui com 223 identidades capturadas sob degradação de vigilância autêntica e descobre que o ajuste fino da degradação sintética ajuda mais no reconhecimento do que o ajuste fino direto de baixa qualidade. A lição combinada é que a qualidade do detector, o raciocínio da cena on-line e a utilidade do reconhecimento downstream devem ser testados como um único pipeline.

Artigo 012026-10-05cs.CV

Weave Mamba Fusion: interação global em escala cruzada para detecção facial leve

arXiv PDF

Autores e instituições

Dohun Kim

School of Data Science, The University of Suwon

Jinmyung Jung

School of Data Science, The University of Suwon

Que problema resolve

WeaveFace visa adicionar interação global em escala cruzada a um detector facial com menos de um milhão de parâmetros sem pagar o custo de memória e computação de concatenar mapas de recursos completos ou aplicar autoatenção quadrática.

Resultado-chave

No WIDER FACE, o WeaveFace relata 91,41% de AP médio com 0,34 milhão de parâmetros e 1,16 GFLOPs. Seu AP do subconjunto rígido é de 87,14%, a área onde faces pequenas e ocluídas mais enfatizam o design de escala cruzada. O artigo relata uma precisão mais forte do que os detectores anteriores abaixo de 0,5 milhão de parâmetros.

Resumo

Os métodos de pirâmide de recursos, de FPN a BiFPN, alcançaram forte desempenho na detecção de rostos ao fundir recursos em várias escalas. No entanto, a detecção de rostos sob condições irrestritas, como pequena escala, oclusão e pose extrema, continua difícil, pois requer dependências globais entre escalas que a fusão local não pode modelar. Modelos de espaço de estados como o Mamba fornecem contexto global com complexidade linear ao digitalizar características como uma sequência e, portanto, oferecem uma direção promissora para este problema. No entanto, tal varredura precisa das duas escalas da pirâmide combinadas em um único mapa de características, e a maneira como elas são combinadas determina se a estrutura da escala cruzada será preservada. A soma colapsa as duas escalas antes da varredura, de modo que a varredura não tem nenhuma estrutura de escala cruzada para explorar, enquanto a concatenação mantém ambas as escalas, mas a um custo muito mais elevado. Para resolver isso, propomos Weave Mamba Fusion (WMF), que intercala duas escalas de pirâmide adjacentes coluna por coluna para que cada passo de uma varredura SS2D bidirecional horizontal se mova de uma escala para outra. Com processamento de canal parcial e desentrelaçamento sem parâmetros, o WMF permite interação eficiente em escala cruzada, preservando a estrutura de recursos. A integração do WMF em cada nó de fusão produz WeaveBiFPN, o pescoço do nosso detector WeaveFace. No WIDER FACE, o WeaveFace atinge 91,41% de AP médio com apenas parâmetros de 0,34M e 1,16 GFLOPs, superando os detectores anteriores em parâmetros de 0,5M. Seus maiores ganhos estão no subconjunto Hard, onde atinge 87,14% AP. O código está disponível publicamente em https://github.com/dohun-mat/WeaveMambaFusion.

Ponto de partida da pesquisa

Faces pequenas, ocluídas e fortemente giradas precisam de detalhes espaciais finos de níveis de pirâmide de alta resolução e contexto semântico de níveis de baixa resolução. A fusão FPN e BiFPN padrão é local, enquanto a atenção total pode ser muito cara nas resoluções usadas por um detector leve.

Método

O Weave Mamba Fusion intercala colunas de níveis de pirâmide adjacentes para que uma varredura SS2D horizontal bidirecional alterne entre escalas em cada etapa. Apenas parte dos canais é processada e uma operação de desentrelaçamento sem parâmetros restaura as escalas originais. A substituição de cada nó de fusão BiFPN por este operador produz WeaveBiFPN, que é usado como pescoço do detector WeaveFace.

Síntese do artigo

O detector é promissor para dispositivos de borda com recursos limitados, sobretudo quando predominam rostos pequenos. Como a eficiência é demonstrada principalmente pelo tamanho do modelo e pelos FLOPs, é necessário medir a latência real e o uso de memória no acelerador de destino.

Artigo 022026-10-10cs.CV

CAST-ASD: atenção causal entre falantes e ao longo do tempo para detecção on-line do falante ativo

arXiv PDF

Autores e instituições

Pratham Gupta

Indian Institute of Technology Kanpur

KTH Royal Institute of Technology

Haotian Qi

KTH Royal Institute of Technology

Tushar Sandhan

Indian Institute of Technology Kanpur

Gabriel Skantze

KTH Royal Institute of Technology

Que problema resolve

CAST-ASD traz raciocínio cruzado para um detector zero-lookahead cuja contagem de parâmetros não cresce com o número de faces visíveis. Ele aborda o estágio on-line após a detecção e rastreamento de rosto, onde baixa latência e atribuição de alto-falante são necessárias.

Resultado-chave

O CAST-ASD reduz os alarmes falsos de falantes concorrentes em 32% em relação ao seu backbone causal por face e supera todas as linhas de base causais em ambas as divisões de validação do MSDWild. Um bloco CAST usa 1,57 milhão de parâmetros e aproximadamente um décimo dos parâmetros entre falantes de uma convolução de lista fixa de três blocos. Sua penalidade causal é de 1,14 mAP versus 2,67 mAP para a configuração LoCoNet correspondente.

Resumo

Apresentamos CAST-ASD (Causal Attention over Speakers and Time), um modelo de articulação causal para detecção de falante ativo (ASD). Os modelos ASD recentes melhoram o desempenho ao processar conjuntamente todos os rostos em uma cena, mas operam off-line, com o clipe completo disponível antes de qualquer quadro ser rotulado. Em vez disso, os detectores causais de baixa latência processam cada face de forma independente. CAST-ASD combina raciocínio facial conjunto com inferência totalmente causal. Ele aplica atenção em nível de cena aos rostos dentro do quadro atual e atenção temporal causal ao histórico de cada rosto, permitindo o compartilhamento de informações entre os falantes sem nenhuma antecipação. Sua contagem de parâmetros não aumenta com o número de faces. No MSDWild, onde a maioria dos quadros faciais negativos contém um alto-falante concorrente visível, o CAST-ASD reduz os alarmes falsos de alto-falante concorrente em 32% em relação ao detector causal por rosto que ele estende, com ganhos maiores à medida que a ocupação da cena aumenta. Ele supera todas as linhas de base causais em ambas as divisões de validação enquanto usa apenas um décimo dos parâmetros entre falantes de uma convolução de lista fixa de três blocos. Código e modelos estão disponíveis em https://github.com/prathamg007/CAST-ASD.

Ponto de partida da pesquisa

A detecção de locutor ativo deve decidir qual rosto visível possui uma trilha de áudio compartilhada. Modelos conjuntos precisos geralmente olham para quadros futuros, enquanto sistemas causais geralmente pontuam cada face de forma independente e, portanto, confundem espectadores silenciosos com o orador atual em cenas lotadas.

Método

Um backbone audiovisual causal codifica cada trilha facial e o fluxo de áudio compartilhado. Cada bloco CAST aplica primeiro a autoatenção no nível da cena em todos os rostos no quadro atual e, em seguida, a atenção temporal causal ao longo do passado de cada rosto. O modelo é avaliado no MSDWild, onde a maioria dos quadros faciais negativos contém um alto-falante visível concorrente, e comparado com linhas de base causais por face e escala fixa sob condições de treinamento correspondentes.

Síntese do artigo

Para conferências ao vivo, diarização e controle de câmera, comparar todos os rostos atualmente visíveis pode recuperar grande parte do contexto perdido ao proibir a antecipação. O modelo pressupõe rastreamentos faciais confiáveis, de modo que as falhas do detector e do rastreador continuam sendo parte do risco de ponta a ponta.

Artigo 032026-10-27cs.CV

Conjunto de dados CVBL-CCTV-Face para aprimoramento e reconhecimento facial no mundo real em vigilância

arXiv PDF

Autores e instituições

Manish Das

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Ajay Kumar Yadav

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Shiv Ram Dubey

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Satish Kumar Singh

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Que problema resolve

O trabalho contribui com um conjunto de dados CCTV para referência não pareado e um pipeline completo de detecção, aprimoramento e reconhecimento de rosto para estudar a degradação autêntica de compostos. Ele também compara se o aprimoramento pré-treinado, o ajuste fino da degradação sintética ou as transferências diretas de ajuste fino de baixa qualidade são melhores.

Resultado-chave

O conjunto de dados contém 14.081 imagens de treinamento de baixa qualidade, 2.186 referências aumentadas de alta qualidade e um conjunto de teste com 1.581 imagens de baixa qualidade e 528 imagens de alta qualidade. O ajuste fino em imagens de alta qualidade degradadas sinteticamente produz os resultados de reconhecimento mais fortes, enquanto o ajuste fino direto em culturas reais de baixa qualidade não melhora em relação às linhas de base pré-treinadas. Esse resultado negativo destaca a incompatibilidade remanescente entre os objectivos de restauração e os artefactos de vigilância não controlados.

Resumo

Em ambientes de vigilância do mundo real, as capturas faciais de sistemas de circuito fechado de televisão sofrem degradações como baixa resolução, desfoque de movimento, ruído e oclusões, que prejudicam o reconhecimento facial confiável. Neste estudo, propomos um framework para super-resolução e reconhecimento de identidade, voltado para aplicações de vigilância. Para tanto, apresentamos o conjunto de dados CVBL-CCTV-Face que é um conjunto de dados de imagens do mundo real tiradas de maneira não pareada, onde cada par consiste em uma imagem de baixa qualidade (LQ) de um rosto capturada por uma câmera CCTV IP Dome de 8MP junto com uma imagem de referência de alta qualidade (HQ) que é tirada em configurações controladas. Para lidar com os vários problemas colocados por tais conjuntos de dados, construímos um sistema modular que envolve detecção de rosto, super-resolução de imagens faciais de baixa qualidade baseada em aprendizado profundo e reconhecimento de identidade por meio de embeddings normalizados L2 extraídos por um modelo de incorporação. Os modelos de aprimoramento são treinados e testados de acordo com três configurações diferentes, e o sistema é implantado para verificação de identidade em um ambiente sem restrições em tempo real.

Ponto de partida da pesquisa

Os pipelines de vigilância facial são frequentemente testados com imagens de estúdio ou redução de resolução sintética, enquanto os cortes reais de CCTV combinam desfoque de movimento, ruído de sensor, mudanças de pose, oclusão, distância e iluminação deficiente. Modelos de aprimoramento treinados em dados pareados organizados podem, portanto, produzir imagens atraentes sem melhorar a correspondência de identidade em câmeras reais.

Método

CVBL-CCTV-Face contém 223 identidades capturadas com uma câmera dome IP de 8 MP, além de referências de alta qualidade adquiridas separadamente. Duas versões modelam inscrições esparsas e mais ricas, e divisões disjuntas de identidade suportam avaliação. O benchmark usa detecção MTCNN, quatro modelos de transformador ou aprimoramento de difusão, incorporações de face normalizadas e correspondência L2 e, em seguida, implanta os mesmos módulos em uma demonstração CCTV ao vivo.

Síntese do artigo

O principal valor é fornecer dados e um protocolo realista para testar sistemas de vigilância, mais do que um modelo pronto para produção. Dados reais de câmeras são essenciais, mas ajustar uma rede de restauração nesses recortes faciais não garante uma identificação melhor.