Radar de investigaciónDetección de rostrosarXivOctubre 2026

Radar mensual arXiv

Octubre de 2026 Documentos sobre detección de rostros: fusión ligera, parlantes en línea y CCTV real

En octubre se produjo un artículo sobre detector directo y dos útiles estudios a nivel de sistema en torno a la localización. WeaveFace se centra en caras pequeñas y ocluidas con presupuestos informáticos ajustados. CAST-ASD muestra cómo los rostros rastreados se pueden comparar en línea sin fotogramas futuros, mientras que CVBL-CCTV-Face prueba qué sucede después de la detección cuando la degradación real de la vigilancia alcanza la mejora y la coincidencia.

Lo que señala este mes

WeaveFace entrelaza escalas de características adyacentes antes de un escaneo Mamba y alcanza un AP promedio del 91,41 % en WIDER FACE con 0,34 millones de parámetros. CAST-ASD toma como entrada los rastros faciales detectados y utiliza atención sin anticipación entre los oradores actuales, lo que reduce las falsas alarmas de los oradores de la competencia en un 32 % en MSDWild. CVBL-CCTV-Face aporta 223 identidades capturadas bajo degradación de vigilancia auténtica y descubre que el ajuste fino de la degradación sintética ayuda al reconocimiento más que el ajuste fino directo de baja calidad. La lección combinada es que la calidad del detector, el razonamiento de la escena en línea y la utilidad de reconocimiento posterior deben probarse como un solo proceso.

Artículo 012026-10-05cs.CV

Weave Mamba Fusion: interacción global entre escalas para la detección facial con modelos ligeros

arXiv PDF

Autores e instituciones

Dohun Kim

School of Data Science, The University of Suwon

Jinmyung Jung

School of Data Science, The University of Suwon

Qué problema resuelve

WeaveFace tiene como objetivo agregar interacción global entre escalas a un detector de rostros de menos de un millón de parámetros sin pagar el costo de memoria y computación de concatenar mapas de características completos o aplicar autoatención cuadrática.

Resultado clave

En WIDER FACE, WeaveFace informa un AP medio del 91,41% con 0,34 millones de parámetros y 1,16 GFLOP. Su AP de subconjunto duro es del 87,14 %, el área donde las caras pequeñas y ocluidas hacen más hincapié en el diseño de escala cruzada. El artículo informa una mayor precisión que los detectores anteriores por debajo de 0,5 millones de parámetros.

Resumen

Los métodos de pirámide de funciones, desde FPN hasta BiFPN, han logrado un sólido rendimiento en la detección de rostros al fusionar funciones de múltiples escalas. Sin embargo, la detección de rostros en condiciones sin restricciones, como pequeña escala, oclusión y pose extrema, sigue siendo difícil, ya que requiere dependencias globales entre escalas que la fusión local no puede modelar. Los modelos de espacio de estados como Mamba proporcionan un contexto global con complejidad lineal al escanear características como una secuencia y, por lo tanto, ofrecen una dirección prometedora para este problema. Sin embargo, dicho escaneo necesita que las dos escalas piramidales se combinen en un único mapa de características, y la forma en que se combinan determina si se conserva la estructura entre escalas. La suma colapsa las dos escalas antes del escaneo, por lo que el escaneo no tiene una estructura entre escalas que explotar, mientras que la concatenación mantiene ambas escalas pero a un costo mucho mayor. Para abordar esto, proponemos Weave Mamba Fusion (WMF), que entrelaza dos escalas piramidales adyacentes columna por columna para que cada paso de un escaneo SS2D bidireccional horizontal se mueva de una escala a la otra. Con procesamiento de canales parciales y desvinculación sin parámetros, WMF permite una interacción eficiente entre escalas al tiempo que preserva la estructura de características. La integración de WMF en cada nodo de fusión produce WeaveBiFPN, el cuello de nuestro detector WeaveFace. En WIDER FACE, WeaveFace alcanza un AP medio del 91,41% con sólo 0,34 millones de parámetros y 1,16 GFLOP, superando a los detectores anteriores con parámetros de 0,5 millones. Sus mayores ganancias se dan en el subconjunto Duro, donde alcanza el 87,14% AP. El código está disponible públicamente en https://github.com/dohun-mat/WeaveMambaFusion.

Punto de partida

Las caras pequeñas, ocluidas y fuertemente rotadas necesitan detalles espaciales finos de niveles piramidales de alta resolución y contexto semántico de niveles de baja resolución. La fusión estándar de FPN y BiFPN es local, mientras que la atención total puede resultar demasiado costosa con las resoluciones utilizadas por un detector liviano.

Método

Weave Mamba Fusion entrelaza columnas de niveles piramidales adyacentes para que un escaneo SS2D horizontal bidireccional alterne entre escalas en cada paso. Sólo se procesan una parte de los canales y una operación de desvinculación sin parámetros restaura las escalas originales. Reemplazar cada nodo de fusión BiFPN con este operador produce WeaveBiFPN, que se utiliza como cuello del detector WeaveFace.

Conclusión del artículo

Es un detector prometedor para dispositivos con recursos limitados, especialmente cuando abundan los rostros pequeños. Como la evidencia de eficiencia se basa principalmente en el tamaño del modelo y los FLOP, conviene medir la latencia real y el consumo de memoria en el acelerador de destino.

Artículo 022026-10-10cs.CV

CAST-ASD: atención causal entre hablantes y a lo largo del tiempo para detectar al hablante activo en línea

arXiv PDF

Autores e instituciones

Pratham Gupta

Indian Institute of Technology Kanpur

KTH Royal Institute of Technology

Haotian Qi

KTH Royal Institute of Technology

Tushar Sandhan

Indian Institute of Technology Kanpur

Gabriel Skantze

KTH Royal Institute of Technology

Qué problema resuelve

CAST-ASD lleva el razonamiento cruzado a un detector de anticipación cero cuyo recuento de parámetros no crece con el número de caras visibles. Aborda la etapa en línea después de la detección y el seguimiento de rostros, donde se requiere baja latencia y atribución del hablante.

Resultado clave

CAST-ASD reduce las falsas alarmas de los oradores competidores en un 32 % en relación con su columna vertebral causal por cara y supera todas las líneas de base causales en ambas divisiones de validación de MSDWild. Un bloque CAST utiliza 1,57 millones de parámetros y aproximadamente una décima parte de los parámetros entre hablantes de una convolución de lista fija de tres bloques. Su penalización causal es 1,14 mAP frente a 2,67 mAP para la configuración LoCoNet coincidente.

Resumen

Presentamos CAST-ASD (Atención causal sobre los hablantes y el tiempo), un modelo de articulación causal para la detección de hablantes activos (TEA). Los modelos ASD recientes mejoran el rendimiento al procesar conjuntamente todos los rostros de una escena, pero funcionan sin conexión, con el clip completo disponible antes de etiquetar cualquier fotograma. En cambio, los detectores causales de baja latencia procesan cada rostro de forma independiente. CAST-ASD combina el razonamiento facial conjunto con la inferencia totalmente causal. Aplica atención a nivel de escena en los rostros dentro del cuadro actual y atención temporal causal en la historia de cada rostro, lo que permite compartir información entre los hablantes sin anticipación. Su recuento de parámetros no crece con el número de caras. En MSDWild, donde la mayoría de los marcos faciales negativos contienen un hablante competidor visible, CAST-ASD reduce las falsas alarmas de los hablantes competidores en un 32 % en relación con el detector causal por rostro que extiende, con mayores ganancias a medida que aumenta la ocupación de la escena. Supera todas las líneas de base causales en ambas divisiones de validación y utiliza solo una décima parte de los parámetros entre hablantes de una convolución de lista fija de tres bloques. El código y los modelos están disponibles en https://github.com/prathamg007/CAST-ASD.

Punto de partida

La detección de altavoces activos debe decidir qué cara visible posee una pista de audio compartida. Los modelos conjuntos precisos suelen mirar a fotogramas futuros, mientras que los sistemas causales a menudo puntúan cada cara de forma independiente y, por lo tanto, confunden a los espectadores silenciosos con el hablante actual en escenas abarrotadas.

Método

Una columna vertebral audiovisual causal codifica cada pista de rostros y el flujo de audio compartido. Cada bloque CAST primero aplica autoatención a nivel de escena en todas las caras del cuadro actual, luego atención temporal causal a lo largo del pasado de cada cara. El modelo se evalúa en MSDWild, donde la mayoría de los marcos faciales negativos contienen un hablante visible que compite, y se compara con líneas de base causales por cara y de lista fija en condiciones de entrenamiento coincidentes.

Conclusión del artículo

En conferencias en directo, segmentación por hablante y control de cámaras, comparar todos los rostros visibles puede recuperar parte del contexto perdido al no consultar fotogramas futuros. El modelo depende de trayectorias faciales fiables; los fallos de detección y seguimiento siguen siendo riesgos del sistema completo.

Artículo 032026-10-27cs.CV

Conjunto de datos CVBL-CCTV-Face para mejora y reconocimiento de rostros en el mundo real en vigilancia

arXiv PDF

Autores e instituciones

Manish Das

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Ajay Kumar Yadav

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Shiv Ram Dubey

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Satish Kumar Singh

Computer Vision and Biometrics Lab, Indian Institute of Information Technology Allahabad

Qué problema resuelve

El trabajo aporta un conjunto de datos de CCTV a referencia no emparejados y un proceso completo de detección, mejora y reconocimiento de rostros para estudiar la degradación de compuestos auténticos. También compara si la mejora previamente entrenada, el ajuste fino de degradación sintética o el ajuste fino directo de baja calidad real se transfieren mejor.

Resultado clave

El conjunto de datos contiene 14.081 imágenes de entrenamiento de baja calidad, 2.186 referencias aumentadas de alta calidad y un conjunto de prueba con 1.581 imágenes de baja calidad y 528 imágenes de alta calidad. El ajuste fino de imágenes de alta calidad degradadas sintéticamente produce los mejores resultados de reconocimiento, mientras que el ajuste fino directo de cultivos reales de baja calidad no mejora con respecto a las líneas de base previamente entrenadas. Ese resultado negativo resalta el desajuste restante entre los objetivos de restauración y los artefactos de vigilancia no controlados.

Resumen

En entornos de vigilancia del mundo real, las capturas faciales de los sistemas de circuito cerrado de televisión sufren degradaciones como baja resolución, desenfoque de movimiento, ruido y oclusiones, que socavan el reconocimiento facial confiable. En este estudio, proponemos un marco para superresolución y reconocimiento de identidad, dirigido a aplicaciones de vigilancia. Para este propósito, presentamos el conjunto de datos CVBL-CCTV-Face, que es un conjunto de datos de imágenes del mundo real tomadas de manera no emparejada, donde cada par consta de una imagen de baja calidad (LQ) de un rostro capturada por una cámara CCTV domo IP de 8 MP junto con una imagen de referencia de alta calidad (HQ) tomada en entornos controlados. Para hacer frente a los diversos problemas planteados por dichos conjuntos de datos, construimos un sistema modular que implica detección de rostros, superresolución basada en aprendizaje profundo de imágenes de rostros de baja calidad y reconocimiento de identidad a través de incrustaciones normalizadas L2 extraídas por un modelo de incrustación. Los modelos de mejora se entrenan y prueban según tres configuraciones diferentes, y el sistema se implementa para la verificación de identidad en un entorno sin restricciones en tiempo real.

Punto de partida

Los canales de vigilancia facial a menudo se prueban con imágenes de estudio o reducción de resolución sintética, mientras que los cultivos de CCTV reales combinan desenfoque de movimiento, ruido de sensores, cambios de pose, oclusión, distancia y poca iluminación. Por lo tanto, los modelos de mejora entrenados con datos emparejados ordenados pueden producir imágenes atractivas sin mejorar la coincidencia de identidades en cámaras reales.

Método

CVBL-CCTV-Face contiene 223 identidades capturadas con una cámara domo IP de 8 MP además de referencias de alta calidad adquiridas por separado. Dos versiones modelan una inscripción escasa y más rica, y las divisiones de identidades separadas respaldan la evaluación. El punto de referencia utiliza detección MTCNN, cuatro modelos de mejora de difusión o transformador, incrustaciones de caras normalizadas y coincidencia L2, y luego implementa los mismos módulos en una demostración de CCTV en vivo.

Conclusión del artículo

Su valor principal es ofrecer datos y un entorno de prueba realista para sistemas de videovigilancia, más que un modelo listo para producción. Recoger datos reales es esencial, pero ajustar una red de restauración con esos recortes faciales no garantiza una mejor identificación.