← Volver al Blog

Radar de investigaciónReconocimiento facialarXivOctubre 2026

Radar mensual arXiv

Octubre de 2026 Documentos de reconocimiento facial: atención de muestras duras, auditorías de datos y escala térmica

El trabajo de reconocimiento facial de octubre va más allá de una única puntuación en la clasificación. ViT-HarDis cambia la forma en que se regulariza un transformador durante el entrenamiento, la auditoría MS1MV3 mide qué reparaciones de datos realmente ayudan y el VTF900 prueba la coincidencia espectral cruzada en una escala donde los valores AUC atractivos pueden ocultar un rendimiento débil del punto de operación.

Lo que señala este mes

ViT-HarDis dirige la descorrelación atención-cabeza hacia muestras de identidad ambigua y lidera los sistemas ViT comparados en IJB-B, IJB-C y TinyFace sin cambiar la inferencia. Una auditoría controlada de MS1MV3 muestra que eliminar el 15,44 % de las imágenes duplicadas mejora ligeramente la precisión y alcanza el rendimiento básico con un 23,7 % menos de pasos, mientras que el filtrado amplio no es automáticamente beneficioso. Luego, VTF900 amplía la evaluación térmica visible a 900 sujetos: un AUC del 97,68 % corresponde a solo un TAR del 51,10 % con un FAR del 1 % en la configuración frontal, y el rendimiento fuera de postura cae aún más. En conjunto, los artículos sostienen que la dinámica de entrenamiento, los defectos de los datos, la escala de la galería y los umbrales operativos deben evaluarse por separado.

Artículo 012026-10-30cs.CV

Atención descorrelacionada condicionada por muestras difíciles para el reconocimiento facial robusto

Autores e instituciones

Tahar Chettaoui

Fraunhofer Institute for Computer Graphics Research IGD

Guray Ozgur

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Eduarda Caldeira

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Naser Damer

Fraunhofer Institute for Computer Graphics Research IGD

TU Darmstadt

Fadi Boutros

Fraunhofer Institute for Computer Graphics Research IGD

Qué problema resuelve

ViT-HarDis apunta a la atención redundante específicamente cuando la incrustación está peligrosamente cerca de otra identidad. Está diseñado para mejorar el reconocimiento facial a gran escala y de baja resolución manteniendo sin cambios la latencia de inferencia, la forma del modelo y las interfaces de incrustación.

Resultado clave

En la ablación controlada con ViT-S, el TAR en FAR 1e-4 aumenta del 84,46 % al 85,72 % en IJB-B y del 88,18 % al 89,09 % en IJB-C. Con ViT-B entrenado en WebFace4M, el método reporta un 95,84 % en IJB-B, un 97,24 % en IJB-C y un 75,97 % en TinyFace Rank-1, liderando los sistemas basados en ViT comparados. El costo de inferencia no cambia porque la penalización es solo para la capacitación, aunque los autores informan aproximadamente un 30% más de capacitación en WebFace4M.

Resumen

La atención de múltiples cabezas en Vision Transformers (ViTs) permite patrones de atención independientes entre cabezas, pero sin una regularización explícita, las cabezas pueden aprender patrones redundantes en lugar de roles complementarios. Las penalizaciones basadas en correlación fomentan el desenredo de la cabeza, pero aplican una regularización uniforme en todas las muestras de entrenamiento. En el reconocimiento facial (FR), las muestras duras cuyas incrustaciones se encuentran cerca de identidades en competencia son fundamentales para la optimización y la generalización. Motivados por esto, proponemos ViT-HarDis, que condiciona el desenredo de la cabeza de atención a la dificultad de la muestra: las muestras con alta similitud de coseno con centros de clase negativos reciben una descorrelación de la cabeza más fuerte, lo que refuerza la especialización donde la ambigüedad de identidad es mayor. Los experimentos muestran mejoras tanto con respecto a la línea de base como al desenredado uniforme en la mayoría de los puntos de referencia. Nuestro análisis muestra que ViT-HarDis reduce la similitud de las muestras duras con los centros de clases de la competencia al tiempo que disminuye la similitud de atención entre cabezales, y que aplicar el desenredo solo a las capas finales del transformador supera la regularización de toda la red. ViT-HarDis, entrenado en WebFace4M, logra resultados SOTA entre los métodos basados en ViT en IJB-B, IJB-C y TinyFace Rank-1, mientras logra los mejores resultados de IJB-B y TinyFace cuando se entrena en MS1MV3, mejorando FR sin modificaciones arquitectónicas ni costos de inferencia adicionales. Código: https://github.com/TaharChettaoui/Hard-Sample-Conditioned-Attention-for-FR.

Punto de partida

Vision Transformers puede asignar diferentes regiones faciales a diferentes cabezas de atención, pero esas cabezas a menudo convergen en patrones redundantes. Las penalizaciones por descorrelación uniforme tratan por igual un retrato frontal fácil y una muestra difícil de identidad ambigua, aunque las muestras difíciles cercanas a centros de clases en competencia son las que tienen más probabilidades de determinar errores de verificación. El documento se pregunta si la capacidad de formación puede centrarse en esas identidades difíciles sin cambiar la arquitectura implementada.

Método

El método mide la dureza de la muestra desde la similitud del coseno hasta el centro de clase negativo más cercano. Para cada bloque de transformador seleccionado, calcula una penalización de correlación de atención entre cabezales, pondera esa penalización con mayor fuerza para muestras más difíciles clasificadas correctamente y la suma a la pérdida normal de reconocimiento facial basada en márgenes. Los experimentos comparan la línea de base, el desenredo uniforme y el desenredo condicionado por la dureza; Las ablaciones de capas muestran que regularizar solo el último cuarto de los bloques del transformador es más efectivo que aplicar la restricción en todas partes.

Conclusión del artículo

Para los equipos que ya usan un codificador facial ViT, se trata de mejorar el procedimiento de entrenamiento, no de rehacer el despliegue. Las mayores ganancias aparecen en pruebas difíciles a gran escala y de baja resolución, a costa de más tiempo de entrenamiento y con validación pendiente en la población objetivo.

Artículo 022026-10-20cs.CV

Diferentes defectos, diferentes efectos: una auditoría controlada de los datos de entrenamiento de reconocimiento facial

Autores e instituciones

Ana Dias

University of Beira Interior

Instituto de Telecomunicacoes

NOVA LINCS

João Ribeiro Pinto

Amadeus

Hugo Proença

University of Beira Interior

Instituto de Telecomunicacoes

João C. Neves

University of Beira Interior

NOVA LINCS

Qué problema resuelve

El estudio separa cinco clases de defectos y mide el efecto de corregir cada una bajo el mismo protocolo de entrenamiento IResNet-50 y ArcFace. Esto permite a los propietarios de datos distinguir las intervenciones que mejoran la eficiencia de la capacitación del filtrado amplio que puede eliminar accidentalmente muestras informativas.

Resultado clave

La mejor configuración de eliminación de duplicados elimina el 15,44 % de las imágenes, aumenta la precisión de validación promedio del 97,20 % al 97,27 % y alcanza el rendimiento básico con un 23,7 % menos de pasos de optimización. Una eliminación aleatoria coincidente alcanza solo el 97,18%, por lo que la reducción del conjunto de datos por sí sola no explica el resultado. La fusión de identidades divididas conserva todas las imágenes y al mismo tiempo alcanza el rendimiento básico con un 21,8 % menos de pasos; eliminar contenido no válido ayuda de manera similar, mientras que combinar todos los filtros de validez no produce automáticamente el mejor modelo.

Resumen

El desarrollo del reconocimiento facial se ha visto fuertemente respaldado por la disponibilidad de conjuntos de datos de entrenamiento a gran escala. Entre ellos, MS-Celeb-1M ha desempeñado un papel importante al proporcionar millones de imágenes faciales de casi 100.000 identidades. Sin embargo, el tamaño y la heterogeneidad de dichos conjuntos de datos aumentan la probabilidad de errores de anotación, muestras redundantes y otras formas de inconsistencia de los datos. Esto motivó la introducción de versiones refinadas, como MS1MV2 y MS1MV3, destinadas a mejorar la calidad de los datos de entrenamiento. A pesar de estos esfuerzos de limpieza, mostramos que persisten varios tipos de defectos de datos de entrenamiento en MS1MV3. Al proponer estrategias complementarias de auditoría de datos, identificamos cinco categorías de defectos: imágenes exactas y casi duplicadas, identidades divididas, errores de recorte, ambigüedad de múltiples caras y contenido no válido. Luego evaluamos el efecto de corregir estos defectos bajo un protocolo de entrenamiento de reconocimiento facial controlado basado en IResNet-50 y ArcFace. Los resultados muestran que las intervenciones específicas pueden preservar y, en algunos casos, mejorar el rendimiento del reconocimiento al tiempo que requieren menos pasos de optimización para alcanzar el rendimiento del conjunto de entrenamiento original. La eliminación de duplicados proporciona el beneficio general más claro, mientras que la fusión de identidades divididas y la eliminación de contenido no válido también mejoran la eficiencia de la capacitación. En general, los resultados indican que el efecto de la limpieza del conjunto de datos depende en gran medida del tipo de defecto que se aborda y proporcionan evidencia adicional de que la calidad de los datos de entrenamiento sigue siendo un factor importante y comparativamente poco explorado en el reconocimiento facial a gran escala. Los manifiestos de capacitación y el código utilizados en este trabajo se publicarán tras su aceptación.

Punto de partida

Los grandes conjuntos de datos de reconocimiento facial generalmente se describen como limpios o ruidosos en conjunto; sin embargo, los duplicados, las identidades divididas, los malos recortes, las caras múltiples y las imágenes no válidas crean diferentes errores de supervisión. MS1MV3 ya es un punto de referencia refinado, por lo que los defectos restantes proporcionan una prueba útil para determinar si otra pasada de limpieza mejora el reconocimiento o simplemente elimina la diversidad útil.

Método

Se encuentran duplicados exactos y casi duplicados con hashes perceptivos; las identidades divididas se descubren mediante representaciones a nivel de identidad seguidas de verificación de imágenes; los errores de recorte y la ambigüedad de múltiples caras utilizan controles geométricos y OFIQ; El contenido no válido se identifica con la respuesta visual a preguntas BLIP. Los autores crean variantes controladas del conjunto de datos, incluyen un control de eliminación aleatoria que coincide con la identidad y el recuento de imágenes, entrenan cada variante de manera idéntica y evalúan tanto la precisión de la validación como los primeros puntos de control en IJB-B e IJB-C.

Conclusión del artículo

La lección operativa es auditar los tipos de defectos por separado y medir la eficiencia del aprendizaje, así como la precisión final. La eliminación de duplicados y la reparación de identidades parecen valer la pena aquí, mientras que el filtrado de calidad indiscriminado no es una victoria garantizada.

Artículo 032026-10-17cs.CV

VTF900: conjunto de datos y punto de referencia de reconocimiento facial térmico visible de 900 sujetos

Autores e instituciones

Jacob Abaare

University of Nebraska-Lincoln

Bianca Ianetta

University of Nebraska-Lincoln

Cedric Nimpa Fondje

AeroVironment

Shuowen Hu

DEVCOM Army Research Laboratory

Benjamin S. Riggan

University of Tennessee, Knoxville

Qué problema resuelve

VTF900 proporciona un punto de referencia térmico visible emparejado de 900 sujetos para verificación e identificación de conjuntos cerrados. Su objetivo es revelar cómo se escalan los métodos transespectrales cuando los datos de entrenamiento provienen de una colección diferente y cuando la postura, expresión y oclusión de la sonda varían.

Resultado clave

En la galería completa de 900 personas, ViT-B alcanza el 97,68% de AUC pero sólo el 51,10% de TAR al 1% de FAR en condiciones frontales. DPIT-ResNet50 es más resistente fuera de posición, con 94,68 % de AUC y 36,08 % de TAR con 1 % de FAR. La brecha cada vez mayor entre el AUC titular y el TAR operativo, junto con la degradación a medida que crece el tamaño de la galería, muestra por qué los resultados de los puntos de referencia térmicos de aproximadamente 100 personas no establecen la preparación para la producción.

Resumen

A pesar de los avances en el reconocimiento facial térmico visible, donde las imágenes faciales de sonda térmica (consulta) se comparan con plantillas de inscripción visibles, los puntos de referencia existentes actualmente están limitados por el tamaño pequeño de las galerías (N aproximadamente 100 sujetos). Esta limitación inhibe la capacidad de evaluar con precisión el reconocimiento facial térmico visible a escala y de informar métricas significativas de rendimiento del reconocimiento, que tienen una mayor relevancia operativa. Por lo tanto, presentamos VTF900, un punto de referencia de reconocimiento facial térmico visible a gran escala con 900 sujetos e imágenes emparejadas que incluyen variaciones de expresión, pose y oclusión. VTF900 está diseñado para admitir evaluaciones a gran escala (es decir, una galería grande) a través de verificación (coincidencia 1:1) e identificación de conjunto cerrado (coincidencia 1:N) para el reconocimiento facial térmico visible. Además, VTF900 aborda específicamente la desafiante combinación de análisis transversal y de conjuntos de datos cruzados. En este artículo, después de entrenar modelos en el conjunto de datos ARL-VTF, proporcionamos análisis de referencia entre arquitecturas de redes neuronales convolucionales (de línea de base), transformadores de visión y de dominio adaptable para evaluar cómo escalan estos métodos. A escala de galería completa (N = 900), los modelos de transformador logran un fuerte rendimiento discriminativo en condiciones frontales (por ejemplo, ViT-B: 97,68% AUC, 51,10% TAR@1%FAR), mientras que los métodos de adaptación al dominio como DPIT-ResNet50 demuestran una mayor robustez en condiciones fuera de pose (94,68%AUC, 36,08% TAR@1%FAR). Nuestros resultados muestran que un AUC alto a pequeña escala no se traduce en un rendimiento confiable a escala de implementación, y que la variación de postura amplifica significativamente la degradación del rendimiento. VTF900 expone estas limitaciones, lo que permite una evaluación más rigurosa de los sistemas de reconocimiento facial transespectral.

Punto de partida

El reconocimiento facial de visible a térmico es atractivo para operaciones nocturnas y con poca luz, pero la mayoría de las evaluaciones públicas contienen aproximadamente cien identidades. Las galerías pequeñas pueden hacer que las AUC parezcan sólidas y, al mismo tiempo, ocultar las coincidencias falsas y los errores de clasificación que aparecen cuando un sistema debe buscar en una población del tamaño de una implementación, especialmente en la postura y el cambio de sensor.

Método

El conjunto de datos combina imágenes de inscripción visibles con sondas térmicas para 900 sujetos que dieron su consentimiento y define protocolos oportunistas controlados y exhaustivos. Los modelos se entrenan en ARL-VTF en lugar de VTF900 y luego se prueban en tamaños de galería cada vez mayores utilizando arquitecturas convolucionales, transformadoras y adaptables al dominio. El análisis informa las métricas de verificación e identificación por separado para condiciones frontales y fuera de postura.

Conclusión del artículo

VTF900 es útil para los compradores que evalúan sistemas de identidad nocturnos porque prueba tanto la discrepancia del sensor como la escala de la galería. Sus resultados abogan por informar métricas de punto operativo y pose-estratificadas, no solo AUC.