← Назад в Блог

Исследовательский радарОбнаружение дипфейковarXivоктябрь 2026 г.

Ежемесячный радар arXiv

Октябрь 2026 г. Документы по обнаружению дипфейков: обширная криминалистика, длинные видео и части лица

Октябрьское исследование по обнаружению расширяет модель угроз в трех направлениях. Venus-DefakerOne2 объединяет средства массовой информации и формы атак, AV-FABLE просит системы находить короткие аудио и визуальные изменения внутри длинного видео с открытой сценой, а RLDF проверяет, замечает ли детектор изменение только небольшой области лица.

Что показывает этот месяц

Venus-DefakerOne2 сообщает об одной модели в шести областях криминалистики, включая сбалансированную точность 96,7% для дипфейковых лиц и 96,0% для видео, созданного искусственным интеллектом, хотя ее масштаб и внутренние данные делают независимую проверку необходимой. AV-FABLE добавляет 998 часов длинных двойных видеороликов с отдельными звуковыми и визуальными временными шкалами; выходные данные языка с без обучающих примеров остаются почти случайными, в то время как контролируемое считывание замороженных функций достигает 91,30 мА. RLDF показывает, что ограничение замены подобластью лица снижает эффективность существующих детекторов в среднем на 10,5 пунктов AUC. Общий урок закупок заключается в том, чтобы проверить охват угроз, временную локализацию, атрибуцию модальности и размер манипулируемой области, а не принимать одну совокупную точность.

Статья 012026-10-27cs.CV

Venus-DefakerOne2: базовая модель визуальной криминалистики с расширенным охватом

Авторы и организации

Chenfan Qu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yachao Liang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Mingqi Fang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jiangwei Xie

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Zhenming Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Baoyue Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Changjiang Jiang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Zheng Chang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Fanli Jin

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Xuekang Zhu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Kaiwen Feng

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Junchi Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Weihong Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Haoyue Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Chenfeng Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yinan Xia

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Fangming Cui

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Yongshuo Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Dong Fan

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jingjing Liu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Tianyi Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Luobin Chen

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Ji-Zhe Zhou

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Sheng Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Wei Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Bin Li

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Ran He

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Xinpeng Zhang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Linna Zhou

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Jian Liu

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Weiqiang Wang

GuangJian Team, Ant Group

Technical Committee on Digital Media Forensics and Security, CSIG

Какую задачу решает

Venus-DefakerOne2 стремится предоставить единую двоичную модель криминалистической экспертизы для цифровой и физической подделки изображений и видео. Задача состоит в том, чтобы добавить домены и сложные образцы без катастрофического забывания или принудительного использования одного интерфейса прогнозирования для каждого типа мультимедиа.

Ключевой результат

В документе сообщается о сбалансированной точности: 96,7% для дипфейковых лиц, 93,3% для изображений, созданных ИИ, 87,6% для поддельных документов, 89,6% для манипулируемых естественных изображений, 93,1% для физических подделок и 96,0% для видео, созданных ИИ. В двух выделенных широких областях уровень физической подделки улучшился с 60,8% у DefakerOne до 93,1%, а обнаружение видео с помощью искусственного интеллекта - с 72,5% до 96,0%.

Аннотация

Реальная подделка по своей сути неоднородна: она проявляется не только в цифровых манипуляциях, но и в физической подделке и переносится не только с помощью изображений, но и видео. Несмотря на существенный прогресс, единая модель фонда борьбы с подделками, охватывающая столь широкий спектр угроз, по-прежнему отсутствует. В этой статье мы представляем Venus-DefakerOne2, который существенно расширяет границы возможностей криминалистической экспертизы как по форме подделки, так и по типу носителя. Обученный на десятках миллионов образцов с открытым исходным кодом и собственных образцов, он включает в себя две ключевые конструкции. Tide-Style-Tuning чередует LoRA и полнопараметрическую точную настройку, чтобы сбалансировать вычислительную эффективность, обобщение и подгонку жесткой выборки, одновременно уменьшая катастрофическое забывание. Тестовая адаптация на основе энтропии определяет оптимальную модальность прогнозирования путем анализа энтропии прогнозирования. Venus-DefakerOne2 достигает нового уровня производительности по комплексному набору тестов, включая лица DeepFake (96,7%), изображения, созданные искусственным интеллектом (93,3%), подделанные документы (87,6%), обработанные естественные изображения (89,6%), физические подделки (93,1%) и видео, созданные искусственным интеллектом (96,0%). Она значительно превосходит по производительности как специализированные экспертные модели, так и свою предшественницу DefakerOne, зарекомендовав себя как мощная и универсальная базовая модель для криминалистических задач с двоичными решениями.

Отправная точка исследования

Оперативная проверка на подделку охватывает дипфейковые лица, сгенерированные изображения и видео, отредактированные документы, подделку естественных изображений и атаки с использованием физических презентаций. Отдельные специализированные модели увеличивают стоимость интеграции и могут оставлять несогласованные «слепые зоны» в различных средствах массовой информации и формах атак.

Метод

Модель обучена на десятках миллионов открытых и внутренних образцов. В Tide-Style-Tuning фазы LoRA с эффективным использованием параметров чередуются с точной настройкой полного параметра, чтобы сохранить широкое обобщение при подгонке сложных случаев. Адаптация теста на основе энтропии сравнивает доступные методы прогнозирования и выбирает маршрут с меньшей неопределенностью; дополнительные компоненты поддерживают агрегацию видео и локализацию на уровне пикселей.

Вывод по статье

Детектор широкого фундамента может упростить набор мультимедийных обзоров, но среднее значение охватывает множество тестов и включает внутренние данные обучения. Для оценки предприятия по-прежнему требуются пороговые значения для конкретных атак, калибровка, задержка и тестирование на невидимых генераторах и устройствах захвата.

Статья 022026-10-24cs.CV

AV-FABLE: Экспертиза аудиовизуальных манипуляций в длинных видеороликах

Авторы и организации

Yuesheng Huang

Tsinghua University

Hoi Fan Au

Tsinghua University

Jiaqi Hou

Tsinghua University

Ruicheng Zhang

Tsinghua University

Jiarui He

Tsinghua University

Haocheng Yang

Tsinghua University

Bin Hu

Tsinghua University

Kewei Zhang

Peking University

Weijian Deng

Tsinghua University

Jun Zhou

Tsinghua University

Xiu Li

Tsinghua University

Какую задачу решает

AV-FABLE определяет отдельные временные рамки аудио и визуальной локализации для редких манипуляций в минутном видео с открытой сценой. Он проверяет обнаружение, временную локализацию, атрибуцию модальности и генерацию доказательств в домене и под источником, генератором, маршрутом и сдвигом внешнего набора данных.

Ключевой результат

Тест содержит 16 650 пар близнецов, подвергшихся нетронутым манипуляциям, 33 300 видеороликов и 998,1 часа; средняя продолжительность видео составляет 88 секунд, а манипуляции занимают 9,45% этого времени. Модели аудиовизуального языка с без обучающих примеров достигают только 51-52 AUROC и не более 0,30 мА, хотя линейные датчики восстанавливают 90,8 аудио и 80,8 визуальных AUROC. NFSR достигает 91,30 аудиовизуального mAP и 96,04 обнаружения AUROC в домене и опережает все три параметра внераспределения.

Аннотация

Локализованные манипуляции ИИ в длинных видеороликах часто затрагивают краткие события внутри аутентичного контента, что делает классификацию на уровне видео недостаточной для судебно-медицинской экспертизы. Существующие тесты аудиовизуальных дипфейков в основном сосредоточены на коротких видеороликах с говорящими головами, в то время как длительная временная криминалистика остается преимущественно визуальной. Мы представляем AV-FABLE, тест с двойной временной шкалой для редких манипуляций в длинных аудиовизуальных видеороликах с открытой сценой. AV-FABLE содержит 16 650 пар близнецов, обработанных в первозданном виде (998 часов), созданных с использованием 27 конфигураций редактирования, с отдельными аудио- и визуальными временными шкалами, которые обеспечивают временную локализацию с учетом модальности и выявляют ошибки, скрытые оценкой совместной временной шкалы. В AV-FABLE нулевая подсказка аудиовизуальных моделей большого языка (AV-LLM) обеспечивает почти случайное обнаружение и плохую временную локализацию. Напротив, контролируемое считывание их замороженных особенностей восприятия восстанавливает сильные судебно-медицинские сигналы, что позволяет предположить, что доказательства манипуляций закодированы в этих представлениях, но не эффективно раскрываются посредством языковых выходных данных. Руководствуясь этим наблюдением, мы предлагаем NFSR (Native Forensics via Separated Readouts), который считывает замороженные функции AV-LLM с помощью отдельных аудио- и визуальных временных декодеров. NFSR обеспечивает наилучшую производительность аудиовизуальной локализации внутри домена и во всех трех параметрах распространения, включая передачу отложенных видео из внешнего криминалистического теста для длинных видео. AV-FABLE, вес кода и модели будут опубликованы публично.

Отправная точка исследования

Несколько фальшивых секунд в почти аутентичном длинном видео могут изменить его смысл, а звуковые и визуальные изменения могут происходить в разное время. Одна метка видео или общая временная шкала не может сообщить исследователю, какая модальность была изменена, и может вознаградить модель за то, что она нашла правильный момент в неправильном потоке.

Метод

SEE-Forge выбирает естественные события, планирует локализованное редактирование, направляет его в одну из 27 конфигураций аудио или визуального редактирования, повторно вставляет его в контекст и соединяет каждый обработанный результат с соответствующим исходным экспортом. Затем NFSR считывает замороженные функции аудиовизуальной языковой модели с помощью отдельных временных декодеров, комбинируя промежуточные и интерфейсные представления и кондиционируя локальные данные на главном видео.

Вывод по статье

AV-FABLE подходит для проверки инструментов, которые должны указать изменённый временной интервал и затронутую аудио- или видеодорожку, а не просто пометить файл. Полезные следы подделки внутри базовой модели могут оставаться недоступными при запросах без обучающих примеров.

Статья 032026-10-15cs.CV

RLDF: набор данных о дипфейках на уровне региона и эталон для обнаружения частичных манипуляций с лицом

Авторы и организации

Shukesh Reddy

Machine Intelligence Group, BITS Pilani, Hyderabad Campus

Abhijit Das

Machine Intelligence Group, BITS Pilani, Hyderabad Campus

Какую задачу решает

RLDF предоставляет метки регионов и пространственную информацию для частичной замены лица и проверяет, переходят ли установленные детекторы из эталонных тестов всего лица. Он также предоставляет базовый уровень с учетом локализации для обучения на небольшой области, а не усреднения.

Ключевой результат

Для 12 детекторов тестирование на уровне региона приводит к снижению AUC в среднем на 10,5 процентных пунктов и падению точности на 10 пунктов по сравнению с традиционной оценкой. FatFormer падает до 0,745 AUC, а DFD-FCG - до 0,806 на RLDF. Базовая линия, основанная на маске, устанавливает, что явный пространственный контроль может восстановить полезный сигнал, но в статье он позиционируется как отправная точка, а не решаемый детектор.

Аннотация

Существующие модели обнаружения дипфейков построены на манипулируемых изображениях, в которые подделываются либо исключительно полностью замененные, либо полностью синтезированные лица, что приводит нас к открытому вопросу: могут ли готовые модели дипфейков эффективно обнаруживать манипуляции, в то время как фальсификация ограничивается локальной подобластью лица? Чтобы восполнить этот пробел, мы представляем RLDF (Region-Level Deepfake), первый набор данных для оценки deepfake на уровне региона. Используя предложенную модель синтеза частичной замены лиц с учетом региона, мы генерируем более 2 миллионов изображений частичной замены лиц, используя восемь методов замены лиц. Всего мы рассмотрели семь областей лица, среди которых есть четыре отдельные области (глаза, нос, рот и брови) и четыре составные области лица (глаза и нос; глаза, нос и рот; глаза, нос, рот и брови; и полное лицо). Кроме того, мы определяем три протокола оценки и тестируем 12 современных детекторов по пяти популярным стандартным оценкам перекрестных наборов данных, DF40 и предлагаемому RLDF, обеспечивая комплексный аудит того, где и почему существующие детекторы неэффективны. Наша оценка показывает, что существующие детекторы не могут последовательно обобщать отдельные области лица, что приводит к общему падению AUC на 10,5% и точности на 10% при оценке на уровне региона. Кроме того, мы предлагаем модель перекрестного внимания, управляемую маской, в качестве базового подхода, который может эффективно обнаруживать манипуляции на уровне региона. Предлагаемый набор данных, код и контрольные точки доступны по адресу https://github.com/RLDF-Dataset/RLDF.

Отправная точка исследования

Большинство тестов дипфейков заменяют или синтезируют все лицо, поэтому детекторы могут обнаружить широкие глобальные артефакты. Современные инструменты редактирования могут изменить только глаза, рот, нос или другую небольшую область, оставляя аутентичные пиксели доминировать в изображении и делая надежный глобальный классификатор гораздо менее надежным.

Метод

Набор данных применяет восемь методов замены лиц к 1000 видеопарам «источник-цель», затем использует анализ лиц, расширение и мягкое смешивание для объединения восьми отдельных или составных областей лица обратно в аутентичные целевые кадры. В результате получается 2 048 000 поддельных изображений с непересекающимися идентичностями поездами, проверкой и тестовыми разделениями. Базовый уровень CLIP ViT-L/14 прогнозирует маску подделки патча и использует ее для управления перекрестным вниманием перед принятием окончательного решения о реальном или поддельном решении.

Вывод по статье

Манипулирование частичным лицом должно стать отдельным приемочным испытанием для любого дипфейкового продукта. RLDF демонстрирует, что высокие оценки всего лица не гарантируют чувствительность к небольшой редактируемой области и предоставляют маски, необходимые для обучения и проверки локализованных решений.