Игра на опережение: в России планируют бороться с опасным контентом в Сети при помощи искусственного интеллекта

Ход «Вепрем»

Разработка информационной системы (ИС) «Вепрь» ведется с 2022 года — об этом «Известиям» рассказали в пресс-службе Главного радиочастотного центра (ГРЧЦ), подведомственного Роскомнадзору. На сегодняшний день первые модули новой системы уже проходят внутреннее тестирование, а ее запуск запланирован на вторую половину 2023 года.

— ИС «Вепрь» предназначена для выявления потенциальных точек напряженности в Сети, способных перерасти в информационные угрозы, а также их анализа и прогнозирования последующего распространения деструктивных материалов, — пояснили в пресс-службе Роскомнадзора.

При этом «Вепрь» входит в единую систему мониторинга информационного пространства вместе с другой системой — «Окулус»: в декабре 2022 года она была протестирована в работе, а с января 2023 года ее начали интегрировать с уже работающими системами мониторинга.

— Главная задача ИС «Окулус» — выявление нарушений российского законодательства в изображениях и видеороликах, — сообщили в пресс-службе ГРЧЦ. — Система распознает изображения и символы, противоправные сцены и действия, а также анализирует текст на фотоснимках и видеоматериалах.

«Окулус» автоматически обнаруживает такие правонарушения, как экстремистская тематика, призывы к массовым незаконным мероприятиям и суициду, пронаркотический контент, пропаганду ЛГБТ и так далее.

До разработки системы операторам ГРЧЦ приходилось анализировать изображения и видео главным образом вручную. Таким образом обрабатывалось 106 изображений и 101 видео в день. «Окулус» же будет анализировать более 200 тыс. изображений в сутки (около трех секунд на одно изображение). Как подчеркивают в ГРЧЦ, система позволит автоматизировать и значительно ускорить мониторинг визуального контента и повысить эффективность выявления признаков нарушений.

Сетевые угрозы

Необходимость внедрения таких ИС, как «Вепрь» и «Окулус», в России назрела давно. Как объясняют в пресс-службе ГРЧЦ, в последние годы в Сети появляется всё больше запрещенных законодательством материалов.

— Пропаганда употребления наркотиков, призывы к суициду, детская порнография — все эти проблемы остаются, — рассказывают в пресс-службе. — Такой контент необходимо находить и блокировать до того, как он широко разойдется в онлайн-пространстве, особенно среди детей и молодежи.

Другая проблема, которую фиксируют специалисты после начала СВО, — это невиданные ранее объемы и скорость распространения фейков, которые направлены на подмену реальных фактов специально сконструированной «реальностью».

— На основании требований Генпрокуратуры России в 2022 году было удалено и заблокировано больше 102 тыс. интернет-ресурсов, которые содержат недостоверную информацию (в том числе о ходе СВО), — говорят представители пресс-службы ГРЧЦ в беседе с «Известиями». — Для сравнения: в 2021 году таких ресурсов было 7203, в 2020 году — 1525, а в 2019 году — 311.

При этом наиболее применяемым инструментом в руках антироссийских источников стал визуальный контент, способный оказать большее впечатление на эмоции пользователей.

В мировом тренде

Применение современных информационных систем для борьбы с угрозами в Сети — это общемировая практика: в зарубежных странах такие ИС используются уже давно.

— Аналогичные системы существуют в Китае, Сингапуре, США и других странах, — говорит в беседе с «Известиями» гендиректор компании «ЕАЕ-Консалт» (разработчик решений в области цифровой трансформации и облачных технологий для бизнеса) Владислав Таболин. — Учитывая, что российские системы являются мониторинговыми и не будут блокировать доступ к информации, а значит, не смогут ущемлять свободу граждан, они в какой-то степени прогрессивнее, чем аналогичные зарубежные продукты.

По словам Таболина, подобные ИС за рубежом зарекомендовали себя положительно: с ними вопросы, связанные с безопасностью, решаются быстрее, а ряд угроз можно предотвратить профилактическими мерами. В свою очередь руководитель IT-отдела компании «Развитиум» Сергей Цветков отмечает, что сердцем таких систем, как «Вепрь» и «Окулус», является искусственный интеллект (ИИ), реализованный на нейросетях.

— Раньше поиск по тексту осуществлялся по ключевым словам, что не так эффективно и легко можно обойти использованием синонимов, — объясняет специалист. — Однако современные системы на основе нейросетей способны понять саму суть написанного. Для их обмана потребуется общаться неким шифром, понятным лишь ограниченному кругу лиц.

Впрочем, по мнению декана факультета «Цифровая экономика и массовые коммуникации» Московского технического университета связи и информатики (МТУСИ) Сергея Гатауллина, оценивать ИС «Вепрь» и «Окулус» пока преждевременно: дело в том, что от создания прототипов подобных программно-аппаратных комплексов до полноценного индустриального решения требуется этап тестирования, на котором разработчики донастраивают созданные алгоритмы моделей машинного обучения и технологий обработки больших данных.

Факторы риска

Между тем, как считает главный специалист отдела комплексных систем защиты информации компании «Газинформсервис» Дмитрий Овчинников, эффективность работы систем «Вепрь» и «Окулус» напрямую зависит от ее администраторов и гибкости применения технологии.

— В части «Окулуса», если задать слишком жесткие метрики, то подобная система будет работать лишь немногим лучше, чем группа живых операторов, — объясняет собеседник «Известий». — Если же метрики сделать слишком свободными, то тогда будет совершенно обратный эффект — незаконными будут признаваться доброкачественные материалы, то есть будет сбой в распознании.

По мнению Овчинникова, если подобные ИС применять долго и неправильно, это может обернуться «выжиганием» российского сегмента Сети. Эксперт сравнивает их со скальпелем, который в руках опытного врача может спасти пациента, а в руках неграмотного костоправа — усугубить состояние больного.

— Особенно интересна система «Вепрь», в рамках которой предсказаниями занимается машинный интеллект, — говорит Дмитрий Овчинников. — Она может применяться для мониторинга настроений и состояния людей, а также для прогнозирования развития ситуаций.

Специалист приводит пример: если вовремя заметить недовольство учеников в определенной школе, анализируя их комментарии, можно успешно предотвратить нарушения закона в учебном заведении. Кроме того, ИС можно использовать для беспристрастного анализа настроений в регионах и даже использовать в качестве KPI для мэров, губернаторов и чиновников.

— Если вовремя предвидеть проблему, можно заранее ее предотвратить, что существенно снизит социальную напряженность и увеличит стабильность работы государственных органов, — заключает эксперт.

Дмитрий Булгаков