Алексей Иванов («АйТи Бастион»): «До половины активности в Интернете приходится на боты, и 15 % этой активности — вредоносная»

 — Алексей, сильно ли за последние 1-2 года изменился рынок ИБ, а также подходы компаний к обеспечению ИБ, под влиянием ИИ? В чем проявляются эти изменения?

 — Изменения, конечно, есть, но они преувеличены — на мой взгляд, в них больше маркетинга. Сами угрозы остались теми же — фишинг, социальная инженерия, публикации критических данных, боты и кража аккаунтов. Всё это было и до появления LLM. Искусственный интеллект только упростил этот процесс и удешевил его масштабирование. Многие функции продуктов кибербезопасности называют «ИИ», хотя речь идёт о старых методах машинного обучения, уже много лет применяемых в антифрод-системах и EDR. Слово AI стало модным на презентациях, но новых качеств обнаружения от этого не прибавляется. За громкими историями об эксплойтах нулевого дня, написанными ИИ, стоят хакеры, которые используют новые инструменты, чтобы быстрее разрабатывать вредоносное ПО — а значит, за всем разговорами о нейросетях важно не забывать и о базовых мерах безопасности.

Впрочем, нельзя отрицать, что многие компании всё чаще используют языковые модели во внутренней работе. Поэтому нарастает количество продуктов для контроля корпоративного ИИ-трафика: шлюзы и DLP-решения, которые перехватывают обращения к внешним нейросетям, обезличивают персональные данные и блокируют передачу чувствительной информации.

Заместитель директора по развитию бизнеса по вопросам инноваций «АйТи Бастион» Алексей Иванов
Фото: «АйТи Бастион»

 — Какие главные типы угроз со стороны ИИ можно выделить? Какие из них наиболее болезненные с точки зрения ущерба? Правда ли, что подавляющая доля кибератак сегодня происходит с помощью ботов?

 — Пожалуй, заслуженное первое место среди угроз по-прежнему занимают дипфейки голоса и видео. К примеру, ещё несколько лет назад в ОАЭ управляющий банком получил звонок голосом директора компании-клиента и поддельные письма от юристов якобы о сделке поглощения — в результате управляющий согласовал переводы на $35 млн.

Или случай в Retool — американском разработчике ИТ-инструментов, когда атакующие прислали сотрудникам фальшивые SMS от ИТ-отдела про «проблему с зарплатой». Один сотрудник ввёл по полученной в сообщении ссылке учётные данные, а затем выдал MFA-код клонированному голосу реального коллеги из ИТ, что позволило злоумышленникам похитить все OTP-коды Google Authenticator.

Но многие атаки теперь действительно осуществляют боты — да и в целом, до половины активности в Интернете приходится на них, и 15 % этой активности — вредоносная. Это можно напрямую связать с развитием генеративного ИИ, упростившего создание таких ботов.

 — Чем опасны публичные нейросети? Как бы вы сформировали памятку для безопасной работы с ними?

 — Опасность не в самой нейросети, как в технологии, а в неуправляемости. Сотрудники воспринимают чат-бот как черновик в блокноте, часто не осознавая возможную передачу данных «наружу», как в недавнем кейсе с увольнением топ-менеджера московской фирмы. Ощущая пользу от ИИ, они воспринимают жёсткий запрет как попытку помешать продуктивной работе и переходят на «теневой ИИ». Мы получаем те же промпты с личных устройств, но уже без всякой видимости для ИБ-службы.

Поэтому памятку для персонала нужно выстраивать как внедрение безопасного контура — дать легальную альтернативу сотрудникам в виде корпоративного ИИ-шлюза, объединяющего несколько моделей в заданных условиях безопасности, где можно выполнять рабочие задачи.

Тогда чек-лист может выглядеть следующим образом:

• Соответствовать чёткому перечню того, что нельзя вносить никуда, кроме внутреннего контура: ПДн, финансы, договоры, код DNA, учётные данные и др.
• Применять обезличивание — имена, почты, адреса и названия компаний заменять плейсхолдерами.
• Не доверять ответам без проверки — галлюцинации нейросети в юридических и финансовых вопросах могут очень дорого обойтись. Как вариант — требовать от нейросети подтверждения в виде ссылок на реальные нормативные акты и статьи.
• Оформлять минимальные привилегии на аккаунтах ИИ-сервисов.
• Применять мониторинг через DLP/прокси — как контроль соответствия политике безопасности, а не «слежку».

 — Помогают ли регуляторные меры, суверенные модели кардинальным образом снизить количество угроз? Какие еще меры комплексной защиты можно рекомендовать заказчикам для защиты от «ИИ-хакеров»?

 — Закон задаёт требования к обработке данных, ответственности и локализации, — это, в свою очередь, подталкивает появление отечественных enterprise-решений. Однако фактическая защита продолжает оставаться уделом ИБ. Суверенные и локальные модели убирают риск утечки за периметр юрисдикции, но технически модель не становится безопаснее — она будет оставаться уязвимой в случае некорректной настройки и внедрения. К тому же, у локального решения часто может не быть большой команды безопасности, prompt injection в собственных ИИ-продуктах, политики допустимого использования ИИ, плюс технический контроль (DLP/CASB) и поведенческая аналитика (UEBA).

Регулирование определённо полезно как драйвер зрелости, но кардинальных изменений пока ждать не стоит. Решение заключается в комплексе мер со стороны заказчика: тренинги против дипфейков и социнженерии («звонок от директора» подтверждаем обратным звонком на известный номер), MFA и принцип наименьших привилегий, с чем поможет PAM-система, а также пентесты и red-team с ИИ-сценариями.

 — Как ИИ помогает в работе ИБ-специалистам? Какие функции службы ИБ/SOC можно автоматизировать, какие правила контроля за действиями ИИ должны соблюдаться?

 — В SIEM/SOAR ИИ-корреляция и приоритезация сокращают время реакции — офицер безопасности получает не тысячу аллертов, а десяток инцидентов с готовым контекстом. В EDR/XDR поведенческий анализ вместо сигнатур ловит атаки нулевого дня по аномалиям цепочек процессов. В почтовой безопасности анализ стиля, тональности и метаданных ловит BEC-письма без вредоносных вложений. В PAM аналитика аномального поведения привилегированных пользователей — в СКДПУ НТ, к примеру. Ассисенты-копайлоты, которые отвечают на вопросы по инфраструктуре языком рядового пользователя и пишут запросы за аналитика (Microsoft Security Copilot, к примеру). Российская специфика в том, что копайлоты у нас, в основном, в анонсах и пилотах, но классический ML внедрён достаточно давно и уже хорошо себя зарекомендовал.

 — Большое спасибо за беседу!