Андрей Юрченко (ShiftLeft Security): «В ИБ-инструментах для разработчиков ИИ эффективен там, где дополняет, а не подменяет детерминированный анализ»

 — Андрей, насколько существенно за последние 1-2 года под влиянием ИИ изменился рынок информационной безопасности и подходы компаний к обеспечению ИБ? В чем проявляются эти изменения?

 — На самом деле, ИИ не заменил прежние киберугрозы. Однако он снизил стоимость и время подготовки атак. Кроме того, возник новый объект защиты — сами ИИ-системы.

Изменения идут по трём направлениям. Во-первых, злоумышленники масштабируют фишинг. Они активнее ведут разведку и всё чаще подделывают голос и видео. Во-вторых, сотрудники передают публичным LLM исходный код, документы и персональные данные, что формирует неконтролируемый контур работы с ИИ. В-третьих, компании встраивают модели в продукты и процессы, сталкиваясь при этом с внедрением вредоносных инструкций и раскрытием данных. Отдельная проблема — избыточные полномочия ИИ-агентов, в результате чего автономные системы получают больше прав и доступов к корпоративным базам данных или API, чем им реально нужно для работы.

Коммерческий директор группы продуктов SASTAV (ShiftLeft Security) Андрей Юрченко
Фото: ShiftLeft Security

Выросла в России и цена утечки. С 30 мая 2025 года действуют новые штрафы за нарушения при обработке персональных данных. Поэтому в 2026 году многие организации переходят от отдельных запретов и экспериментов к системному подходу. В частности, для систематизации, оценки эффективности и безопасного масштабирования проектов искусственного интеллекта они создают реестры ИИ-сценариев. Кроме того, с целью прозрачного и эффективного использования нейросетей разрабатывают корпоративные регламенты. Также стандартным требованием для крупного российского бизнеса становится развёртывание ИИ-моделей в закрытом контуре или в частном облаке (on-premise/private AI).

 — Какие главные типы угроз со стороны ИИ можно выделить? Какие из них наиболее болезненные с точки зрения ущерба? Правда ли, что подавляющая доля кибератак сегодня происходит с помощью ботов?

 — Говоря о типах угроз со стороны ИИ, можно выделить три основных группы. Первая группа — это усиление привычных атак. К ним относятся, например, персонализированный фишинг, подделка голоса и видео. Кроме того, сюда же можно отнести ускоренный поиск уязвимостей и подготовку вредоносного кода. Вторая группа — атаки на сами ИИ-системы. Здесь речь идет о внедрении вредоносных инструкций, отравлении данных. Также злоумышленники могут извлекать закрытую информацию и злоупотреблять подключенными инструментами. Третья группа — это ошибки самой системы, которой пользователь доверяет без проверки. Самый тяжелый ущерб возможен, когда ИИ одновременно имеет доступ к чувствительным данным и право выполнять действия.

На мой взгляд, о «подавляющей доле атак с помощью ботов» говорить неверно. Автоматизация действительно преобладает в таких областях, как сканирование, подбор учетных данных и DDoS-атаки. Однако бот-трафик не равен успешным атакам. В компрометациях по-прежнему важную роль играют, в частности, эксплуатация уязвимостей, кража учетных данных и человеческий фактор. ИИ просто делает эти сценарии быстрее и масштабнее.

 — Чем опасны публичные нейросети? Как бы вы сформировали памятку для безопасной работы с ними?

 — Главная опасность публичных нейросетей заключается в потере контроля над данными и над тем, что происходит с результатом их обработки. Пользователь может отправить внешнему сервису персональные данные, коммерческую тайну, внутреннюю переписку, исходный код и при этом не знать точно, где всё это хранится и как долго. Отключение истории или обучения модели, к сожалению, не отменяет требований к законности передачи данных.

Памятка здесь довольно простая. Во-первых, используйте только одобренные компанией сервисы и учетные записи. Во-вторых, не загружайте секреты, персональные данные и закрытые материалы без разрешенного сценария. В-третьих, обезличивайте данные и сокращайте контекст. Кроме того, проверяйте факты, расчеты и код по первичным источникам. И наконец, не выполняйте автоматически команды, которые предложила модель.

Для разработчиков нужны отдельные правила. Прежде всего, нельзя передавать закрытый код в неразрешенные сервисы. Далее, генерацию стоит проверять с помощью SAST, SCA и сканеров секретов с обязательной экспертной верификацией результатов. Здесь важно соблюсти баланс: требования со стороны служб ИБ, с одной стороны, должны усиливать составляющую безопасности, с другой — быть приемлемыми для бизнеса и time-to-market.

 — Помогают ли регуляторные меры и суверенные модели кардинальным образом снизить количество угроз? Какие еще меры комплексной защиты можно рекомендовать заказчикам для защиты от «ИИ-хакеров»?

 — Кардинально снизить количество угроз законодательство не может: оно не останавливает атаку технически, но устанавливает требования к организациям и повышает цену их нарушения. В России использование ИИ уже подпадает под действующие требования к защите информации, обработке персональных данных и безопасности объектов критической информационной инфраструктуры. В частности, во избежание штрафов, действующих с 2025 года, организации должны контролировать доступ к данным, обеспечивать их защиту и сообщать об утечках. Это стимулирует бизнес вводить регламенты и средства контроля, но не защищает модель от внедрения вредоносных инструкций, отравления данных или ошибочных решений.

Суверенная или локальная модель уменьшает зависимость от внешнего провайдера и риск неконтролируемой передачи данных, однако сама по себе не становится безопасной. Поэтому необходим целый комплекс мер. Во-первых, это инвентаризация ИИ-систем для получения точной картины цифровой инфраструктуры. Во-вторых, классификация данных. Кроме того, важен контроль запросов через единый шлюз и DLP, механизм, который не позволит сотрудникам непреднамеренно передавать публичным нейросетям коммерческую тайну, персональные данные или исходный код компании. Также стоит ограничить полномочия ИИ-агентов до минимально необходимых. Нельзя забывать и о многофакторной аутентификации, журналировании и тестировании моделей. И, наконец, критичные действия, предложенные моделью, должны обязательно подтверждаться человеком. Защищаться нужно не от абстрактных «ИИ-хакеров», а от конкретных сценариев атак, которые ИИ помогает ускорять и масштабировать.

 — Как ИИ помогает в работе ИБ-специалистам? Какие функции службы ИБ/SOC можно автоматизировать, какие правила контроля за действиями ИИ должны соблюдаться?

 — Как представитель компании-разработчика инструментов для создания безопасного кода, начну с того, что в решениях статического анализа кода, к примеру, с помощью каскадной AI-валидации отсеиваются лишние и ошибочные срабатывания анализатора, выделяются главные уязвимости в коде и генерируются рекомендации по быстрому исправлению дефектов. Такая методология снижает количество False Positive до 20 % от исходного объема, экономя ресурсы и существенно уменьшая время на ручной триаж. Есть также ряд преимуществ у использования AI-SAST, главное из которых – возможность проверки бизнес-логики кода.

Что касается SOC, то здесь наибольший эффект от ИИ заметен в ускорении работы аналитика при выполнении рутинных задач. Во-первых, модель может обогащать и группировать оповещения. Во-вторых, она способна составлять хронологию инцидента и сопоставлять события. В-третьих, она готовит поисковые запросы, создает черновики правил обнаружения и предлагает рекомендации по устранению уязвимостей. Здесь разумно автоматизировать сбор контекста, создание карточки инцидента, дедупликацию и первичную классификацию. А вот самостоятельное принятие решений, например, блокировку учетной записи или изоляцию узла, можно поручать ИИ только в заранее проверенных сценариях.

Не стоит забывать о кнопке «Kill Switch», которая позволяет быстро отключить ИИ-контур, чтобы остановить непредсказуемое поведение автоматики. Во всех случаях наиболее критичные решения должен подтверждать человек. К тому же вывод модели необходимо подкреплять проверяемыми свидетельствами из исходной телеметрии.

 — Как ИИ внедряется в отдельные ИБ-инструменты и какой эффект приносит? Приведите, пожалуйста, примеры.

 — В ИБ-инструментах для разработчиков ИИ эффективен там, где дополняет, а не подменяет детерминированный анализ. Например, классический SAST ищет известные технические шаблоны уязвимостей и формирует первичный набор срабатываний. Семантический слой на базе ИИ учитывает контекст: роль пользователя, принадлежность объекта, состояние бизнес-процесса и связи между точками входа. Это помогает находить кандидатов на ошибки авторизации и бизнес-логики и объяснять способ исправления. Другой сценарий — каскадная ИИ-валидация результатов SAST: последовательные проверки уточняют контекст, отбрасывают часть ложных предупреждений и помогают расставить приоритеты. Важно сохранять проверяемую трассу — участок кода, поток данных и правило, на основании которых сделан вывод. Тогда ИИ сокращает время разбора, а решение для Security Gate остается воспроизводимым и контролируемым.

 — Большое спасибо за беседу!