Только в 14% российских корпораций знают о методологии безопасной разработки ИИ-систем MLSecOps

MLSecOps (Machine Learning Security Operations) — подход, объединяющий машинное обучение, DevOps и информационную безопасность. Он подразумевает, что безопасность ИИ-систем обеспечивается на каждом этапе их жизненного цикла, начиная от самых ранних этапов разработки до эксплуатации. Внедрение MLSecOps позволяет существенно снизить ИБ-риски. Результаты исследования говорят о том, что пока эта методология не стала общепринятым стандартом управления безопасностью ИИ в российских компаниях.

Фото: К2

«Рынок MLSecOps находится на этапе становления, и единая зрелая практика пока еще не сформировалась. Защитные подходы и специализированные решения появляются разрозненно, прежде всего в тех областях, где риски уже проявились на практике и стали ощутимыми для бизнеса, разработки и ИБ-команд. Ситуация осложняется тем, что задачи безопасности ИИ-систем распределены между несколькими уже существующими функциями: безопасностью разработки, защитой данных, контролем инфраструктуры, мониторингом эксплуатации и расследованием инцидентов. Именно поэтому безопасность ML-разработки невозможно эффективно выстроить без постоянного взаимодействия ИБ-отдела с командами по исследованию данных. Значительная часть рисков возникает не только в инфраструктуре, но и непосредственно в данных, пайплайнах обучения, логике валидации и процессе поставки модели в промышленную среду», — прокомментировал Александр Лысенко, Ведущий эксперт по безопасности разработки и ИИ в К2 Кибербезопасность.

«Из-за скорости развития технологий рынок решений по безопасности ИИ очень динамичен: меняется набор инструментов, которые нужно защищать, параллельно растет набор угроз, которые необходимо предотвратить. Если еще недавно речь шла о защите от джейлбрейков и утечке персональных данных в чатах, то сейчас необходимо обнаруживать потенциально опасные действия код-ассистентов и вредоносный код в агентных навыках. Роль ИБ-вендора в данном случае — отслеживать ландшафт угроз и оперативно реагировать на его изменения: понимать, какие из рисков уже закрываются имеющимися решениями (например, они адаптируются для поиска вредоносных закладок в открытых моделях), для каких необходимо реализовывать продукты в новых классах (например, AI Firewall), а где (например, в трендах, которые могут не войти в общую практику) первоочередную роль играют повышение осведомленности среди пользователей и разработчиков инструментов на базе машинного обучения — в частности, путем создания руководств, регламентов и обучающих курсов», —  комментирует Владислав Тушканов, руководитель группы исследования технологий машинного обучения в «Лаборатории Касперского».

Не все российские организации оперативно внедряют необходимые меры контроля за ИИ-системами:

• Только у трети (32%) компаний есть централизованный реестр моделей. Отсутствие такого реестра повышает риск запуска непроверенного артефакта, зависимости от неизвестного источника или уязвимости в цепочке поставок.

Фото: К2

• Централизованный каталог датасетов есть меньше, чем у половины (43%) компаний. С точки зрения безопасности датасеты — это не вспомогательный ресурс, а фундамент. Именно через них в AI/ML-контур могут проникнуть ошибки, а также могут произойти утечки, нарушения прав доступа и возникнуть риски скрытого изменения поведения модели.

Фото: К2

•  Контроль версий моделей реализован у 61% компаний. Значительная доля компаний, не владеющих информацией о наличии контроля версий моделей, косвенно показывает, что AI/ML-ландшафт во многих организациях пока еще не собран в единый операционный контур. Если процессы существуют, но не воспринимаются как заметный элемент архитектуры, это указывает на размытость ответственности между командами разработки, управления данными, ИТ и ИБ.

Фото: К2

Рынок уже научился переносить на ИИ часть зрелых практик классического ИБ- и ИТ-управления. Однако из-за отсутствия устоявшихся методологий защиты некоторые аспекты безопасности остаются без внимания: 

• Контроль доступа и доставки (фундаментальная практика ИБ) есть у большинства (59%) компаний. Однако наличие базовых практик не гарантирует защищенность ИИ-среды. Для достижения высокого уровня безопасности требуется расширение зон контроля: защита наборов данных, контроль промптов, обучение модели и т.д.

Фото: К2

• Защиту датасетов внедрили 46% компаний. Ее отсутствие означает, что компания фактически оставляет без контроля основу будущего поведения модели.

Фото: К2

• Высокая доля внедрения ролевой модели доступа показывает, что для большинства компаний тема управления ИИ уже вошла в область корпоративного управления. Это важный маркер зрелости: рынок начинает понимать, что доступ к модели, датасетам, inference-сервисам и связанным с ними артефактам должен регулироваться так же строго, как и доступ к критически важным ИТ-системам.

Фото: К2

• При этом наиболее слабым звеном в системе защиты ИИ остается мониторинг drift: только 15% компаний внедрили его, еще 15% пилотируют, а у 70% он вовсе отсутствует. Это один из самых важных результатов, потому что именно мониторинг drift отделяет «формально работающую» модель от реально управляемой.

Фото: К2