Возможности и угрозы искусственного интеллекта в ИБ обсудили на GIS DAYS 2023

Открывая форум, учредитель компании «Газинформсервис» Валерий Пустарнаков заявил о том, что использование искусственного интеллекта в информационной безопасности уже стало мейнстримом, но по многим вопросам в этой области отсутствует определенность. Цель нынешней дискуссии как раз и состоит в том, чтобы внести ясность в некоторые из дискуссионных тем.

Искусственный интеллект: доверяй, но проверяй

В пленарной дискуссии GIS DAYS 2023, озаглавленной «Использование систем искусственного интеллекта: вопросы доверия и информационной безопасности», приняли участие представители регуляторов и ведущих ИБ-компаний.

Александр Шойтов, заместитель министра цифрового развития, связи и массовых коммуникаций РФ

Замминистра цифрового развития, связи и массовых коммуникаций Александр Шойтов обозначил два основных риска широкого распространения искусственного интеллекта. Первый – риск неправильного функционирования моделей ИИ, из-за которого система принимает неверные решения. Это может быть связано с ошибками в создании самой модели, с некорректными данными или с атаками злоумышленников. Особенно критичной такая ситуация становится в тех сферах, где система ИИ наделена правом самостоятельно принимать определенные решения. Второй риск – утечка данных в процессе работы искусственного интеллекта.

«О рисках ИИ сейчас достаточно много говорят, в том числе в мире. Есть даже кардинальное мнение о том, что надо притормозить его использование. Риски действительно есть. Но моя позиция как представителя Министерства цифрового развития – тормозить не надо, надо просто аккуратно и адекватно его внедрять», – отметил спикер.

Наталья Касперская, президент ГК InfoWatch

Президент ГК InfoWatch Наталья Касперская напомнила о проблеме «черного ящика», которая относится к системам машинного обучения. Суть проблемы состоит в том, что самообучающаяся модель в процессе обучения начинает генерировать вещи, логику которых мы не в состоянии понять. Полностью избавиться от этого невозможно, но можно снизить риски: например, использовать для обучения доверенные датасеты, доверенные фреймворки, сертифицировать процесс разработки.

«Большинство наших систем искусственного интеллекта пишутся на известных зарубежных платформах, и в этом смысле они не очень доверенны, мы не знаем, как внутри работают эти системы. Но даже если мы используем одну из доверенных платформ, которые у нас в стране есть, то даже в этом случае мы не можем гарантировать, что система не сделает неожиданного для нас решения. Я считаю, что для систем машинного обучения это просто некая побочная функция, и мы должны понимать, что в некоторых случаях можем получить непредсказуемый результат. И здесь появляются гуманитарные риски – например, в случае принятия решения об увольнении сотрудника или назначении лекарства. Если мы передадим это искусственному интеллекту и система ошибется, кто будет нести ответственность за это? Мое мнение – системам искусственного интеллекта полностью передавать принятие решений нельзя», – уверена Наталья Касперская.

Николай Нашивочников, заместитель генерального директора – технический директор компании «Газинформсервис»

По словам заместителя генерального директора – технического директора «Газинформсервиса» Николая Нашивочникова, злоумышленники каждый раз оказываются более продвинутыми в плане ИТ, чем безопасники, поскольку они не ограничены ни этическими соображениями, ни арсеналом технологий. «Надо понимать что для совершения атаки в принципе контекста нужно не так много. Для нас это порой очень существенный фактор, а для хакера использование какого-то OSINT-инструментария позволяет много рассказать о компании, которую он собирается атаковать. И здесь для него открыты все возможности использования искусственного интеллекта, больших языковых моделей. На мой взгляд, это должно сильно настораживать сообщество ИБ, побуждать его совершенствовать свой инструментарий. Мы этим вопросом занимаемся уже лет восемь, и я думаю, у нас есть все шансы для того, чтобы эффективно противодействовать хакерам», – заявил он.

Генеральный директор Национального технологического центра цифровой криптографии Игорь Качалин оценил уровень устойчивости, которую может обеспечить современная российская криптография в связи с угрозами применения искусственного интеллекта: «На сегодняшний день нам не известно примеров или каких теоретических изысканий, которые бы давали возможность применить ИИ для снижения стойкости криптографических механизмов. Искусственный криптограф – это все-таки далекое будущее. Тем не менее специалисты в области выработки методов оценок стойкости, постоянно находятся в поиске, следят за развитием различных отраслей прикладной науки, чтобы своевременно и качественно реагировать на появление новых угроз российским криптографическим алгоритмам», – пояснил он. Результатами деятельности сообщества можно назвать, к примеру, ряд научно-исследовательских работ, а также презентации новых методов и подходов на отраслевых конференциях, как RusCrypto и CTCrypt. Эта деятельность позволяет, в том числе, техническому комитету по стандартизации «Криптографическая защита информации» (ТК 26) своевременно принимать стандарты и протоколы, соответствующие новым вызовам и угрозам.

Участники пленарной сессии GIS DAYS 2023

Заведующий кафедрой «Защита информации» Московского физико-технического института Валерий Конявский считает, что среди большого количества регуляторов, работащих с отраслью ИБ, должен быть некий «арбитр», который принимает консолидированное решение о применимости тех или иных методов. «Думаю, что большие достижения в области того, что принято называть искусственным интеллектом, нас ждут в тех системах, для которых мы сформулируем конкретную задачу. И второе – безусловно, это методы слепого машинного обучения сейчас, а через 3-4 года – методы семантического машинного обучения», – резюмировал он.

Основы кибербезопасности – от экспертов

Конференция продолжилась следующими друг за другом сессиями «Стратегия раннего обнаружения. Применение ИИ и машинного обучения» и «Актуальные проблемы ИБ. Автоматизация процессов ИБ, контроль конфигурации, DLP etc.», на которых отраслевые эксперты делились мнениями по поводу стратегий кибербезопасности, экосистемного подхода и применения различных средств ИБ.

Николай Нашивочников («Газинформсервис») представил принятую в компании концепцию раннего обнаружения угроз. «В условиях турбулентности, неопределенности нам нужно было принимать стратегические решения. Перед нами стояла проблема выбора. Можно было сосредоточиться на реализации требований регулятора, и для нас это фундамент как внутри компании, так и при создании продуктов для заказчиков. Вторая история – фокусировка от бюджета, когда в зависимости от уровня зрелости компании CISO принимает то или иное решение. Подход понятен, но мы не видели в этом изюминку. Еще одно направление – защита активов, мы понимаем что очень важно не допускать недопустимое. Но здесь я испытываю определенный диссонанс и не понимаю, как это нас приближает к тому, какие конкретно шаги мы должны предпринять, чтобы обезопасить себя от кибератак. Мы решили сосредоточиться на компетенциях и экспертизе, то есть смотрим в сторону реального, результативного кибербеза», – пояснил спикер.

Из презентации Николая Нашивочникова, «Газинформсервис»

В результате компании выделили три направления: предупреждение, детектирование и реагирование. Николай Нашивочников посоветовал коллегам повышать уровень базовых систем кибербезопасности, использовать методы расширенной аналитики, фокусироваться на практической безопасности и раннем реагировании.

«Как искусственный интеллект может побороть интеллект естественный в агрессивной среде обитания хакеров» – рассказал бизнес-консультант по информационной безопасности Positive Technologies Алексей Лукацкий. Он подтвердил статистику по росту количества кибератак. «2022 год ознаменовался тем, что различные группировки, которые атаковали российские организации, присматривались, тестировали свои наступательные возможности, оборонительные возможности компаний. И сейчас, в 2023 году, они перешли в более активную, наступательную фазу», – предупредил он.

Выступление Алексея Лукацкого, Positive Technologies

Спикер выделил несколько тенденций в области кибербезопасности на 2023 год: это увеличение времени присутствия в атакованной инфраструктуре, атаки через подрядчиков, особенно ИТ/ИБ компании, снижение числа фейков и компиляций и рост числа реальных утечек, маскировка утечек данных под DdoS, координация атакующих. Ответом ИБ-компаний на эти вызовы должен стать комплекс мер: расширение знаний о хакерах и их методах, организация собственного подразделения Threat Intelligence, SOC, киберполигоны, полный и регулярно пополняемый датасет для решений на базе ИИ.

В работе двух упомянутых сессий также приняли участие представители компаний InfoWatch, Check Point (Russia), «ИнфоТеКС», UserGate, «Код Безопасности», Zecurion, Solar, «Аладдин Р.Д.», «Киберпротект» и других. Они поделились экспертизой и представили собственные продукты.

Параллельно с этим проходили сессии «GIS об актуальном» от «Газинформсервиса» и «СУБД» от Jatoba. Деловая часть конференции завершилась панельной дискуссией «ИИ как драйвер развития решений в сфере информационной безопасности», участники которой вернулись к обсуждению технологий искусственного интеллекта.

Ранее мы писали о том, как 5 октября прошла петербургская часть GIS DAYS 2023.