В России могут ограничить деятельность иностранных цифровых роботов

В конце апреля 2024 года Центр управления связью общего пользования (ЦМУ ССОП) Роскомнадзора направил письмо компаниям из реестра хостинг-провайдеров, в котором содержатся рекомендации по блокированию доступа поисковых ботов к данным российских веб-сайтов. Участники рынка отмечают, что ограничения касаются иностранных ботов, таких как Googlebot от Google, GPTBot от OpenAI и Apple Bot от Apple.

Боты автоматически посещают сайты для их индексации поисковыми системами. Собранные ими данные используются в интернет-рекламе и для обучения нейросетей. Несмотря на то, что боты с технической точки зрения могут притворяться обычными пользователями, имитируя поведение человека, официальные роботы поисковых систем обычно предоставляют владельцам веб-ресурсов специализированные идентификаторы, благодаря которым можно выяснить специфику их работы. В частности, поисковые системы могут иметь отдельных ботов для индексации сайтов в целом и для индексации изображений или другого контента.

Провайдеры должны проанализировать риски в своих сетях и, при необходимости, применить правила блокировки.

Согласно письму, иностранные боты могут собирать данные о критических уязвимостях российских ресурсов, индексировать данные пользователей и анализировать собранную информацию. В списке идентификаторов (User-agent) содержится 642 идентификатора, по которым можно отличить вредоносных роботов и сканеры уязвимостей.

В компании DDoS-Guard подтвердили получение письма и отметили, что приняли его к сведению. Ведущий юрист компании Кирилл Приходько добавил, что процедура блокировок в Роскомнадзоре формализована.

В другой крупной IT-компании указали на то, что список идентификаторов в письме довольно большой и их блокировка может повлиять на стабильность работы IT-систем. Однако провайдеры, которые видят риски со стороны зарубежных ботов актуальными для себя, все же могут рассмотреть возможность их массовой блокировки.

Директор хостинг-провайдера RUVDS Никита Цаплин прогнозирует, что в будущем рекомендации Роскомнадзора могут стать обязательными. Он подчёркивает, что сбор информации осуществляется одними и теми же роботами как для чат-ботов, так и для пользователей, вводящих запросы в адресной строке браузера. По его мнению, организации, которые последуют этой рекомендации, лишат себя возможности индексироваться в Google. Цаплин отмечает, что для крупных компаний это большой риск, особенно учитывая конкуренцию за трафик, так как если часть трафика уйдёт из Google, бизнесу придётся компенсировать потерю переходов на сайты через другие поисковые системы. Другой участник рынка добавил, что блокировка сильнее затронет компании, работающие в странах СНГ, где позиции Google, как правило, выше, чем у Яндекса.