Оркестрация контейнеризированных приложений с помощью Kubernetes-платформы Deckhouse для ЕДИНОГО ЦУПИС

О заказчике

ЕДИНЫЙ ЦУПИС (ООО НКО «Мобильная карта») – единый центр учета переводов ставок букмекерских контор и тотализаторов на российском рынке – развивает платежные и цифровые сервисы для регулируемой индустрии развлечений в интересах государства и общества. Центр обслуживает более 22 млн кошельков клиентов российских букмекерских контор и Национальной Лотереи по всей России, обеспечивает более 2,5 млн платежей в сутки с доступностью сервиса свыше 99,99 %, а также реализует механизм удержания целевых отчислений на поддержку отечественного спорта, в том числе детско-юношеского спорта. На сегодняшний день на эти цели перечислено свыше 48 млрд рублей.

Об исполнителе

АО «Флант» с 2008 года занимается созданием и обслуживанием надежной ИТ-инфраструктуры для критичных бизнес-приложений. «Флант» первым в России начал популяризировать Kubernetes среди технических специалистов и сегодня не только оказывает услуги, но и выпускает собственные продукты (более 50 разработчиков в штате), повышая эффективность Open Source-технологий и адаптируя их под потребности бизнеса. Кроме того, «Флант» остается единственным российским вендором, который вносит существенный вклад в развитие Kubernetes как международного проекта.

Предпосылки проекта

Масштабирование бизнеса ЕДИНОГО ЦУПИС привело к усложнению архитектуры. Без современных оркестраторов стало работать крайне сложно: возросло количество ручных операций, уменьшилась степень контроля продакшн-площадок и росла энтропия. В связи с этим было принято решение развернуть Kubernetes сразу для всех промышленных площадок и для сервисов.

Ход проекта

На момент выбора вендорского решения опыта внедрения Kubernetes в индустрии еще накоплено не было, поэтому выбор был сделан в пользу зрелого российского продукта Deckhouse Kubernetes Platform Enterprise Edition (разработчик АО «Флант»).

С целью обеспечить отказоустойчивую геораспределенную архитектуру стороны проекта объединили четыре отдельных кластера, два из которых расположены на площадке, сертифицированной под PCI/DSS, в единый service mesh на базе Istio (Multicluster). Кроме того, применение средств взаимной аутентификации (Mutual TLS) позволило усилить безопасность приложений.

«На определенном этапе масштабирования нашего платежного сервиса мы столкнулись с ограничениями действующей ИТ-архитектуры. Проанализировав все варианты снятия ограничений, пришли к решению развернуть современный оркестратор Kubernetes на всех промышленных площадках для более чем 160 сервисов. Наиболее оптимальным способом для этого стало сотрудничество с компанией «Флант», обладающей обширной экспертизой в сфере Kubernetes и успешно развивающей отечественную платформу Deckhouse Kubernetes Platform. Использование готового решения позволило существенно сократить временные затраты на развертывание контейнеров» – рассказал Александр фон Розен, член Правления, Технический директор ЕДИНОГО ЦУПИС.

Проект проходил с октября 2022 года по ноябрь 2023 года. Основные сложности реализации были связаны с мультизональностью и высокими требованиями по SLA.

Уникальность проекта

Данный проект – первое внедрение в сфере высоконагруженного финтеха с требованием по SLA 99,99 % российской Kubernetes-платформы Deckhouse и service mesh на базе Istio. Проведена модернизация высоконагруженной инфраструктуры ЕДИНОГО ЦУПИС, представляющей более 160 различных информационных сервисов, по которым проводится свыше 2 млн платежей ежедневно для 15+ млн клиентов по всей России, с доступностью сервиса свыше 99,99 %.

Результаты проекта

В результате оркестрации контейнеризированных приложений с помощью Kubernetes-платформы Deckhouse для ЕДИНОГО ЦУПИС:

• Все микросервисы проекта были переведены на инфраструктуру, оркестрируемую платформой Deckhouse.
• Удалось заблаговременно избежать санкционных рисков, т.к. сделали ставку на российскую технологию и компанию.
• Интеграция инфраструктуры с CI/CD конвейером позволяет выпускать на продуктив по 20 релизов в сутки.
• Развернуто четыре продуктивных кластера под управлением Deckhouse в разных зонах доступности, обеспечивающих SLA 99,99 %.
• Развернуто 10 непродуктивных кластеров для инфраструктурных нужд.

За реализацию данного проекта ЕДИНЫЙ ЦУПИС и «Флант» получили национальную награду в сфере информационных технологий TAdviser IT Prize в номинации «Инфраструктура в финтехе: проект года» (см. новость раздела «Флант» от 30 мая 2024 г.).

«Для отрасли важно то, что ИТ-сообщество высоко оценило этот проект, учитывая, что ранее в отечественной финтех-индустрии не было примеров столь масштабного и столь быстрого внедрения Kubernetes», – подчеркнул Александр фон Розен.

«Основная задача, которую мы решали в рамках совместного с ЕДИНЫМ ЦУПИС проекта по внедрению Deckhouse Kubernetes Platform, – это предоставить возможность бизнес-заказчику пользоваться всеми преимуществами технологии управления контейнерами, при этом не сильно погружаясь в детали взаимодействия с Kubernetes. Это позволило ЕДИНОМУ ЦУПИС сосредоточиться на стратегических задачах масштабирования бизнеса, что особенно важно в условиях растущей конкуренции в финтех-индустрии. Мы рады тому, что наши совместные усилия по развитию контейнерных технологий заметны, в том числе, коллегам из ИТ-индустрии и благодарим жюри и экспертов TAdviser IT Prize за присуждение столь престижной премии», – отметил Александр Титов, управляющий партнер «Флант».