Проект в масштабе страны. Softline подводит итоги запуска первой очереди модульного ЦОДа в Беларуси

С чистого поля

История белорусского РЦОД начинается в конце 2012 года — с президентского Указа № 556 «Создание и эксплуатация объектов информационно-коммуникационной инфраструктуры с использованием новейших телекоммуникационных технологий и технологий обработки данных». Предполагалось, что уже к 2018 году все информационные системы организаций госсектора — которые на тот момент располагались, как правило, в серверных при госучреждениях — должны быть переведены на платформу республиканского дата-центра.

В тендере на разработку и развертывание РЦОД на первом этапе участвовали около 25 компаний с самыми разными по технологии и стоимости решениями. Основными требованиями заказчика были минимальные сроки строительства (12 месяцев на первую очередь), оптимальная стоимость и эффективность дальнейшего использования. В итоге по совокупности факторов генеральным подрядчиком проекта был выбран российский системный интегратор Softline, предложивший модульное решение на технологии pre-fabricated design.

Поскольку строительство РЦОД велось в рамках государственно-частного партнерства (то есть с привлечением частных инвесторов), заказчиком проекта и будущим оператором дата-центра выступил республиканский инфраструктурный оператор beCloud, вложивший в стройку собственные средства. Государство, со своей стороны, обеспечило различные льготы (например, таможенные) компаниям, участвовавшим в проекте.

Вид на дата-центр с КПП

Исходя из того, что объект должен был пройти сертификацию по международному стандарту TIER III, место для строительства — условно, «в чистом поле» — было выбрано не случайно: с одной стороны, близ столицы, с другой —  вдалеке от аэропорта и железной дороги, на безопасном расстоянии до высокорослых растений и крупных сооружений.

Особенность предложенной Softline технологии pre-fabricated design, применяемой при возведении модульных дата-центров, состоит в том, что с завода-изготовителя на площадку доставляются уже готовые блоки с установленными внутри них оборудованием: серверными стойками, генераторами, ИБП, системами пожаротушения и т. д. Высокая скорость строительства (по оценкам beCloud, в 1,5 раза быстрее, чем по классической схеме) достигается благодаря тому, что подготовительные работы на участке и монтаж оборудования на заводе происходит параллельно.

7 мая 2015 года состоялось торжественное заложение первого камня будущего РЦОД — на участке площадью около 12 гектаров возле агрогородка Колодищи, под Минском. 15 мая было получено разрешение на подготовительные работы, а 15 июня — на строительство. Пока на заводе в Хотватии специалисты компании Emerson Network Power монтировали оборудование в модули, проводили его приемочные испытания и готовили к отправке в Беларусь, на площадке разравнивался грунт и заливался фундамент, подводились электричество, оптические кабели и системы водоснабжения, велись другие подготовительные работы. Осенью 12 модулей, «упакованных» в кастомизированные контейнеры, в четыре этапа были доставлены автомобильным транспортом — фурами — на место назначения, установлены на бетонную площадку, соединены между собой, подключены к инженерным сетям, обнесены стенами и накрыты крышей. При этом каркасы контейнеров стали несущей конструкцией для крыши. В декабре 2015 года первая очередь РЦОД на 156 стоек была введена в эксплуатацию.

Характеристики защищенности РЦОД

Для обеспечения высоких темпов строительства специалисты не обошлись без применения нестандартных решений. Например, в декабре, для обеспечения необходимой температуры при покраске наружных труб над ними была установлена огромная теплица, внутри которой включили специально закупленные тепловые пушки. Эти же пушки пригодились впоследствии для испытания инженерной инфраструктуры ЦОДа: они имитировали полную тепловую нагрузку.

Согласно проекту, в дальнейшем последовательно будет проведено еще три этапа строительства, общее количество стоек достигнет 624. На каждый такой этап Softline и beCloud планируют тратить около 4 месяцев. Гибкость архитектуры ЦОДа позволяет при реализации последующих очередей применять различные усовершенствования без изменения концепции решения.

Ориентация на TIER III

Белорусский РЦОД был спроектирован и построен Softline в соответствии с международными стандартами TIER III Design и TIER III Facility. Первый подразумевает сертификацию проекта, — то есть, по сути, бумажной документации, а второй — непосредственно возведенного объекта. Для подтверждения этого стандарта эксперты Uptime Institute (создателя системы классификации TIER) из Великобритании и Москвы тестировали белорусский ЦОД на устойчивость к максимальной нагрузке и к аварийным ситуациям: пропаданию внешнего электропитания, выходу из строя того или иного оборудования и т. д.

Сертификация РЦОД по TIER III прошла с первого раза

Помимо этого, стандарт TIER III требует резервирования всех элементов инфраструктуры дата-центра, наличия независимых кабелей напряжения, источников бесперебойного питания, автоматической системы пожаробезопасности, определенного высокого уровня физической безопасности объекта, наличие SLA и ряда других факторов. Все они были учтены в ходе проекта. В итоге степень надежности и безопасности систем дата-центра определяется как 99,982%, максимально допустимое (по SLA) время простоя — 96 минут в год. Впрочем, в 2016 году простоев здесь не было вовсе.

«В соответствии с требованиями сертифицирующего органа, основное оборудование дата-центра должно резервироваться по схеме N+1: при выходе из строя любого элемента оборудования, которое участвует в технологическом процессе — АКБ, ИБП, любой трубы, кондиционера и т. д. — сам процесс не прерывается, центр продолжает работать на оставшемся оборудовании. Поэтому у нас сегодня установлено два дизель-генератора, две внешних ВОЛС, два трансформатора в подстанции... Наличие необходимого ЗИП, автоматическая система включения резерва и круглосуточное дежурство обеспечивают ЦОДу необходимую жизнеспособность», — говорит руководитель Управления Республиканского ЦОД Андрей Новиков.

Руководитель Управления Республиканского ЦОД Андрей Новиков

Помимо двух сертификатов TIER, дата-центр beCloud сегодня сертифицирован по стандарту PCI DSS (Payment Card Industry Data Security Standard), что означает его соответствие уровню физической безопасности для банковской карточной системы. Таким образом, размещать в РЦОД свое оборудование могут банки, которые осуществляют эмиссию банковских карт.

Основные характеристики РЦОД

Республиканский центр обработки данных расположен на территории площадью 12 тыс кв.м.

Площадь ИТ-помещений на данный момент составляет 3,2 тыс кв.м.

К РЦОД из Минска подведены две независимые ВОЛС (144 волокна каждая, скорость передачи данных до 100 Гбит/с), также имеется дополнительная 16-волоконная линия, которая связана с ближайшим узлом связи белорусского национального оператора «Белтелеком». Основные каналы ВОЛС вливаются в Единую республиканскую сеть передачи данных, связывающую более 40 городов страны и являющуюся опорной сетью для всех белорусских телеком-операторов, владельцем которой является beCloud.

Параметры белорусского РЦОД

Две независимые линии электроснабжения, максимальная мощность 10 МВт (суммарная потребляемая мощность четырех очередей РЦОД, согласно расчетам, не будет превышать 7,2 МВт).

6 систем пожаротушения: водная (два подземных водохранилища с насосными станциями и системой пожарного водопровода для защиты внешней территории) и газовые (внутри контейнеров и на узлах ввода ВОЛС).

Физическая защита РЦОД обеспечена на пяти уровнях. Периметр территории окружен забором, вход и въезд осуществляется через два КПП с военизированной охраной. Второй уровень — вход в здание по смарт-картам. Третий — уровень входа в модуль, шлюзовая система прохода. Далее — уровни входа в машинный зал и доступа к оборудованию стоек: к работе с оборудованием того или иного клиента допускаются люди строго по заранее утвержденному списку. По периметру и внутри объектов установлены около 96 видеокамер с интеллектуальными функциями, оборудованных инфракрасными датчиками.

Штат сотрудников РЦОД — 31 человек, включая обслуживающий персонал и охрану.

«Начинка» республиканского дата-центра

Дизель-генераторы и наружная инженерная инфраструктура

Помимо здания, в котором расположены модули, развернутый на территории РЦОД комплекс  состоит из административно-бытового корпуса и хозяйственных построек с гаражами и холодными складскими помещениями для временного размещения оборудования. Отдельно установлены два дизель-генератора с двигателями Caterpillar (2,5 МВт каждый), смонтированные в Санкт-Петербурге по белорусским стандартам пожарной безопасности. Наружу выведена часть системы охлаждения, в которой циркулирует 32 тонны этиленгликоля. Также на территории, зарытые в землю, расположены две емкости для дизельного топлива по 20 кубометров и емкость для аварийного слива топлива.

Отсек «теплого» склада

В административно-бытовом корпусе расположены помещения для сотрудников и клиентская зона для удаленной работы с оборудованием. Далее следуют теплые склады (температура около 12 градусов), где хранится клиентское оборудование и ЗИП дата-центра, обслуживаются АКБ. Здесь же оборудование готовится к монтажу, чтобы машинном зале производить только его установку в стойки и подключение разъемов.

Два узла ввода ВОЛС (оптический кросс и телекоммуникационное оборудование) находятся на максимально удаленных друг от друга участках здания. Как уже говорилось, они оснащены собственными системами кондиционирования и пожаротушения.

Информационные экраны отдела мониторинга

Отдел мониторинга РЦОД работает круглосуточно. На экранах размещены информационная и инженерная (электроснабжения, охлаждения и вентиляции) системы. Фиксируется состояние каждого элемента инфраструктуры и микроклимат в машинном зале: температура в холодных и горячих коридорах, влажность, давление.

Шинопровод, электрощитовая и экран ИБП

В коридоре рядом с машинным залом выведены два шинопровода по 4000 ампер каждый (производство российской фирмы KLM), которые соединяют трансформаторную подстанцию с главными распределительными щитами. Далее, в электрощитовой, находятся главные распределительные щиты производства Siemens и дополнительные распределительные щиты для непосредственного подключения оборудования. Здесь же — 4 ИБП по 500 КВт (соответственно, общая мощность 2 МВт), на экранах которых можно посмотреть состояние любого подключенного к ним устройства. Источники бесперебойного питания находятся в состоянии постоянной готовности. При автоматическом срабатывании резервной системы энергообеспечения дизель-генераторам необходимо до 2-х минут, чтобы полностью взять на себя нагрузку всей сети. Емкостей АКБ (всего их 8 — по 2 батареи на каждый ИБП) достаточно для работы ЦОДа в течение 12 минут при полной нагрузке машинного зала.

Машинный зал: система пожаротушения, лотки для прокладки СКС и ряд пока еще пустых стоек

Машинный зал собран из нескольких модулей, однако в готовом виде представляет собой единое помещение площадью 304 кв. м. Здесь в 12 рядов расположены 156 стандартных серверных стоек (высота 47U), каждая из которых рассчитана на размещение оборудования в 42 юнита и мощность 6,5 КВт. Помимо этого, в каждом ряду имеются две высоконагруженные стойки по 12 КВт. Общая мощность машинного зала превышает 1 МВт.

Под полом машинного зала проложены шинопроводы к стойкам и система охлаждения: таким образом, высота машинного зала — 4 метра, из них 80 см «отбирает» фальшьпол. По верху протянуты трубы системы газового пожаротушения, желоба для оптической СКС и металлические лотки для медных кабелей. Охлаждение здесь воздушно-водное. Воздух, охлажденный с помощью циркулирующего в кондиционере раствора этиленгликоля, поступает к стойкам из-под решетчатого пола и продувается через них из холодного в горячий коридор.

30% государству

Проект Softline и beCloud является на данный момент уникальным: по своим характеристикам это крупнейший дата-центр Беларуси, один из самых современных в Восточной Европе.

Как уже упоминалось, основным клиентом beCloud в РЦОД будет белорусское государство, которое постепенно перенесет в сюда ИТ-системы своих министерств, ведомств и приравненных к ним организаций (всего более 60). Государственное облако Республики Беларусь будет функционировать на облачной программной платформе ActivePlatform, а управляться со стороны клиента — при помощи единого портала услуг.

Генеральный директор beCloud Сергей Поблагуев

«Развитие ИТ-систем в Беларуси происходит с каждым годом всё быстрее, необходимо обновлять СХД, обеспечивать телекоммуникации. В государстве пришли к выводу, что невыгодно содержать много отдельных небольших ЦОДов, лучше поставить один высокоэффективный энергонагруженный, защищенный ЦОД, — поясняет генеральный директор beCloud Сергей Поблагуев. — Гособлако наш якорный клиент, а создание республиканской платформы — конечная цель. Сейчас мы продолжаем создание защищенной среды, в которой государственные организации смогут получать услуги.  Аналогов этого решения сегодня в Беларуси нет ни у кого».

Первой государственной организацией, осуществившей миграцию своих сервисов в республиканский ЦОД, стало Министерство по налогам и сборам Беларуси. Его  информационная система учета электронных налоговых счетов-фактур по НДС создавалась в облаке «с нуля»: организованы каналы связи, контакт-центр, техническая инфраструктура. Сегодня систему используют более 70 тыс предприятий страны. Занимает она 4 стойки. Так же в облако уже перенесена информационная система Министерства строительства и архитектуры.

Структура облачной платформы beCloud

В дальнейшем на базе республиканской облачной платформы могут быть реализованы многие социально значимые для страны проекты: системы мониторинга общественной безопасности, управления энергетикой, транспортом, здравоохранением, образованием и другие. По прогнозам beCloud, на содержание гособлака будет отведено приблизительно 30% всех стоек дата-центра.

Остальные ресурсы будут использоваться для предоставления услуг публичного облака коммерческим организациям: размещение клиентских серверов (colocation) и облачные сервисы по моделям IaaS (виртуальный хостинг, резервное копирование и др.) и SaaS (виртуальный софт).

Добавим, что республиканский ЦОД, построенный Softline под Минском, получил престижную премию RUSSIAN DATA CENTER AWARDS 2016 в номинации «Проект года».