– Компания INLINE Technologies имеет большой опыт построения дата-центров разного типа. В том числе она предлагает так называемые предсобранные модульные ЦОД (Prefabricated DС). Чем они отличаются от обычных МЦОД и насколько, на ваш взгляд, данная концепция востребована сегодня на рынке?
– Прежде всего отмечу, что формальных критериев «предсобранности» модульного дата-центра не существует, в любом случае его оборудование поставляется на площадку заказчика уже собранным внутри отдельных блоков. Так что каждый модульный ЦОД можно считать в той или иной степени предсобранным. Разница лишь во времени, которое понадобится для его окончательного монтажа и сдачи заказчику.
Вот это время мы и пытаемся максимально сократить, в том числе за счет полного отказа от прокладки силовых кабелей на месте и замены их на шинопроводы, которые вкупе с остальным оборудованием монтируем в производственном цеху. На площадке же просто механически соединяем их между собой – этим монтаж и ограничивается. При стыковке блоков слаботочные системы мы соединяем с помощью клемм и разъемов. Конечно, остаются работы, которые необходимо проводить на месте, но их, насколько возможно, мы стремимся минимизировать. В результате на сборку модульного ЦОД у нас уходит ощутимо меньше времени по сравнению с конкурентами.
Директор департамента инженерных систем INLINE Technologies Александр Переведенцев
Мы сегодня устанавливаем предсобранные ЦОД в крупных городах и в регионах за Уралом. Образно говоря, благодаря коротким срокам реализации и стабильному качеству сборки, которое не зависит от квалификации местных инженеров-монтажников, купить такой «префаб» становится так же просто, как обычный сервер. Более того, конфигурацию готового дата-центра мы можем легко варьировать в зависимости от местных условий: снеговой и ветровой нагрузки, температурных характеристик, индивидуальных требований по безопасности, взломостойкости и других указанных в техническом задании параметров, не снижая темпов строительства.
Думаю, с каждым годом спрос на максимально предсобранные МЦОД будет только расти на волне цифровизации разных отраслей, а также благодаря новым инфраструктурным проектам. В частности, я говорю о недавно озвученных программах Правительства РФ, которые предполагают активное развитие промышленных центров в Сибири и обустройство Арктической зоны России вдоль Северного морского пути, включая информационную и коммуникационную составляющие. Уверен, без ускоренного строительства крупных и средних дата-центров в этих отдаленных районах столь масштабные планы будет сложно осуществить.
– Какие конкретно решения вы предлагаете в сегменте МЦОД?
– У нас есть три типовых варианта. Во-первых, это одноблочный ЦОД мощностью до 50 кВт полезной нагрузки. Он рассчитан на пять-шесть серверных стоек и представляет собой полностью законченное решение, где внутри одного блока установлена вся инженерная, ИТ-инфраструктура и предусмотрен небольшой тамбур-шлюз.
В средней категории мы поставляем предсобранные модули, состоящие из специализированных блоков, как правило, от трех до восьми. Блоки стыкуются между собой, образуя полноценное здание. МЦОД может включать в себя инженерные блоки, в том числе холодоснабжения, электроснабжения, пожаротушения и так далее, и серверные блоки, емкость каждого из которых составляет до 18 стоек. При стыковке таких серверных блоков получается единое пространство – серверный зал. Мы также предлагаем вспомогательные блоки: тамбур-шлюз, коридорный, лестнично-лифтовой, административный и другие.
И в малом, и в среднем классе модульных ЦОД мы применяем различные системы отвода горячего воздуха – от классических фреоновых до прецизионных с функцией адиабатического фрикулинга. А схему избыточности выбираем с учетом позиции заказчика: ориентируется он на рекомендации Uptime Institute или же формулирует собственные требования по резервированию. Например, при создании в этом году малого дата-центра для одного из региональных предприятий химической промышленности резервирование систем электроснабжения и холодоснабжения было реализовано по схеме N+1, в то же время другой заказчик, крупный оператор связи, предпочел комбинацию 2N+1.
Третий вариант – это большие центры обработки данных. В них мы обыкновенно используем систему холодоснабжения типа «чиллер-фанкойл» либо фрикулинговую систему с промежуточным теплообменником и адиабатикой. Сами модули могут быть реализованы по горизонтальной или вертикальной топологии. В последнем случае это два этажа, где внизу находится вся инженерная инфраструктура, а наверху – диспетчерская и машинный зал. Такое исполнение удобно для тех компаний, которым надо вписаться в ограниченные размеры земельного участка.
Могу сказать, что только за последние три года мы построили для наших заказчиков восемь таких модульных дата-центров, каждый емкостью более 100 стоек. В том числе совсем недавно закончили возведение крупного объекта для одного из операторов «большой четверки» на 240 стоек. Есть планы и по дальнейшему строительству в разных регионах страны.
И еще одна категория наших МЦОД – это очень крупные конструкции, которые по большей части размещаются за пределами городской черты. Здесь серверные блоки могут включать до 1000 стоек с различным шагом наращивания и масштабируемости. Однако доля типовой заводской сборки в таких мегамодулях относительно невелика в сравнении с другими вариантами, поскольку конфигурация внутреннего оснащения блоков в данном случае во многом зависит от индивидуальных потребностей заказчика.
– В чем, по-вашему, сегодня проявляются главные различия в развитии рынка ЦОД у нас и за рубежом – с точки зрения бизнес-задач, технологий?
– Сегодня становится все более очевидным, что масштабы ввода в эксплуатацию центров обработки данных в России больше, чем, например, в европейских странах. И это напрямую связано с тем, что уровень цифровизации у нас выше во многих отраслях: в телекомммуникациях, в финансовой сфере и особенно в государственном секторе с учетом функционирования таких ресурсов, как АИС «Налог-3», портал «Госуслуги», муниципальные интернет-центры «Мои документы».
Конечно, на Западе рынок дата-центров тоже развивается. Но, как правило, это относится к коммерческим центрам обработки данных глобальных операторов типа Google или Amazon, которые продают ресурсы и бизнес-услуги прежде всего корпоративным заказчикам.
Дополнительное влияние на отечественное цодостроение оказывают и такие законодательные акты, как «закон Яровой», поправки о «суверенном интернете» в федеральном законе «О связи», и другие инициативы государства в области цифровизации и кибербезопасности. Это стимулирует иностранных операторов коммерческих дата-центров, включая тех же Amazon, Google, Facebook, Microsoft, имеющих отношение к получению и обработке персональных данных наших пользователей, строить ЦОД на территории Российской Федерации. Многие из них это уже сделали, другие сейчас этим занимаются.
Что касается технологий, то явное различие проявляется в более медленном распространении энергоэффективных решений в отечественных дата-центрах. Причина этого кроется в относительно низких, по сравнению с зарубежными, тарифах на энергоресурсы в нашей стране: если у нас 1 кВт электроэнергии в среднем стоит 4-5 рублей, то в Европе в пересчете – 30 рублей, а то и больше. Соответственно, энергоэффективные решения в европейских ЦОД окупаются примерно за 2 года, а у нас это порой растягивается на 10 лет и нередко превышает срок службы самого дата-центра.
– Значительная часть изысканий в области повышения энергоэффективности ЦОД приходится на системы прецизионного кондиционирования, выбор которых сегодня довольно широк. Какие технологии охлаждения вы считаете наиболее перспективными для отечественных дата-центров?
– На мой взгляд, все существующие на рынке прецизионные системы заслуживают внимания. Прежде всего потому, что все они позволяют гарантированно выдерживать заданные температурные диапазоны (как правило, 22-24 С) и необходимые параметры влажности.
Вместе с тем на нашем рынке наиболее востребованными в дата-центрах среднего и крупного масштаба были и остаются системы «чиллер-фанкойл». Они относительно просты, очень надежны, и профильные специалисты вполне понимают, как их внедрять и эксплуатировать.
Однако в последние годы все чаще их конкурентом выступают бескомпрессорные решения на базе воздушного охлаждения, фрикулинга. Популярность этих систем растет в связи с массовым распространением нового поколения активного оборудования, которое способно работать при температуре на входе до 35-36 С. Системы с фрикулингом вполне можно применять во многих климатических зонах нашей страны. И с учетом стоимости внедрения, которая сопоставима с решениями «чиллер-фанкойл», применение фрикулинга позволяет обеспечить экономию до 20-30 % электроэнергии, потребляемой центром обработки данных.
Правда, у систем прямого фрикулинга есть и недостатки. Из-за использования наружного воздуха в ЦОД превышается допустимый порог запыленности, становится сложно или вообще не удается контролировать уровень влажности в серверном зале, а также в принципе нельзя применять автоматические системы газового пожаротушения. Кроме того, пределы отклонений температуры от заданных значений в этих решениях получаются слишком широкими для прецизионной технологии.
Поэтому более перспективными представляются системы на основе фрикулинга с промежуточным теплообменником, который препятствует перемешиванию внутреннего и внешнего потоков воздуха. Такие решения дополнительно оснащаются адиабатическим контуром для повышения общей эффективности.
Хочу заметить, что наша компания одной из первых в стране разработала и применяет подобную систему. И как показывает опыт, ее использование в крупных центрах мощностью от 1 МВт и с количеством стоек более 100 дает реальное сокращение потребляемой электроэнергии по сравнению с системами компрессорного охлаждения. Так, если коэффициент энергоэффективности ЦОД (PUE) для систем «чиллер-фанкойл» составляет примерно 1,4-1,5, то у нашего решения он равняется 1,1-1,2. Это обеспечивает заказчикам значительную экономию операционных расходов.
Наконец, до недавнего времени много надежд возлагалось и на технологию иммерсионного охлаждения, которая считалась безальтернативной для высокоплотных серверных конфигураций. Однако актуальность проблем увеличения плотности и существенного роста тепловыделения ИТ-оборудования все же оказалась преувеличенной. Да и у самой иммерсионной технологии с течением времени обнаружились серьезные эксплуатационные недостатки. А с учетом того, что для применения этих систем необходимо производить модернизацию активного оборудования, они, скорее всего, так и не получат широкого распространения.
– Еще одна ключевая подсистема ЦОД - это электропитание. Отраслевые производители в последние несколько лет активно продвигают здесь ИБП на литий-ионных аккумуляторах. В какой мере они способны заменить традиционные виды статических ИБП?
– Прежде всего отмечу, что отраслевые производители не на пустом месте продвигают эту технологию. Сильным стимулом ее развития стал бурный рост электромобилестроения. Соответственно, и цены на литий-ионные аккумуляторы снизились примерно втрое по сравнению с 2015-2016 годами, и на рынке их сегодня довольно много. Это и бюджетные батареи Li-NMC с катодом из оксида никеля, марганца и кобальта – правда, существует риск бесконтрольного выхода их из строя, как известно, – и очень дорогие литий-титанатные (LTO), которые работают в широких пределах температур и полностью безопасны при любых условиях и воздействиях. Большой выбор моделей, в частности, на основе литий-железо-фосфатной технологии (LFP), наблюдается и в среднем ценовом диапазоне. Производство промышленных линеек ИБП с литий-ионными аккумуляторами сейчас налажено у таких мировых производителей, как Centiel, Huawei, Schneider Electric, Vertiv.
Так что популярность этих систем однозначно растет, в том числе и в России. Если же говорить о применении в ЦОД, то их преимущества перед другими типами аккумуляторных батарей очевидны. Так, по сравнению со свинцово-кислотными АКБ той же емкости они занимают примерно в четыре раза меньше места, а по весу оказываются приблизительно в пять раз легче. Кроме того, у литий-ионных АКБ в десятки раз больше количество зарядов и разрядов, то есть они гораздо долговечнее: если парк свинцовых батарей требуется полностью заменять через 5-7 лет, то для литий-ионных срок обновления составляет более 15 лет.
По нашему опыту могу сказать: при использовании литий-ионных АКБ в крупных дата-центрах все указанные преимущества проявляются наиболее зримо – и по занимаемым площадям, и по нагрузке на несущие конструкции, и по расходам на замену. Кроме того, наиболее актуальным мы считаем применение литий-ионных батарей при оснащении помещений в зданиях, которые изначально не были предназначены для установки тяжелого оборудования и обладают минимальной нагрузочной способностью перекрытий, – например, в офисах, музеях, поликлиниках. Использование в этом случае легких и емких литий-ионных аккумуляторов позволяет избежать многих проблем.
– Существует мнение, что источники на литий-ионных батареях могут полностью вытеснить с рынка и дизель-динамические (ДД) ИБП, хотя последние довольно распространены сейчас. Вы согласны с этим утверждением?
– На мой взгляд, все к этому идет. И думаю, что ИБП на литий-ионных аккумуляторах уже сейчас выглядят предпочтительнее ДДИБП за счет большей простоты в эксплуатации, более высокой надежности и безопасности.
Причина, по которой динамические ИБП были в свое время установлены во многих крупных ЦОД, заключалась в том, что они требуют меньше места в сравнении со свинцовыми батареями. По крайней мере, на тот момент это все так преподносилось. Однако в процессе их эксплуатации стало очевидным, что это вещь не очень-то экономичная, да и ненадежная: за минувшие годы у нас и за рубежом произошло несколько крупных аварий в ЦОД именно из-за выхода из строя элементов ДДИБП. Дело в том, что динамический ИБП – это механическое устройство с большим количеством трущихся частей, постоянно вращающимся огромным ротором-маховиком массой более 10 тонн, с отдельной сложной системой автоматики. И он очень чувствителен к центровке и настройке.
У ДДИБП также высока стоимость эксплуатации и ремонта. Не говоря уже о том, что в нашей стране это оборудование не производится, и далеко не каждый инженер сможет его обслуживать. Между тем ИБП на литий-ионных АКБ – это, по сути, стандартное изделие, с сопровождением которого справиться может любой более-менее подготовленный специалист.
У литиевой технологии есть и еще одно важное преимущество перед дизель-динамической. Если в дата-центре случится форс-мажор – например, пропадет основное электропитание и при этом по какой-либо причине не заведется автоматически дизель-генератор, – то крайне важно, чтобы системы ИТ-управления успели за счет ресурсов системы бесперебойного электропитания в штатном режиме обеспечить приостановку или завершение тех или иных приложений. И при использовании литий-ионных батарей для этого всегда будет в запасе 10-15 минут. А в случае ДДИБП на все действия автоматики останется всего около трех секунд, после чего, скорее всего, либо данные пропадут, либо фатально зависнут критические приложения, либо возникнут другие дорогостоящие проблемы.
Так что в перспективе у ИБП на литий-ионных аккумуляторах я в принципе не вижу конкурентов. Ну разве что на рынке появятся еще более легкие, энергоемкие и безопасные технологии бесперебойного питания.
– В сфере управления инженерной инфраструктурой ЦОД, его основными подсистемами сейчас активно обсуждаются возможности внедрения технологий искусственного интеллекта (ИИ) и машинного обучения. Означает ли это, что ресурсов традиционных систем мониторинга, управления, диспетчеризации уже не хватает и без ИИ в ЦОД не обойтись?
– Возможно, при определенном уровне развития искусственного интеллекта это и станет реальностью, но на данный момент любой возможный сбой программы или неверная трактовка ИИ текущих параметров может привести к критическому сбою в работе всего ЦОД.
Надо всегда помнить о том, что искусственный интеллект как таковой – это лишь математическая модель, которая действует исключительно по правилам, заложенным человеком. И у нас всегда есть риск оказаться заложниками понятия «принятие решения искусственным интеллектом». А между тем каждое такое «решение» есть просто результат генерации выбора по дополнительным косвенным параметрам, которые определил все тот же человек. Так что даже если представить ситуацию, когда в дата-центре искусственный интеллект начнет имитировать работу оператора, следить за этим должен будет все равно реальный оператор. В таких критически важных аспектах принимать решение должен именно человек.
На нынешнем же этапе на откуп искусственному интеллекту можно отдать лишь сугубо прикладные, вспомогательные задачи, например, процессы 3D-моделирования на основе совокупности проектных параметров здания и отдельных систем. Это то, что сегодня реализовано в BIM-технологии и уже является стандартом де-факто, необходимым инструментом проектирования инженерных систем ЦОД и зданий. В BIM-модели с помощью ИИ сначала формируется объемный образ объекта со всеми системами жизнеобеспечения и ИТ-инфраструктурой. Далее он трансформируется в сервисную модель, к которой подключаются разнообразные датчики для того, чтобы ИИ мог последовательно проанализировать и отследить происходящие на тех или иных этапах строительства изменения и отразить их на экране. Таким образом, мы получаем возможность с помощью искусственного интеллекта поэтапно представить, проследить и верифицировать различные процессы и отклонения на протяжении всего жизненного цикла ЦОД: от проектирования до полной его реализации и даже утилизации.
Другая прикладная область – это интеллектуальные системы управления ИТ, AIOps. Эти системы сочетают в себе алгоритмы машинного обучения и анализа больших данных, которые формируются на основе метрик функционирования различных ИТ-подсистем дата-центра. Системы AIOps автоматически отслеживают соблюдение заданных параметров работы ИТ-оборудования, обеспечивают корреляцию событий и перераспределение нагрузки на те или иные ресурсы. В этом случае инженер просто отвечает за физическую сторону процессов сопровождения, подключение и ремонт, а все остальное происходит внутри интеллектуального ПО без его участия. В своих проектах мы применяем системы AIOps, в частности, для того, чтобы обеспечить для операторов дата-центров детальную привязку состояния систем ЦОД к параметрам качества услуг и дать им инструменты проактивного контроля рисков деградации качества ИТ-сервисов.
Впрочем, не исключаю, что рано или поздно мы все же придем к тому, что, скажем, при посещении поликлиники будем прикладывать свой отпечаток, смотреть в глазок, дуть на датчик и на выходе получать от искусственного интеллекта распечатку с диагнозом, направлениями и списком лекарств. Но пока еще ИИ не научился выдавать результат без сбоев и ошибок, да и человечество не готово впустить в свою жизнь не просто цифровизацию, но скорее роботизацию и киборгизацию, так что это работать не будет. Разве что лет через 300, ну или 150. Раньше точно нет – тем более в России.
– Если рассмотреть более близкую перспективу, скажем, 3-5 лет, в каком направлении в нашей стране будут развиваться технологии для построения инженерных инфраструктур ЦОД?
– Полагаю, одной из основных тенденций будет дальнейшее стремление организаций и предприятий к созданию распределенных центров обработки данных в рамках реализации концепции периферийных вычислений. И скорее всего, основной единицей здесь будут выступать модульные дата-центры среднего и крупного масштаба, от 100 до 500 стоек. Насколько можно судить, этот тренд набирает обороты примерно два-три последних года и на данный момент выглядит экономически более целесообразным, более приближенным к потребителю, нежели консолидация и наращивание мощностей в пределах одной площадки.
Безусловно, будет расти популярность использования фрикулинга в системах охлаждения, обусловленная и необходимостью экономить ресурсы, прежде всего электроэнергию, и ужесточением требований к обеспечению энергоэффективности. И наиболее вероятно, что драйвером развития темы энергоэффективности у нас, да и за рубежом, станет сегмент коммерческих ЦОД. Ведь в структуре ценообразования услуг по аренде дата-центра основную долю составляет стоимость электроэнергии. Соответственно, арендная ставка будет ниже у того оператора, чей ЦОД окажется более энергоэффективным и будет обладать высоким уровнем SLA.
В свою очередь, это будет стимулировать заказчиков к тому, чтобы размещать свои системы и программные продукты в стороннем ЦОД вместо того, чтобы строить собственный. И весьма вероятно, что в итоге полный аутсорсинг информационной инфраструктуры и сервисов станет рыночной нормой. Или же компании станут массово использовать гибридную ИТ-инфраструктуру: собственный ЦОД в качестве основного и арендованный в качестве резервного.
Исключение здесь, скорее всего, составят только крупные ИТ-компании и промышленные холдинги, которые продолжат строить и использовать собственные дата-центры – для них это, судя по всему, и дальше будет более предпочтительным с точки зрения стоимости и безопасности.
– Большое спасибо за беседу!
