Телеком-лаборатория: от диагностики до «реанимации» сетевого оборудования

Строительство лаборатории сетевых технологий РТК-Сервис началось в начале 2022 года, а уже в августе она начала работу. Помимо мультивендорного машинного зала, где проводится тестирование различного телеком-оборудования, здесь располагается ремонтный цех, куда поступают на починку неисправные компоненты от разных заказчиков.

В сердце технологических испытаний

Сердцем лаборатории является машинный зал, где размещается все ключевое оборудование для выполнения задач любой сложности. Площадь основного помещения машинного зала более 100 кв.м, в нем разместили около 60 телекоммуникационных стоек.

Машинный зал оборудован всей необходимой инженерной инфраструктурой: системами кондиционирования и вентиляции, пожаротушения, энергетикой, слаботочными системами, волоконно-оптическими линиями связи. За исключением средств пожаротушения, строительство автозала выполнялось силами сотрудников РТК-Сервис. 

Система электропитания спроектирована для решения задач, требующих высокой энергоемкости: мощность постоянного тока 96 кВт используется для специфических нагрузок серверной. Также имеется достаточный запас мощности по переменному току для обеспечения работы как существующего оборудования, так и дополнительного в рамках проводимых тестовых испытаний. Система кондиционирования способна отводить и использовать тепловую энергию объемом более 60 кВт, что является достаточным и даже имеет необходимый запас.

В телекоммуникационных шкафах размещается оборудование разных производителей
Фото: Андрей Блинов/ICT-Online.ru

Основную долю размещенных в стойках устройств составляет сетевое (IP) и транспортное (DWDM-системы) оборудование мировых вендоров: Juniper, Cisco, Huawei, Alcatel, Nokia, NEC и других. Есть и российские решения, как пример, от «Элтекс», EcoRouter, RDP.RU, «Континент», Т8 и т.д. Представлены как самые современные, так и более старые модели. Также здесь установлены серверы, на которых развернуты системы управления по каждому вендору.

Такой стек позволяет решить первую задачу лаборатории: тестирование различных конфигураций оборудования. По запросу заказчиков – операторов связи – специалисты лаборатории могут собрать здесь тестовый стенд не только с отдельным модулем, но и всю сетевую часть определенного вендора.

Сценарии тестирования так же могут быть совершенно разные. Часто проводится проверка оборудования на срабатывание механизмов защиты и возможности резервного переключения модулей. Можно также, например, демонтировать один из двух вентиляторов (то есть имитировать его выход из строя) и проверить обещание производителя о том, что система будет нормально функционировать только с одним вентилятором в течение двух часов.

Интеллектуальная оптическая платформа Huawei
Фото: Андрей Блинов/ICT-Online.ru

Наиболее актуальный на сегодня сценарий – на совместимость стека оборудования ушедших из России вендоров с устройствами отечественных производителей – таких, как «Элтекс» или «Бифоком».

Руководитель лаборатории по сетевым технологиям РТК-Сервис Станислав Канареев
Фото: Андрей Блинов/ICT-Online.ru

«Тестирование на действующих сетях операторов сопряжено с рисками простоев. Поэтому в нашей «песочнице» мы прорабатываем все вопросы, связанные с переходом заказчиков с западных на другие технические решения. Мы снимаем конфигурационные файлы с текущих сетей, собираем стенд, посредством генератора трафика подаем на него «боевую» нагрузку и проводим все необходимые испытания. Например, на данный момент у нас проходит тестирование перехода с системы управления Huawei на отечественный софт», – рассказывает руководитель лаборатории по сетевым технологиям РТК-Сервис Станислав Канареев.

Для наиболее эффективного решения задач РТК-Сервис дает заказчикам возможность размещать в машинном зале свои серверы для мониторинга и управления оборудованием, поступающим на тестирование. Организуется и удаленный доступ к этим серверам по защищенным линиям связи, чтобы инженеры заказчиков могли лишний раз не приезжать в лабораторию.

Мониторинг всех тестируемых систем ведется в режиме онлайн
Фото: Андрей Блинов/ICT-Online.ru

К слову, оказалось, что российские DWDM-системы неплохо «вписываются» в сеть оператора, который раньше работал с транспортным оборудованием зарубежных вендоров – таких, как Huawei.

«Производство оборудования и организация сетей DWDM проходит по рекомендациям ITU (International Telecommunication Union, Международный союз электросвязи – прим. ред.). Чтобы операторы передачи данных приобретали его оборудование, каждый вендор стремится делать его типовым. Допустим, оптические каналы идут на определенных частотах. Все производители оборудования выдерживают эти настройки и выпускают соответствующие мультиплексоры, демультиплексоры. Тем не менее, у оборудования разных производителей имеются свои нюансы. И как раз в нашей лаборатории мы можем подтвердить их совместимость с помощью различных приборов. Например, оптический спектральный анализатор измеряет оптическую мощность (уровень сигнала – прим. ред.) и другие параметры. Всё это фиксируется в протоколе тестирования оборудования, согласно программы локальных и секционных испытаний (ЛСИ) от производителя. Таким образом, у операторов есть возможность всё проверить у нас изначально, перед интеграцией того или иного блока», – поясняет эксперт по транспортным сетям лаборатории по сетевым технологиям РТК-Сервис Михаил Назарко.

Эксперт по транспортным сетям лаборатории по сетевым технологиям РТК-Сервис Михаил Назарко
Фото: Андрей Блинов/ICT-Online.ru

Эксперты лаборатории положительно отзываются о российских производителях DWDM-систем: Т8 и VPG LaserONE. В этой категории нам есть, чем заменить зарубежное «железо». В частности, на оборудовании Т8 развертывается ТрансЕврАзийская магистральная ВОЛС «Ростелекома» TEA NEXT.

Проводить испытания помогает целый ряд измерительного оборудования: анализаторы спектра, генераторы трафика, оптические измерители мощности, переменные аттенюаторы, генератор трафика. Для объединения устройств в сеть необходим также сварочный аппарат, который соединяет оптические волокна.

Универсальный сварочный аппарат нового поколения – Fujikura 86S+
Фото: Андрей Блинов/ICT-Online.ru

Наличие самого современного оборудования позволяет собрать в лаборатории практически любой тестовый стенд. Например, из компонентов DWDM-системы Huawei можно построить не только конфигурацию OADM (Optical Add-Drop Multiplexer, классический оптический мультиплексоров ввода-вывода), но и более эффективную и масштабируемую ROADM. Reconfigurable Optical Add-Drop Multiplexer – это реконфигурируемый оптический мультиплексор, обеспечивающий гибкую маршрутизацию оптических каналов в волоконно-оптической сети.

Также, в машинном зале часто тестируются решения вендоров, которые только намереваются выходить на российский рынок и оценивают готовность своих систем к особенностям местных сетей связи и требованиям операторов. В основном это китайские разработчики наподобие DanRiver.

Вторая задача инженеров лаборатории – дефектовка оборудования после его ремонта в ремонтном цехе РТК-Сервис.

Здесь ремонтируются компоненты многих вендоров, поступившие с различными типами неполадок – от небольших до самых серьезных. Безусловно, после починки каждое устройство нужно тщательно протестировать, чтобы определить, годится ли оно вообще к дальнейшей эксплуатации, а если годится, то на каком участке сети (можно ли использовать его на критическом участке, или только там, где его очередной выход из строя не вызовет серьезных проблем).

Тестирование SFP-модуля
Фото: Андрей Блинов/ICT-Online.ru

Например, здесь можно увидеть тестирование работоспособности и производительности 100-гигабитного SFP-модуля (Small Form-factor Pluggable, компактный трансивер) Nokia после его ремонта. Проверка реализуется по всем возможным критериям, предусмотренным вендором. По итогам тестов заказчику будет предоставлена вся необходимая документация, а также перечень логов, чтобы компания могла понять, где этот оптический модуль лучше всего применить. Важно, что это не просто расходник: стоимость подобного устройства – более миллиона рублей. Очевидно, что неразумно просто списать дорогостоящий неисправный компонент, заменив его другим: гораздо выгоднее отремонтировать, если такая возможность есть.

«Мы производим стендирование, испытания с подписанием соответствующих документов, таких, как протоколы и паспорта измерений. Просто так, без документирования, оператор ничего не внедряет в сеть. Очень важно, особенно после ремонта, понять, что модуль исправен, что он выдержит нагрузку. Потому что, когда оборудование выходит из строя, у операторов есть свои нормативы на локализацию соответствующего участка, поиск и устранение неисправности», – говорит Станислав Канареев.

Как правило, после такого ремонта устройство, успешно прошедшее тестирование, попадает в ЗИП оператора и ждет своей очереди, чтобы рано или поздно снова начать приносить пользу.

Вторая жизнь телеком-устройств

Ежемесячно в ремонтный цех РТК-Сервис поступает 300-350 заявок. Приходят устройства (или их отдельные компоненты – например, платы) от разных операторов: в том числе, около 70% объема – от «Ростелекома» как якорного заказчика. Починка сетевого оборудования на своей площадке требует серьезной экспертизы и больших вложений, поэтому многие компании предпочитают не создавать собственные подразделения, а пользоваться услугами специализированных ремонтных центров.

Богатый инструментарий инженера лаборатории
Фото: Андрей Блинов/ICT-Online.ru

Все устройства проходят по стандартной цепочке: принимаются логистическим сервисом, передаются на склад, на них оформляется необходимая документация. После этого они встают в очередь на ремонт, руководитель центра назначает ответственного исполнителя, и тот приступает к работе. В сложных и неоднозначных случаях этот процесс предваряется проверкой в лаборатории, где инженеры дают экспертное заключение: действительно ли существует указанная в заявке неисправность, есть ли другие неисправности, не указанные в заявке.

Справиться с любой поломкой специалистам помогает богатый технический арсенал: инфраструктура, инструменты, измерительные приборы, склад комплектующих и расходных материалов. Чтобы инженерам не приходилось каждый раз обращаться за помощью к коллегам из машинного зала, здесь тоже расположены тестовые стенды, на которых можно проверить работоспособность компонента после определенного этапа ремонта.

Системная плата на «операционном столе»
Фото: Андрей Блинов/ICT-Online.ru

На фото можно увидеть, как на рабочем столе инженера происходит равномерный нагрев платы для замены процессора. Специалист полностью контролирует процесс с помощью камеры с выведенным на экран изображением, а также с помощью датчиков, передающих данные на монитор.

В оборудовании DWDM, помимо плат, часто выходят из строя его ключевые компоненты – лазеры, которые генерируют оптические сигналы. Они особенно чувствительны к внешнему воздействию и некорректным условиям эксплуатации.

Бывают и более экзотические заказы. Например, однажды в Адлере (Сочи) сошел сель и добрался до склада ЗИП. Оказались повреждены маршрутизаторы Juniper стоимостью около трех миллионов рублей.

Одна из плат из Адлера осталась музейным экспонатом лаборатории
Фото: Андрей Блинов/ICT-Online.ru

Для таких случаев в лаборатории существует специальная «комната грязи», где можно вычистить всё, что угодно: плесень, следы коррозии и т. д. – то есть избавиться от всех загрязнений, которым часто подвергается техника, особенно если она размещается вне помещений. Устройства из Адлера были разобраны и прошли очистку в ультразвуковой ванне, а также с помощью специальных химических реагентов, инструментов (кисточек, скребков) и струи сжатого воздуха. В результате специалистам удалось полностью восстановить три из 11 маршрутизаторов, а также несколько отдельных плат.

На реализацию подобного нетривиального проекта, включая финальное тестирование устройств, ушло около трех месяцев. Для типовых задач у ремонтного цеха существует система SLA, отличающихся в зависимости от договора с заказчиком и типа поломки.

Ультразвуковая ванна
Фото: Андрей Блинов/ICT-Online.ru

«В среднем с момента поступления заявки и проведения анализа до устранения неисправности уходит от двух до десяти суток. Всё зависит от ситуации. Бывает, просто сломан разъем питания либо какая-то фурнитура, это оперативно заменяется, тестируется и возвращается заказчику. Но бывают и более сложные ситуации, в которых инженеру необходимо досконально разобраться. Это занимает значительное время. Или, например, если необходимо заменить модуль, которого нет на нашем складе, то формируется заказ на закупку, и только после поставки мы можем произвести ремонт», – поясняет Станислав Канареев.

Впрочем, ремонт оборудования на рабочем месте – не единственная задача здешних мастеров. Бывает, что им приходится выезжать «в поля» – как это было, например, в 2024 году, когда в городе Находка у «Ростелекома» из-за землетрясения повредились подводные кабели между Россией и Японией. Нужно было воспользоваться «окном» и, пока Япония не восстановила трафик, починить вышедший из строя блок системы электропитания подводных оптических усилителей (PFE, Power Feeding Equipment) производства компании NEC. Специалисты смогли полностью восстановить работоспособность поврежденного блока за три дня. 

Также лаборатория предоставляет заказчикам возможность обучения сотрудников, например, по интеграции различного оборудования в сеть.

Новые горизонты лаборатории

Сегодня общий штат лаборатории сетевых технологий РТК-Сервис составляет не более тридцати человек: руководители, 16 инженеров ремонтного цеха, 4 специалиста лаборатории, 4 менеджера-логиста. В связи с увеличившимися объемами заказов – не исключен дополнительный набор.

Все инженеры имеют необходимую квалификацию: это выпускники различных технических вузов по специальностям, связанным со схемотехникой, радиоэлектроникой и другими сферами. Уже в лаборатории они обогащают опыт под руководством наставников.

Развитие лаборатории связано также с расширением ее функциональности: здесь планируется проводить предпродажную проверку оборудования. Например, когда компания заключила контракт на поставку, всё оборудование перед отправкой заказчику будет проходить через лабораторию, где будет выдаваться экспертное заключение о его исправности. Сейчас такая возможность уже есть у «Ростелекома», а вскоре появится и у других компаний.

Лаборатория сетевых технологий РТК-Сервис – одно из уникальных подразделений технологической компании. Оно не участвует в операционной деятельности, которая у всех на виду (производство, маркетинг, продажи), но играет важнейшую роль в обеспечении «жизнедеятельности» сети. Инженеры решают здесь самые сложные задачи в сфере тестирования и ремонта телеком-оборудования, а также исследуют возможности импортозамещения. Постоянное развитие технической базы и расширение экспертизы позволяют лаборатории соответствовать самым высоким требованиям современной телеком-индустрии.