Новый российский энергоэффективный суперкомпьютер МВС-10П на базе архитектуры «РСК Торнадо» — крупнейший в Европе проект c новейшими сопроцессорами Intel Xeon Phi

Применение передовой системы жидкостного охлаждения позволяет достичь уникальной в отрасли вычислительной плотности 181 TFLOPS на одну стойку 80см*80см*42U или 141 TFLOPS/м3, что в 3,8 раза лучше предыдущего мирового рекорда для х86 архитектур. Высокая вычислительная плотность необходима для суперкомпьютеров экзафлопного диапазона производительности, содержащих сотни вычислительных стоек с энергопотреблением более 100 кВт каждая. Уникальный уровень плотности, реализованный в прототипе системы МВС-10П на базе архитектуры «РСК Торнадо», подтверждает достижимость требуемого результата при создании столь высокопроизводительных систем.

Вычислительное поле прототипа состоит из 3328 вычислительных ядер процессоров Intel Xeon E5-2690 и 25376 ядер сопроцессоров Intel Xeon Phi SE10X. В каждом узле обеспечивается поддержка большого объема энергоэффективной  оперативной памяти – 64 ГБ (DDR3-1600, low voltage green memory), что составляет 4 ГБ на каждое вычислительное ядро Intel Xeon и суммарно 13 ТБ ОЗУ для всей системы. Высокоскоростная сеть передачи данных основана на передовой технологии FDR Infiniband (56 Гбит/с). Также, новый суперкомпьютер МСЦ РАН оснащается технологией гибкого управления энергопотреблением «РСК ЭКОсистема»,  которая позволяет дополнительно уменьшить суммарную стоимость владения (ТСО) на 25%. Данная технология управления энергопотреблением была впервые продемонстрирована группой компаний РСК на ведущей европейской суперкомпьютерной выставке ISC’12 в Гамбурге и впервые внедрена в суперкомпьютере МВС-10П на базе архитектуры «РСК Торнадо».

«Суперкомпьютер в МСЦ РАН — это крупнейший в Европе, России и странах СНГ вычислительный комплекс с новейшими сопроцессорами Intel Xeon Phi. Использование сопроцессора Intel Xeon Phi в архитектуре «РСК Торнадо» позволило в 4,8 раза улучшить наш же рекорд по энергоэффективности для России и стран СНГ, достигнув значения более 1680 мегафлопс/Вт. Это стало возможным благодаря объединению двух уникальных технологий — энергоэффективного решения с жидкостным охлаждением на базе архитектуры «РСК Торнадо» и применения сопроцессора Intel Xeon Phi для построения высокопроизводительных решений, позволив достичь на данный момент мирового рекорда энергоэффективности для решений на архитектуре х86», — отметил Алексей Шмелев, исполнительный директор группы компаний РСК.

Межведомственный Суперкомпьютерный Центр РАН (открыт в 1999 году, имеет филиалы в Санкт-Петербурге и Казани) является одним из самых мощных суперкомпьютерных центров коллективного пользования в России в сфере науки и образования. Коллектив МСЦ состоит из высококвалифицированных научных сотрудников, программистов и инженеров. МСЦ обслуживает более чем 100 организаций, в центре работают 181 группа исследователей, решается более 900 задач фундаментальной и прикладной направленности.

Основными задачами МСЦ являются:
• обеспечение научных исследований, проводимых в институтах РАН, современными вычислительными и телекоммуникационными ресурсами;
• оказание методической помощи исследователям в использовании высокопроизводительных вычислительных средств и современных средств обработки информации и подготовка научных кадров высшей квалификации;
• обеспечение доступа к современным электронным библиотекам и архивам, базам и коллекциям данных;
• проведение исследований по развитию системного и прикладного математического обеспечения, а также решение задач большой сложности.

«Новый мощный суперкомпьютер МВС-10П на базе архитектуры «РСК Торнадо» в 3 раза увеличит производительность вычислительного комплекса Межведомственного суперкомпьютерного центра, позволит достичь сразу нескольких уникальных показателей в производительности, энергоэффективности и управляемости технических средств, обеспечит проведение поисковых исследований на переднем крае суперкомпьютерных дисциплин, а также решение актуальных и фундаментальных научных проблем в рамках Российской академии наук для развития научного и экономического потенциала нашей страны», — подчеркнул, член президиума РАН, директор МСЦ РАН академик Геннадий Савин.

«Нам очень приятно, что суперкомпьютерный проект в МСЦ РАН стал первым в Европе и одним из первых в мире внедрений  с использованием новейших сопроцессоров Intel Xeon Phi. Объединение в одном проекте технологических инноваций от РСК, МСЦ РАН и Intel позволило достичь новых прорывов в энергоэффективности, вычислительной плотности и производительности. Повышение производительности и улучшение возможностей программирования суперкомпьютерных систем являются глобальным вызовом на пути к экзафлопной эре, и для нас большая честь участвовать в создании стратегической российской вычислительной системы», — сказал Радж Хазра (Raj Hazra), вице-президент корпорации Intel и генеральный директор Intel Technical Computing Group.

Уникальные характеристики решений на базе архитектуры «РСК Торнадо»

Новый виток развития инновационной архитектуры «РСК Торнадо» для создания энергоэффективных и компактных центров обработки данных (ЦОД) и суперкомпьютерных комплексов позволил специалистам группы компаний РСК впервые в мире реализовать прямое жидкостное охлаждение для стандартных и массово доступных серверных плат (различных производителей) на базе процессоров Intel Xeon, изначально созданных для традиционных систем с воздушным обдувом электронных компонент, вместе с новейшими сопроцессорами Intel Xeon Phi. Это третье поколение энергоэффективных решений РСК для сегментов высокопроизводительных и облачных вычислений, а также ЦОД.

Высокопроизводительные решения с высокой вычислительной плотностью на базе архитектуры «РСК Торнадо» с жидкостным охлаждением предназначены для решения различных задач заказчиков. Продуктовая линейка включает: РСК микроЦОД (от 16 до 64 узлов), РСК миниЦОД (от 64 до 256 узлов) и РСК ЦОД (более 2-х стоек с высокой плотностью до десятков PFLOPS).

Среди уникальных характеристик архитектуры «РСК Торнадо» и решений на ее основе следует отметить следующие:
•    До 128 х86-серверов в стандартной 42U стойке 80х80х200 см;
•    Высокоплотный дизайн blade-серверов на основе стандартных и массово доступных серверных плат;
•    Рекордная энергоэффективность — показатель эффективности использования электроэнергии PUE (Power Usage Effectiveness) достигает  рекордного для HPC-индустрии значения 1,06  (соотношение «энергопотребление всей системы/энергопотребление электронных компонент»). То есть не более 5,7% энергопотребления расходуется на охлаждение всей системы;
•    Рекордный коэффициент вычислительной эффективности достигает 96% на тесте LINPACK для новых процессоров Intel Xeon E5-2690 (технология Intel® Turbo Boost работает все время, что обеспечивает прирост тактовой частоты до 400 МГц при работе с тестом LINPACK);
•    Отвод более 100 кВт электроэнергии от стойки с помощью уникальной системы жидкостного охлаждения РСК;
•    Возможность использования самых высокопроизводительных моделей серверных процессоров Intel с тепловыделением 135 Вт. Например, процессора Intel Xeon E5-2690 (2,9 ГГц, 8 ядер) и новейшего высокопроизводительного сопроцессора Intel Xeon Phi;
•    Высокая пиковая вычислительная мощность более 47 TFLOPS в одной стойке на базе архитектуры Intel x86 с набором инструкций Intel AVX и более 181 TFLOPS с использованием сопроцессоров Intel Xeon Phi;
•    Высокая плотность — 74 TFLOPS на кв. м. (только на базе процессоров Intel Xeon) и 283 TFLOPS на кв. м. (с сопроцессорами Intel Xeon Phi);
•    Высокая масштабируемость – до уровня нескольких PFLOPS (десятки стоек);
•    Экономическая эффективность – сокращение эксплуатационных расходов до 60% (экономия затрат на электроэнергию в руб. благодаря эксплуатации решения РСК);
•    Компактность – сокращение площади ЦОД в несколько раз по сравнению с традиционными решениями на основе воздушного охлаждения;
•    Возможность использования ускорителей и сопроцессоров (например, Intel Xeon Phi).
•    Полный интегрированный стек программного обеспечения «РСК БазИС», оптимизированного для высокопроизводительных вычислений.