Группа компаний РСК представила на международной суперкомпьютерной выставке ISC’15 суперкомпьютерный центр Санкт-Петербургского политехнического университета и новые результаты решения научных задач на массивно-параллельном суперкомпьютере RSC PetaStream™
Группа компаний РСК, ведущий в России и СНГ разработчик и интегратор инновационных решений для сегмента высокопроизводительных вычислений (HPC) и центров обработки данных (ЦОД), представила на международной конференции-выставке ISC’15 новый суперкомпьютерный центр Санкт-Петербургского политехнического университета Петра Великого (СПбПУ), в котором были установлены суперкомпьютерные системы «Политехник РСК Торнадо» и «Политехник RSC PetaStream», а также новые результаты, полученные при решении научных задач на массивно-параллельной суперкомпьютерной архитектуре RSC PetaStream™.
Суперкомпьютерный центр СПбПУ
В прошлом году РСК реализовала проект создания одного из самых современных и крупных в России вычислительных центров для Санкт-Петербургского политехнического университета. Специалистами компании разработаны и установлены две новые вычислительные системы с суммарной пиковой производительностью более 1,1 ПФЛОПС.
Цели создания Суперкомпьютерного центра СПбПУ:
•Повышение эффективности фундаментальных и прикладных научных исследований, ведущихся в СПбПУ, за счет использования в них суперкомпьютерных технологий (СКТ);
•Подготовка инженерных кадров, обладающих высоким уровнем компетенций в применении СКТ для разработки наукоемкой продукции;
•Формирование на базе Политехнического университета регионального центра компетенций в области применения суперкомпьютерных технологий в наукоемких отраслях народного хозяйства (энергомашиностроение, самолетостроение, биоинженерия, радиоэлектроника).
«Наш Центр будет совершенно открытым и наряду с учеными СПбПУ его вычислительные ресурсы и сервисы смогут использовать научно-исследовательские организации города и страны для решения актуальных научных проблем в механике, гидро- и аэродинамике, физике плазмы, материаловедении, электронике, биофизике и биотехнологиях, кибербезопасности. Разработчики и инженеры университета, промышленных предприятий с помощью предоставляемых Центром мощных рабочих станций и CAD/CAM систем получат возможность проектирования новых образцов техники в энергетическом машиностроении, биотехнологиях, радиоэлектронике и в других областях. Для преподавателей и студентов Центр становится технологической базой углубленной подготовки по информатике, компьютерным наукам и инжинирингу. Мы рады представить суперкомпьютерный центр СПбПУ, являющийся одним из самых современных в России, на международной выставке ISC’15. При этом, мы прежде всего хотим обратить внимание на возможности наших научных коллективов в разных предметных областях, требующих применения суперкомпьютерных вычислений. Также мы хотим ближе познакомиться с опытом наших зарубежных коллег в этой области», - отметил Владислав Синепол, директор СКЦ СПбПУ.
Пиковая производительность кластерной системы «Политехник РСК Торнадо» с прямым жидкостным охлаждением составляет 829 ТФЛОПС. Она занимает 3-е место в российском списке самых мощных суперкомпьютеров Top50 с производительностью 658 ТФЛОПС на тесте LINPACK, входит в мировые рейтинги Top500 и Green500. Это первый в СНГ проект на базе новых серверных процессоров семейства Intel® Xeon® E5-2600 v3.
«Политехник РСК Торнадо» состоит из 712 двухпроцессорных узлов, включающих 1424 высокопроизводительных серверных процессора Intel® Xeon® E5-2697 v3 (14 ядер в каждом с тактовой частотой 2,6 ГГц), серверные платы Intel® S2600KP и Intel® S2600WT для этого поколения процессоров, новейшие твердотельные накопители Intel® SSD DC S3500 для корпоративных ЦОД. Ресурсы этого суперкомпьютера предназначены для решения не только сложных вычислительных задач, но и для обеспечения облачных, VDI (Virtual Desktop Infrastructure) и графических сервисов.
Вторая часть гибридного вычислительного комплекса СПбПУ создана на основе уникальной сверхплотной массивно-параллельной системы RSC PetaStream с прямым жидкостным охлаждением и пиковой производительностью 258 ТФЛОПС. Суперкомпьютер «Политехник RSC PetaStream» продемонстрировал производительность 170,5 ТФЛОПС на тесте LINPACK, заняв 8-ю позицию в текущей редакции рейтинга Top50. Эта вычислительная система СПбПУ построена на базе 60-ядерных Intel® Xeon Phi™ 5120D и процессоров семейства Intel® Xeon® E5-2600 v2, а также серверных плат Intel и твердотельных накопителей Intel SSD DC S3500 для корпоративных ЦОД.
Системы «Политехник РСК Торнадо» и «Политехник RSC PetaStream» объединены в единый вычислительный комплекс в рамках СКЦ СПБПУ с помощью высокоскоростной коммутационной сети Infiniband FDR.
В состав нового вычислительного комплекса СПбПУ также входит параллельная система хранения данных (СХД), построенная с помощью распределенной файловой системы Lustre, которая будет способна размещать и использовать 1 Петабайт информации, а также блочное хранилище данных для облачных сред размеров в 0,5 Петабайт. Оба хранилища используют серверные технологии на основе архитектуры Intel.
Новые научные результаты на RSC PetaStream
Активное использование различными научными коллективами массивно-параллельных суперкомпьютеров RSC PetaStream с Intel® Xeon Phi™ 5120D и Intel® Xeon Phi™ 7120D, установленных в Санкт-Петербургском политехническом университете и Межведомственном суперкомпьютерном центре Российской Академии Наук, позволило получить новые результаты в целом ряде перспективных исследований и решении приоритетных задач фундаментальных научных дисциплин, некоторые из которых были представлены на конференции ISC’15.
Научные сотрудники Института вычислительной математики и математической геофизики Сибирского отделения РАН (ИВМиМГ СО РАН) и Новосибирского государственного университета (НГУ) продолжают свои исследования в области суперкомпьютерного моделирования астрофизических процессов с помощью массивно-параллельного суперкомпьютера RSC PetaStream и разработанного ими программного комплекса AstroPhi для моделирования разномасштабных астрофизических процессов.
Столкновение галактик – рядовое событие в их эволюции. В среднем любая галактика совершает до десяти столкновений за Хаббловское время и активно выдвигается гипотеза, что именно столкновения галактик приводят к их многообразию. Суперкомпьютерное моделирование таких процессов – единственный способ их изучения. В связи с ростом числа суперкомпьютеров с гибридной архитектурой наиболее актуальной становится проблема создания эффективных параллельных вычислительных методов для таких платформ.
«Благодаря инновационным технологиям, разработанных специалистами группы компаний РСК, и предоставленным нам возможностям запуска комплекса AstroPhi на мощной вычислительной системе RSC PetaStream с узлами на базе Intel Xeon Phi удалось не только смоделировать столкновение галактик в рекордном разрешении при использовании более миллиарда расчетных ячеек, но и провести новые важные исследования в процессах звездообразования, эффекта сверхновых, охлаждения, нагревания и химической эволюции сталкивающихся галактик. Благодаря производительности и масштабируемости RSC PetaStream с ростом числа используемых логических ядер наблюдается значительное ускорение процесса моделирования и существенное сокращение времени получения результатов, при достаточно высоком пространственном разрешении порядка 100 парсек», – отмечают Игорь Черных и Игорь Куликов, научные сотрудники ИВМиМГ СО РАН и НГУ.
Ученые Петербургского института ядерной физики НИЦ «Курчатовский институт» (ПИЯФ НИЦ КИ) совместно с НИИ Гриппа и СПбПУ проводят исследования модификации вируса гриппа, потенциально пригодной для создания живой вакцины. Живая вакцина имеет большую эффективность, чем мертвая, т.к. организм борется с настоящим вирусом. Исследуемая модификация вируса способна размножаться только при низкой температуре (обычно около 26 °C), а при температуре тела человека (37 °С) вирус неактивен. Предполагается, что данная особенность вакцины связана с аминокислотной заменой в нуклеопротеине вируса гриппа (NP).
С помощью программного комплекса GROMACS на массивно-параллельном суперкомпьютере RSC PetaStream исследованы несколько возможных состояний белка NP. Анализ полученных траекторий тримеров и нонамеров позволил высказать гипотезу о причине нарушения механизма воспроизводства вируса при высокой температуре. Для ее подтверждения требуется рассмотрение полных моделей филаментов NP.
«Использование 64-х процессоров Intel Xeon Phi на системе RSC PetaStream позволило добиться высокой масштабируемости задачи – до 50-ти частиц на поток. При таком уровне масштабируемости становится возможным рассмотрение полной модели филамента NP, которую планируется провести в ближайшее время уже на 256-ти процессорах Intel Xeon Phi системы «Политехник RSC PetaStream» в СКЦ «Политехнический» в СПбПУ», – поясняют Евгений Петухов, начальник отдела системного программного обеспечения СПбПУ и Алексей Швецов, младший научный сотрудник Отделения молекулярной и радиационной биофизики ПИЯФ НИЦ КИ.
В рамках работы Центра Intel по параллельным вычислениям (Intel Parallel Compute Center), созданного на базе Химического факультета МГУ им. М.В. Ломоносова при технической поддержке специалистов РСК, было проведено тестирование производительности программного пакета квантовой химии GAMESS (US) на массивно-параллельном суперкомпьютере RSC PetaStream. GAMESS (US) – это программа с открытым исходным кодом, разрабатываемая более 30 лет группой Марка Гордона в университете штата Айовы, которая широко используется учеными во всем мире. В настоящее время данный пакет официально не поддерживает многопоточный параллелизм, что существенно ограничивает его применимость на современных параллельных архитектурах.
«Результаты проекта показывают перспективность применения Intel Xeon Phi для квантово-химических расчетов. Мы оптимизировали производительность наиболее широко используемых методов – метода Хартри-Фока и теории функционала электронной плотности (DFT). В подавляющем большинстве случаев лимитирующей стадией обоих методов является расчет так называемой матрицы Фока (или Кона-Шэма, в случае DFT). Нам удалось добиться хорошей масштабируемости данной стадии в гибридном режиме работы MPI/OpenMP при использовании вплоть до 2000 потоков. Стоит отметить, что результаты были получены с использованием native-режима Intel Xeon Phi. Таким образом, стоит ожидать хорошую масштабируемость и на следующих поколениях данной архитектуры», - отметил Владимир Миронов, старший научный сотрудник Химического факультета МГУ им. М.В. Ломоносова.
Сотрудники Института космических исследований Российской Академии Наук и Центра наблюдения Земли Национального управления океанических и атмосферных исследований США разработали высокопроизводительный алгоритм анализа мультиспектральных изображений дистанционного зондирования Земли (ДЗЗ) в видимом и инфракрасном спектрах для исследования температурных полей и обнаружения источников горения на поверхности Земли. Такой анализ крайне важен для борьбы с лесными пожарами, снижения экологического ущерба от сжигания попутного газа на нефтепромыслах, рационального использования рыбных ресурсов.
«Если в первоначальном варианте анализ одного изображения занимал более 4000 секунд, то благодаря адаптации кода и оптимизации его для работы на массивно-параллельной системе RSC PetaStream в Межведомственном суперкомпьютерном центре Российской Академии Наук, время обработки одного кадра сократилось до 12 секунд на 1-ом узле (на базе Intel Xeon Phi 7120D) и до менее чем двух секунд на 16-ти узлах RSC PetaStream. Таким образом, время расчетов сократилось более чем в 2000 раз, что открывает широкие перспективы применения разработанных методов для анализа данных с новейших метеорологических спутников Suomi NPP, Landsat 8 и GOES-R», - прокомментировал Михаил Жижин, ведущий научный сотрудник Института космических исследований Российской Академии Наук.
В Межведомственном суперкомпьютерном центре РАН на массивно-параллельной суперкомпьютерной системе RSC PetaStream проведено тестирование ряда приложений, связанных с прогнозом погоды. Было проведено тестирование кода Weather Research and Forecasting (WRF) – в варианте Conus 2.5 km. Код WRF разрабатывается сообществом ученых, включающем в основном коллективы из США и Великобритании, и широко используется в различных исследованиях погодных явлений, в том числе и России. В ходе замеров производительности на 32-х узлах RSC PetaStream было продемонстрировано ускорение 60% от теоретически возможного.
Специалисты РСК провели миграцию на платформу RSC PetaStream модели атмосферы SL-AV, разработанной в Институте вычислительной математики имени Г.И. Марчука и Главном вычислительном центре Росгидромета. Первые замеры производительности показали хорошую распараллеливаемость выполнения программного кода – на 16-ти узлах RSC PetaStream при увеличении числа потоков в 4 раза производительность выросла более чем в три раза.
Специалистами Института вычислительной математики имени Г.И. Марчука проведено исследование производительности новой динамической модели океана, с поддержкой распараллеливания на основе 3-хмерной декомпозиции предметной области. Первые замеры показали ускорение более чем в 30 раз на вычислительной системе RSC PetaStream, установленной в МСЦ РАН. Эти и приведенные выше результаты свидетельствуют о большом потенциале использования RSC PetaStream для выполнения расчетов в интересах климатологии и метеорологии .
Массивно-параллельный суперкомпьютер RSC PetaStream™
Отличительной особенностью RSC PetaStream™ является реализация концепции массивной параллельности, обеспечивающей выполнение до 250 тысяч параллельных исполняемых потоков на 1024 вычислительных узлах архитектуры x86 в одном вычислительном шкафу на площади всего 1 кв. м. RSC PetaStream принадлежат мировые рекорды по вычислительной – 1,2 ПФЛОПС на шкаф – и энергетической – более 400 кВт на шкаф – плотности, а также по производительности на занимаемый объем – более 560 ТФЛОПС/м3, и компактности.
Решение RSC PetaStream™ основано на использовании лучших из доступных индустриальных компонент высочайшего уровня интеграции и уникальной системной архитектуры для высокопроизводительных вычислений, разработанной специалистами РСК. Каждый узел массивно-параллельного суперкомпьютера является независимым и равнозначным, построен на основе 61-ядерного сопроцессора Intel® Xeon Phi™ 7120D с 16 ГБ высокоскоростной памяти GDDR5 и работает под управлением операционной системы семейства Linux. Все вычислительные узлы системы RSC PetaStream объединены между собой высокоскоростными межсоединениями на базе технологии InfiniBand FDR, обеспечивая революционное сверхплотное высокопроизводительное решение.
Решение RSC PetaStream™ на основе архитектуры x86, являющейся де-факто индустриальным стандартом во всем мире, обеспечивает защиту инвестиций на разработку и оптимизацию ПО. При создании нового ПО для будущих вычислительных систем разработчики смогут применять существующие модели программирования, фактически получая возможность запуска уже существующих приложений на суперкомпьютерах экзафлоспного диапазона. В то же время, гибкость архитектуры RSC PetaStream™ позволяет тестировать инновационные модели программирования, которые могут быть более эффективными для экзафлоспных вычислений.
В дополнение к высочайшей производительности приложений, которую обеспечивает RSC PetaStream™, это решение позволяет в два раза сократить расход электроэнергии, по сравнению с традиционными кластерными системами, при выполнении задач моделирования с очень высоким уровнем параллелизма. Таким образом, пользователи имеют возможность значительно сокращать затраты на эксплуатацию (TCO), получая при этом лидирующую производительность при очень высокой компактности решения.
Технология высокоэффективного прямого жидкостного охлаждения, разработанная РСК, проверена временем и практикой использования заказчиками компании во многих реализованных проектах с 2009 года. Ее применение обеспечивает очень высокий уровень энергоэффективности, который демонстрирует и решение RSC PetaStream™. Как показывают результаты измерений на нескольких эксплуатируемых заказчиками системах РСК, средняя эффективность использования электроэнергии (PUE) составляет 1,06. То есть не более 6% энергопотребления расходуется на охлаждение всей системы. Показатель PUE становится критически важным при создании суперкомпьютеров экзафлопного уровня с энергопотреблением в десятки МВт.
В RSC PetaStream™ реализована инновационная подсистема, созданная на базе передового отраслевого стандарта электропитания постоянным током с напряжением 400 В и разработанная совместно с Emerson Electric. Это позволяет достичь эффективности распределения электроэнергии более 90%, что обеспечивает повышение энергоэффективности системы и снижение эксплуатационных расходов, а также повышение надежности всего вычислительного комплекса.
Для удобства пользователей в RSC PetaStream™ обеспечиваются расширенные программно-аппаратные функции мониторинга и управления системой с использованием интегрированного стека ПО «РСК БазИС». В системе используется технология Intel® Node Manager для контроля и мониторинга энергопотребления каждого узла, что позволяет суперкомпьютерным центрам реализовывать гибкие политики для оптимизации управления энергопотреблением, сокращая свои затраты на электричество и эксплуатацию вычислительных систем.
Решение RSC PetaStream™ поставляется с набором программных инструментов Intel® Cluster Studio XE для операционной системы Linux, а также с набором оптимизированных библиотек.
