26.04.2017
17:04

Суперкомпьютерные технологии для российской науки

В ФАНО России проведена масштабная модернизация вычислительных ресурсов Центров коллективного пользования – Межведомственный суперкомпьютерный центр Российской академии наук (МСЦ РАН, Москва) и Сибирский суперкомпьютерный центр Сибирского отделения РАН (ССКЦ СО РАН, Новосибирск). Ресурсы центров будут использоваться российскими учеными для решения актуальных задач в области фундаментальных и прикладных наук, включая такие стратегические направления исследований, как цифровые и интеллектуальные технологии, высокотехнологичное здравоохранение, повышение экологичности и эффективности энергетики, развитие авиапромышленного комплекса и освоение космического пространства, искусственный интеллект, машинное обучение, работа с большими данными и другие.

Москва-Новосибирск, 26 апреля 2017 г. — В рамках ведомственной программы модернизации центров коллективного пользования Федерального агентства научных организаций (ФАНО России) были выделены целевые субсидии на комплексное обновление суперкомпьютерных центров в Центральном, Уральском, Сибирском, Дальневосточном, Северо-Западном и Приволжском федеральных округах. Одновременно в Москве и Новосибирске прошли официальные мероприятия, посвященные стратегической роли суперкомпьютерных вычислений в развитии российской науки в организациях ФАНО России. Они были приурочены к демонстрации результатов масштабного обновления вычислительных ресурсов Межведомственного суперкомпьютерного центра Россиийской академии наук (МСЦ РАН) и Центра коллективного пользования «Сибирский суперкомпьютерный центр» (ЦКП ССКЦ) Сибирского отделения (СО) РАН на базе Института вычислительной математики и математической геофизики (ИВМиМГ) СО РАН.

С приветствиями к собравшимся выступили руководитель ФАНО России Михаил Михайлович Котюков и Губернатор Новосибирской области Владимир Филиппович Городецкий. Для приглашенных гостей и журналистов была организована многосторонняя Интернет-видеотрансляция, соединившая Москву, Новосибирск, Екатеринбург, Иркутск, Владивосток и Хабаровск. Оба проекта были реализованы группой компаний РСК, ведущим в России и СНГ разработчиком и интегратором высокоплотных решений для сегмента высокопроизводительных вычислений (HPC – high-performance computing) и центров обработки данных (ЦОД). В МСЦ РАН (Москва) и ЦКП ССКЦ СО РАН (Новосибирск) модернизированы суперкомпьютерные системы, общие ресурсы которых будут использоваться как основа территориального распределенного вычислительного комплекса для решения наиболее актуальных задач в области фундаментальных и прикладных наук, включая такие передовые направления исследований как искусственный интеллект (AI, Artificial Intelligence), машинное и глубокое обучение (ML/DL – Machine Learning, Deep Learning), работа с большими данными (Big Data) и другие. Суммарная пиковая производительность вычислительных комплексов в составе РАН и СО РАН теперь составляет около 1,1 ПФЛОПС (петафлопс - квадриллион операций с плавающей запятой в секунду, или 1000 терафлопс). Российские ученые из учреждений РАН в Москве и Новосибирске, а также из других регионов страны, смогут воспользоваться ресурсами не только одного, но и, при необходимости, сразу двух суперкомпьютерных центров одновременно, что позволит более эффективно и гибко предоставлять услуги Центров коллективного пользования. Межведомственный суперкомпьютерный центр РАН является одним из самых мощных суперкомпьютерных центров коллективного пользования в России в сфере науки и образования. Коллектив МСЦ состоит из высококвалифицированных научных сотрудников, программистов и инженеров.

Ресурсами Центра пользуются 184 группы исследователей, решающие задачи фундаментальной и прикладной направленности. В ходе модернизации суммарная пиковая производительность обновленного суперкомпьютерного парка МСЦ РАН, реализованного на базе вычислительных систем «РСК Торнадо» и RSC PetaStream с жидкостным охлаждением, выросла на 40%. В итоге общая производительность вычислительных ресурсов Межведомственного суперкомпьютерного центра РАН превысила 900 ТФЛОПС (терафлопс - триллион операций с плавающей запятой в секунду).

«Суперкомпьютерные технологии играют ключевую роль для перехода к передовым цифровым и интеллектуальным технологиям в информационном обществе. Модернизация вычислительных ресурсов МСЦ РАН позволяет нам обеспечивать новые возможности для проведения исследований и разработок, предоставлять исследовательским коллективам РАН мощные ресурсы для решения различных сложнейших научных и прикладных задач, а также обеспечить организацию наиболее эффективной работы российских ученых. Это позволит нам удовлетворять постоянно растущие потребности пользователей в повышении скорости обработки данных для высокотехнологичной медицины, повышения экологичности и эффективности энергетики, развития авиапромышленного комплекса и исследования динамики сложных космических систем. В результате модернизации пользователи центра смогут решать свои научные задачи на различных передовых архитектурах процессоров», – отметил академик РАН Геннадий Иванович Савин, научный руководитель Межведомственного суперкомпьютерного центра Российской академии наук.

В настоящее время услугами Центра коллективного пользования «Сибирский суперкомпьютерный центр» пользуются 24 института Сибирского отделения РАН (около 200 пользователей). После установки в марте 2017 года новой суперкомпьютерной кластерной системы НКС-1П на базе решения «РСК Торнадо» с жидкостным охлаждением общие вычислительные ресурсы ЦКП ССКЦ СО РАН были увеличены почти в два раза – на 71% до уровня 197 ТФЛОПС.

«Научные группы нашего института и других учреждений Сибирского отделения РАН смогут еще активнее использовать вычислительные ресурсы Центра коллективного пользования «Сибирский суперкомпьютерный центр» для выполнения актуальных исследований и большого количества численных экспериментов (суперкомпьютерного моделирования) в области газо- гидродинамики, физики плазмы, геофизики, квантовой химии, молекулярной динамики, загрязнения атмосферы, моделирования изменений климата и др. Особенно важно увеличение вычислительной мощности центра для нашего участия в Комплексном плане научных исследований «Алгоритмы и математическое обеспечение для вычислительных систем высокой производительности. Решение пилотных задач» и проекта ИВМиМГ СО РАН «Цифровая Арктика». С появлением нового современного вычислительного ресурса для Новосибирской области появляется реальная возможность перехода к «цифровой» промышленности и экономике в рамках концепции «Индустрия 4.0». Кроме того, текущее расширение вычислительной мощностей ЦКП ССКЦ СО РАН и возможность доступа к дополнительным ресурсам МСЦ РАН в рамках территориально распределенного комплекса позволит нам привлечь к процессам моделирования научных сотрудников из бывших медицинской и сельскохозяйственной академий», – подчеркнул Сергей Игоревич Кабанихин, директор Института вычислительной математики и математической геофизики Сибирского отделения РАН (член-корреспондент РАН, профессор, доктор физико- математический наук).

С технической точки зрения, оба проекта в суперкомпьютерных центрах РАН в Москве и СО РАН в Новосибирске уникальны тем, что это первое в мире внедрение серверных вычислительных узлов с жидкостным охлаждением в режиме «горячая вода» на базе самых мощных 72-ядерных процессоров Intel® Xeon Phi™ 7290 (были представлены в ноябре 2016 г.), а также на основе 16- ядерных процессоров Intel® Xeon® E5-2697А v4. Кроме того, в ходе реализации этих уникальных проектов впервые в России и СНГ коммуникационные подсистемы двух кластерных комплексов были реализованы на основе высокоскоростного межузлового соединения Intel® Omni-Path со скоростью передачи данных 100 ГБит/с.

Обновление вычислительного парка МСЦ РАН

В МСЦ РАН установлены новые универсальные вычислительные шкафы «РСК Торнадо» с рекордной энергетической плотностью и системой прецизионного жидкостного охлаждения, сбалансированной для постоянной работы с высокотемпературным хладоносителем (до +63 °С на входе в вычислительный шкаф). В соответствии с условиями размещения оборудования для МСЦ РАН был выбран оптимальный режим работы вычислительного шкафа при постоянной температуре хладоносителя +45 °С на входе в вычислительные узлы (с пиковым значением до +57 °С).

Работа в режиме «горячая вода» для данного решения позволила применить круглогодичный режим free cooling (24x7x365), используя только сухие градирни, работающие при температуре окружающего воздуха до +50 °С, а также полностью избавиться от фреонового контура и чиллеров. В результате среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06. То есть на охлаждение расходуется менее 6% всего потребляемого электричества, что является выдающимся результатом для HPC-индустрии.

В основе новых вычислительных узлов: самые мощные 72-ядерные серверные процессоры Intel® Xeon Phi™ 7290, 16-ядерные серверные процессоры Intel® Xeon® E5-2697А v4, серверные платы семейств Intel® Server Board S7200AP и Intel® Server Board S2600KP, твердотельные накопители семейства Intel® SSD DC S3500 с подключением по шине SATA в форм-факторе M.2. Для высокоскоростной передачи данных между вычислительными узлами в составе суперкомпьютерного комплекса МСЦ РАН теперь используется передовая технология высокоскоростной коммутации Intel® Omni-Path, обеспечивающая скорость неблокируемой коммутации до 100 Гбит/c, на основе 48-портовых коммутаторов Intel® Omni-Path Edge Switch 100 Series. Это позволит специалистам МСЦ РАН удовлетворить не только текущие потребности ресурсоемких приложений пользователей, но и обеспечить необходимый запас пропускной способности сети на будущее. Технология Intel® Omni-Path Architecture

(Intel® OPA) представляет собой комплексное решение для высокоскоростной коммутации и передачи данных, призванное помочь с минимальными затратами повысить производительность работы приложений как в HPC-кластерах начального уровня, так и в масштабных суперкомпьютерных проектах. 48- портовый коммутатор Intel OPA позволяет при одинаковом бюджете подключать на 26% больше серверов по сравнению с конкурирующими решениями, а также снизить энергопотребление до 60%, обеспечивая, таким образом, более энергоэффективную коммутирующую и системную инфраструктуру. Высокая доступность, отказоустойчивость и простота использования вычислительных систем, созданных на базе решений РСК для высокопроизводительных вычислений, также обеспечиваются благодаря передовой системе управления и мониторинга на базе ПО «РСК БазИС». Она позволяет осуществлять управление как отдельными узлами, так и всем решением в целом, включая инфраструктурные компоненты. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют встроенный модуль управления, что обеспечивает широкие возможности для детальной телеметрии и гибкого управления. Конструктив шкафа позволяет заменять вычислительные узлы, блоки питания и гидрорегулирования (при условии применения резервирования) в режиме горячей замены без прерывания работоспособности комплекса. Большинство компонентов системы (таких, как вычислительные узлы, блоки питания, сетевые и инфраструктурные компоненты и т.д.) представляет из себя программно- определяемые компоненты, позволяющие существенно упростить и ускорить как начальное развертывание, так и обслуживание, и последующую модернизацию системы. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.

Ранее специалисты группы компаний РСК разработали и установили в МСЦ РАН мощные вычислительные системы – суперкомпьютер МВС-10П МП (2014 г.) на основе массивно-параллельной архитектуры RSC PetaStream™ (это был первый проект в СНГ на базе высокопроизводительных сопроцессоров Intel® Xeon Phi™ 7120D) и суперкомпьютер МВС-10П на базе кластерной архитектуры «РСК Торнадо» (2012 г.). Кластерные системы МСЦ РАН входят в рейтинг Top50 самых мощных российских суперкомпьютеров, а также в мировые рейтинги Top500, Green500 и HPCG.

Новый вычислительный комплекс на базе «РСК Торнадо» в ССКЦ СО РАН

В основе вычислительных узлов в составе суперкомпьютера НКС-1П: самые мощные 72-ядерные серверные процессоры Intel® Xeon Phi™ 7290, 16-ядерные серверные процессоры Intel® Xeon® E5-2697А v4, серверные платы семейств Intel® Server Board S7200AP и Intel® Server Board S2600KP, твердотельные накопители семейства Intel® SSD DC S3500 с подключением по шине SATA в форм-факторе M.2.

Для высокоскоростной передачи данных между вычислительными узлами в составе нового суперкомпьютерного комплекса ССКЦ СО РАН также используется передовая технология высокоскоростной коммутации Intel® Omni-Path, обеспечивающая скорость неблокируемой коммутации до 100 Гбит/c, на основе 48-портовых коммутаторов Intel® Omni-Path Edge Switch 100 Series. Кроме того, в рамках модернизации ресурсов ЦКП ССКЦ СО РАН, установлена новая система хранения данных (СХД) емкостью 200 терабайт (ТБ), реализованная на базе серверов «РСК Бриз» с параллельной файловой системой Lustre и ПО Intel® Enterprise Edition for Lustre.

Высокая доступность, отказоустойчивость и простота использования вычислительной системы обеспечиваются благодаря передовой системе управления и мониторинга на базе ПО «РСК БазИС». Справка о программе модернизации суперкомпьютерных центров ФАНО России

По результатам экспертной оценки Научно-координационного совета (НКС) при ФАНО России деятельности суперкомпьютерных центров коллективного пользования в 2016 году Межведомственный суперкомпьютерный центр Российской академии наук (МСЦ РАН) и Центр коллективного пользования «Сибирский суперкомпьютерный центр» (ЦКП ССКЦ) Сибирского отделения (СО) РАН при Институте вычислительной математики и математической геофизики (ИВМиМГ) СО РАН вошли в число лучших ЦКП первой категории среди академических институтов страны и получили бюджетное финансирование от ФАНО России для модернизации.

Справка о МСЦ РАН

Межведомственный Суперкомпьютерный Центр (МСЦ) создан в 1996 году совместным решением Президиума Российской академии наук (РАН), Министерства науки и технологий Российской Федерации, Министерства образования Российской Федерации и Российского фонда фундаментальных исследований (РФФИ), и является государственным научным учреждением. МСЦ РАН является старейшим и одним из самых мощных суперкомпьютерных центров в России в сфере науки и образования. Коллектив МСЦ состоит из высококвалифицированных научных сотрудников, программистов и инженеров. В настоящее время в МСЦ работают 84 сотрудника, в том числе 2 академика, 9 докторов и 19 кандидатов наук. При МСЦ работают базовые кафедры: Московского физико-технического института (МФТИ), Национального исследовательского университета «Московский институт электронной техники» (МИЭТ), Московского технологического университета (МТУ МИРЭА), на которых обучаются более 70 студентов. Дополнительную информацию о МСЦ РАН можно найти на Web-сайте www.jscc.ru.

Справка о ССКЦ СО РАН

Центр коллективного пользования «Сибирский суперкомпьютерный центр» (ЦКП ССКЦ) был организован по постановлению Президиума Сибирского отделения Российской академии наук (СО РАН) на базе Института Вычислительной Математики и Математической Геофизики (ИВМиМГ СО РАН) совместно с Институтом цитологии и генетики (ИЦиГ) СО РАН в марте 2001 года. Коллектив ЦКП ССКЦ ИВМиМГ СО РАН состоит из 17 сотрудников: научных работников - 11, инженерно-технический персонал – 6 специалистов. Основными задачами ЦКП ССКЦ СО РАН являются:  обеспечение исследователей - сотрудников научных институтов СО РАН, ВУЗов Сибири, грантодержателей РФФИ, Министерства образования и науки РФ современными вычислительными средствами для работ по математическому моделированию в фундаментальных и прикладных исследованиях механики, физики, химии, геологии, биологии и других дисциплин;  организация обучения специалистов СО РАН и студентов ВУЗов методам параллельных вычислений на суперкомпьютерах;  взаимодействие с другими Суперкомпьютерными центрами СО РАН, Москвы, других городов России, а также зарубежных стран, совместная разработка технологий распределенных вычислений. Дополнительную информацию о ЦКП ССКЦ СО РАН можно найти на Web-сайте www2.sscc.ru.

О группе компаний РСК

Группа компаний РСК — ведущий в России и СНГ разработчик и интегратор «полного цикла» решений нового поколения для сегмента высокопроизводительных вычислений (HPC) и центров обработки данных (ЦОД) на основе архитектур корпорации Intel и передового жидкостного охлаждения, а также целого ряда собственных ноу-хау. Существующий потенциал компании позволяет: создавать самые энергоэффективные решения с рекордным показателем эффективности использования электроэнергии (PUE), реализовать самую высокую вычислительную плотность в индустрии на базе стандартных процессоров архитектуры x86, использовать полностью «зеленый» дизайн, обеспечить высочайшую надежность решения, полную бесшумность работы вычислительных модулей, 100% совместимость и гарантированную масштабируемость, при этом достигается беспрецедентно низкая стоимость владения и невысокий уровень энергопотребления. Кроме того, специалисты РСК имеют опыт разработки и внедрения интегрированного программного стека решений для повышения эффективности работы и прикладного использования суперкомпьютерных комплексов: от системного ПО до вертикально-ориентированных платформ на базе технологии облачных вычислений. РСК является партнером корпорации Intel в программах Intel® Technology Provider Program высшего уровня Platinum, Intel® Fabric Builders Program, обладает статусами Intel® Solutions for Lustre* Reseller Elite и Intel® HPC Data Center Specialist. Производительность и масштабируемость решений на базе архитектур RSC PetaStream™ и «РСК Торнадо» подтверждена сертификатом Intel® Cluster Ready. Дополнительную информацию можно найти на Web-сайте www.rscgroup.ru. РСК, RSC, PetaStream и логотипы РСК, RSC являются зарегистрированными товарными знаками группы компаний РСК в России, США, Японии и многих странах Европы.

Пресс-релиз

Обозрение "Terra & Comp".