Южно-Уральский государственный университет (ЮУрГУ), один из лучших университетов России и крупнейшее по количеству обучающихся высшее учебное заведение РФ, и компания <РСК СКИФ>, ведущий в России и СНГ разработчик и интегратор суперкомпьютерных решений нового поколения на базе архитектур корпорации Intel и жидкостного охлаждения, заключили новый контракт на модернизацию и расширение суперкомпьютера <СКИФ-Аврора ЮУрГУ>. В результате планируемых работ производительность суперкомпьютерного комплекса будет увеличена более чем в 4 раза до 104 TFLOPS (1 TFLOPS - один триллион операций с числами с плавающей точкой в секунду), а система жидкостного охлаждения станет универсальной - она сможет работать как на охлажденной, так и на горячей воде (в зависимости от погодных условий). Создание такого современного суперкомпьютера с универсальной системой охлаждения и целым рядом других уникальных характеристик станет наиболее инновационным проектом по показателям энергоэффективности в суперкомпьютерной индустрии не только России и стран СНГ, но и одним из лучших в мировом масштабе.
Компания <РСК СКИФ> была признана победителем тендера, объявленного ранее Южно-Уральским государственным университетом в рамках реализации <Программы развития на 2010-2019 годы>. Стоимость поставки оборудования, программного обеспечения, монтажа и пуско-наладочных работ в рамках заключенного в октябре контракта составляет 240 млн. рублей. Планируемый срок начала опытной эксплуатации нового суперкомпьютера - I квартал 2011 г.
Первый контракт между ЮУрГУ и <РСК СКИФ> был заключен в октябре 2009 г. С целью расширения мощности своего суперкомпьютерного центра Южно-Уральским государственным университетом было принято решение использовать платформу <СКИФ-Аврора> (СКИФ ряда 4), разработанную в рамках реализации суперкомпьютерной программы <СКИФ-ГРИД> Союзного государства России и Белоруссии - в тесной кооперации Института программных систем им. Айламазяна РАН, компании <РСК СКИФ>, при поддержке и участии корпорации Intel, а также целого ряда других компаний и организаций. Компания <РСК СКИФ> реализовала <под ключ> интеграционный проект инсталляции суперкомпьютерной системы <СКИФ-Аврора ЮУрГУ>.
В результате 28 июня 2010 г. был введен в тестовую эксплуатацию суперкомпьютер <СКИФ-Аврора ЮУрГУ> с пиковой производительностью 24 TFLOPS, ключевой особенностью которого является применение жидкостного охлаждения на уровне системных плат вычислительной стойки. Эта система уже сейчас обеспечивает лучшую энергоэффективность среди суперкомпьютеров СНГ по соотношению <производительность/энергопотребление> на уровне 200 MFLOPS/Вт для ЦОДа. Общая потребляемая мощность суперкомпьютерного комплекса <СКИФ-Аврора ЮУрГУ> составляет всего 120 кВт (а вычислительной стойки - 96 кВт), что обеспечивает исключительно эффективный показатель использования электроэнергии Power Usage Effectiveness (PUE) для ЦОДа на уровне 1,2. Кроме того, применение жидкостного охлаждения позволило в 2,5-3 раза уменьшить общую площадь инсталляции системы (по сравнению с суперкомпьютерами на основе традиционного воздушного охлаждения) за счет минимизации габаритных размеров, необходимых для инфраструктуры охлаждения, и увеличения плотности вычислителя. Суперкомпьютерную платформу <СКИФ-Аврора>, которая стала основой для создания вычислительного комплекса <СКИФ-Аврора ЮУрГУ>, отличает высочайшая производительность, сверхвысокая плотность монтажа вычислительных узлов, повышенная надежность и управляемость. Отсутствие шума и вибрации в вычислительной системе достигается за счет применения жидкостного охлаждения всех компонентов вычислителя и использования твердотельных накопителей Intel SSD.
В рамках нового контракта будет проведена модернизация уже установленной вычислительной стойки суперкомпьютера <СКИФ-Аврора ЮУрГУ>. Путем замены 4-х ядерных процессоров Intel Xeon серии 5500 на самые современные 6-ти ядерные Intel Xeon серии 5600 с тактовой частотой 3,33 ГГц (с сохранением всей текущей инфраструктуры) ее производительность будет увеличена с 24 до 40,7 TFLOPS. Кроме того, будет проведено дальнейшее масштабное расширение суперкомпьютера - в результате весь вычислительный комплекс будет состоять из 2,5 стоек, построенных на базе 6-ти ядерных процессоров Intel Xeon серии 5600 с тактовой частотой 3,33 ГГц, а его суммарная производительность вырастет более чем в 4 раза до 104 TFLOPS.
Самая же уникальная особенность проекта модернизации суперкомпьютера <СКИФ-Аврора ЮУрГУ> - его система жидкостного охлаждения станет универсальной и сможет работать как на охлажденной, так и на горячей воде (в зависимости от погодных условий).
Использование жидкостного охлаждения для создания наиболее энергоэффективных суперкомпьютерных систем - уже глобальный тренд в мировой индустрии. Об этом свидетельствуют последние результаты списка наиболее энергоэффективных суперкомпьютеров мира Green500, в котором уже почти год (в двух редакциях рейтинга за ноябрь 2009 г. и июнь 2010 г.) три верхние строчки занимают системы, созданные с применением жидкостного охлаждения. Все три суперкомпьютера установлены в Германии - в исследовательском центре Forschungszentrum Juelich (FZJ), Университетах Регенсбурга и Вупперталя, обеспечивая лучшие в мире показатели энергоэффективности в 773,38 MFLOPS (миллионов операций с плавающей запятой в секунду) в расчете на ватт потребляемой электроэнергии.
Жидкостное охлаждение, ранее использовавшееся только в вычислительных системах американских компаний Control Data и Cray, в последние годы приобретает все большую актуальность вследствие того, что суперкомпьютеры становятся все более производительными, растут их энергопотребление и тепловыделение, одновременно с этим увеличиваются затраты на электроэнергию и кондиционирование воздуха с помощью традиционных систем охлаждения. Согласно данным аналитического департамента компании APC, в современном центре обработки данных (ЦОД) порядка 50% энергопотребления уходит на обеспечение работы систем воздушного охлаждения (и только 36% электроэнергии потребляет, собственно, вычислительная нагрузка). Вода является в 4 тысячи раз более эффективным хладносителем по сравнению с воздухом. По оценкам специалистов компании <РСК СКИФ>, применение жидкостного охлаждения позволяет экономить до 30% от общего количества потребляемой ЦОДом электроэнергии.
Однако еще более перспективно использование в системах жидкостного охлаждения не <холодной> (охлажденной), а горячей воды. В сентябре 2010 г. специалисты компании <РСК СКИФ> впервые в СНГ разработали и продемонстрировали технологическое решение для создания суперкомпьютерной системы охлаждения на горячей воде, наглядно показав, что этот метод является следующим шагом для достижения более высокой энергоэффективности.
Применение горячей воды в системах жидкостного охлаждения суперкомпьютеров позволяет обеспечить естественный теплообмен с наружным воздухом, тем самым, достигается эффект <фрикулинга> (free cooling) в течение длительного периода календарного года. Полный отказ от использования в такой системе охлаждения фреонового контура (который нужен для получения охлажденной воды) обеспечивает значительное снижение затрат на инфраструктуру, минимизацию влияния на озоновый слой Земли, а также повышение надежности работы суперкомпьютерного решения.
Создание универсальной системы жидкостного охлаждения и применение комбинированного метода ее работы в составе суперкомпьютера <СКИФ-Аврора ЮУрГУ> позволит экономить еще больше электроэнергии. Такой инновационный подход позволит создать не только самый энергоэффективный суперкомпьютер в России и странах СНГ, но и один из самых передовых по этому показателю в мировом масштабе.
