Проект создания вычислительного кластера и всего ЦОДа в ЦКП «СКИФ» разработан и реализован группой компаний РСК.
На объекте установлены 24 сервера «РСК Торнадо» суммарной производительностью 182 Терафлопс, оснащенные системой жидкостного охлаждения разработки РСК. В еще двух серверах установлены мощные графические ускорители (GPU), обеспечивающие дополнительную производительность 208 Терафлопс.
ЦОД смонтирован в корпусе электрохозяйства ЦКП «СКИФ», помещение оснащено системой климатоподготовки, поддерживающей необходимый уровень температуры и влажности воздуха для эффективной работы серверного и вычислительного оборудования. Также ЦОД оснащен системой бесперебойного питания общей мощностью 300 кВт.
Установки класса «мегасайенс» непрерывно генерируют огромные объемы данных, требующих как больших возможностей для хранения информации, так и использования высокопроизводительных вычислительных узлов. Возможности, заложенные в сетевую инфраструктуру, позволят независимо друг от друга, одновременно получать экспериментальные данные с 30 станций СКИФ, предусмотренных проектом, а производительности существующего кластера хватит для обработки данных со станций первой очереди. В будущем рассматривается возможность соединения вычислительного кластера ЦКП «СКИФ» с суперкомпьютерами других российских установок класса «мегасайенс» через Национальную исследовательскую компьютерную сеть (НИКС).
Вычислительный кластер ЦКП "СКИФ". Фото: Анна Плис
«Созданный для ЦКП «СКИФ» суперкомпьютер по производительности превосходит многие вычислительные системы, установленные в других отечественных научных центрах. Его архитектура базируется на современных процессорах и GPU-ускорителях. Cоздана объемная система хранения. Высокоскоростная и низколатентная сеть комплекса – «интерконнект» – позволяет решать широкий спектр задач с использованием самых разных вычислительных методов. Кроме того, в этот проект заложены возможности для его модернизации и наращивания мощностей», – прокомментировал Александр Московский, генеральный директор группы компаний РСК.
Экспериментальные станции ЦКП «СКИФ» будут работать в режиме 24/7 и непрерывно генерировать данные. Объем поступающей информации напрямую зависит от метода и режима исследований. Одни методики не создают большой нагрузки на системы хранения, но требуют значительных вычислительных мощностей для обработки. Другие, напротив, генерируют колоссальные массивы данных. Например, при использовании фазово-контрастной томографии ученые на текущем оборудовании могут собрать порядка 5 Терабайт «сырых» данных всего за сутки. ИТ-инфраструктура сложных научных установок предполагает создание многоуровневой системы хранения и обработки данных. «Горячее» хранилище предназначено для приема и обработки экспериментальных данных в режиме реального времени, после чего данные могут переходить в разряд «теплых», а затем и в область «холодных» данных и храниться в течение нескольких лет.
ЦОД в ЦКП «СКИФ» оснащен системой хранения «теплых» данных объемом 900 Тб и компонуемо-распределенной системой хранения горячих данных общим объемом 368 Тб.
Высокоскоростная сеть будет передавать данные с детекторов станций на серверы ЦОДа со скоростью до 200 Гбит/с, что на несколько порядков выше скорости передачи данных обычной компьютерной сети, например, Wi-Fi.
Важной особенностью вычислительного кластера СКИФ является уникальная архитектура управления его ресурсами, которая позволяет формировать «виртуальную машину» с требуемыми параметрами и комбинациями ресурсов под задачи каждого эксперимента.
«Это называется динамически компонуемая система, которая позволяет пользователям станции компоновать вычислительные ресурсы – количество процессорных ядер и графических ускорителей, объем оперативной памяти и горячего хранилища для конкретной экспериментальной задачи. Методами программного обеспечения настраиваются такие виртуальные машины заданной конфигурации. После окончания эксперимента, эти виртуальные машины «разбираются», запрошенные ресурсы высвобождаются. При этом данные безопасно мигрируют из горячего хранилища на основную систему хранения», – рассказал начальник отдела информационных технологий и компьютерных сетей ЦКП «СКИФ» Владимир Потеряев.
