От инженеров по ЦОДам – к архитекторам комплексного освоения территорий

– Принципиально изменился диапазон гибкости, который мы закладываем в инфраструктуру ЦОДа. С точки зрения инженерных решений 10 лет назад была эпоха стабильности. Изменения начались лет пять назад. Мы тогда не знали, насколько они будут масштабны, но они уже начали проявляться. Например, пять лет назад появились холодные стены, но мы не думали, что у нас будет газогенерация. Плотность мощности стала варьироваться, заговорили о том, что стойки могут быть в среднем и по 7 кВт, но всё равно все строили в расчете на 5 кВт и считали, что этого хватит.

Последние несколько лет – абсолютно другая парадигма. Мы проектируем технические решения, способные поддержать стойки от 7 до 150–180 кВт. Причем исходим из того, что возможность установить такие высокоплотные стойки должна быть в любом месте ЦОДа. Единственным ограничением остается внешнее подключение, число киловатт на машинный зал и общая мощность на здание.

А с конца прошлого года мы вообще попали в зону шторма. ЦОДы превращаются в промышленные предприятия с собственной газогенерацией, возможно, с когенерацией или даже тригенерацией. Проекты дополняются разными системами, которые вообще никакого отношения к ЦОДам не имеют, например, из области сельского хозяйства. Экономика стала настолько напряженной, что мы должны думать о том, как с учетом усложнения задачи при возросших расходах и достаточно высокой стоимости денег окупать проект.

Мы вынуждены искать дополнительные доходы для потенциального инвестора. А значит, с той же степенью детализации, проработки технических и финансовых решений, которую мы практикуем применительно к ЦОДу, подходить ко всему остальному: к газогенерации, утилизации тепла, АБХМ-чиллерам и пр.

Мы были инженерами по созданию ЦОДов, а становимся архитекторами комплексного освоения территорий – на основе собственной генерации и многофункционального использования земель. Перед нами стоят настолько масштабные задачи, что даже сложно сейчас очертить их рамки, да и они постоянно раздвигаются.

– Как и многие в отрасли, я скептически отношусь к тому, что так называемые ИИ-ЦОДы будут иметь тот масштаб, который заявляется. Достаточно подсчитать количество денег, которое надо потратить на тот или иной проект. И это быстро отрезвляет. Можно инсталлировать инфраструктуру на 2,5 МВт ИТ-нагрузки. Это большие деньги. Но идея развернуть ЦОД для ИИ на 500 МВт или на 1 ГВт – это утопия, у нас просто нет компаний с такими бюджетами. И нет технической возможности привезти такое количество GPU-карт в страну.

Число компаний у нас, которые серьезно занимаются обучением LLM-моделей, – как пальцев на одной руке у профессионального фрезеровщика. И все они работают на собственных площадках. О запросах от них на аренду ресурсов в коммерческих ЦОДах я ничего не слышал. И далеко не всегда они используют для обучения моделей сверхвысокоплотные стойки.

Да, появляются запросы на небольшие инсталляции, в том числе на базе контейнеров для высоконагруженных GPU-кластеров. У нас сейчас в работе несколько таких проектов. Речь идет о 140–150 кВт на настойку. Это компании, которые планируют продавать вычислительные мощности GPU. Но пока это штучные проекты.

– Нет никакой жесткой границы. Есть необходимость заложить в проект гибкость технических решений и готовность ЦОДа к размещению высокоплотных стоек. Я бы говорил не только об ИИ, а о высокоплотных вычислениях вообще, потому что высоконагруженные стойки могут использоваться для разных задач. Неправильно все сводить к ИИ.

– Все эти факторы влияют на проекты, но влияют по-разному на разных их стадиях и в разных локациях. Например, в Москве и Московской области основная проблема – получение земли с электрической мощностью и необходимых разрешительных документов на строительство объекта и ввод его в эксплуатацию. Это важно, потому что большая часть рынка – это Московский регион.

В регионах существенное значение имеет дефицит кадров. Но в целом стоимость строительства ЦОДа во Владивостоке, в Новосибирске, Екатеринбурге, Калининграде и в Москве примерно одинакова. Потому что оборудование одно и то же, строительные решения одни и те же. Могут различаться стоимость земли, стоимость технических условий, еще какие-то параметры, но разница не столь принципиальна.

А вот упомянутая плотность мощности сегодня для вновь строящихся ЦОДов проблемой не является. Однозначно нет. Технические решения для того, чтобы установить стойки любой мощности с любым типом охлаждения, в России есть. И нет технических проблем с реализацией проектов любого уровня сложности, надежности, плотности мощности и уровня резервирования. В России одна из самых сильных инженерных школ. Да, есть сложности с доступом к техническим разработкам мировых производителей, но это приводит лишь к небольшой задержке по времени, не более того.

– Не вижу глобальных причин для сдвига ЦОДов на восток, кроме вопросов безопасности. С точки зрения размещения важных для государства вычислительных систем, очевидно, должна происходить георезервированная миграция за Урал. Но это не вопрос коммерческого рынка.

Коммерческие ЦОДы работают в основном с клиентами, которые покупают у них услуги colocation. А colocation-ЦОД требует близкого расположения к людям, которые его обслуживают и с ним работают физически. По сути, мы возвращаемся к предыдущему вопросу: найти в энергопрофицитных регионах людей, способных обслуживать инфраструктуру с тем же качеством, к какому мы привыкли в Москве, очень сложно. С профессионалами у нас сложно.

Кроме того, увеличивается задержка при передаче трафика, возникают проблемы поддержки оборудования, оперативной реакции на неисправности… Поэтому при отсутствии каких-либо форс-мажоров я не верю в массовую миграцию ЦОДов на восток.

– Думаю, да. По крайней мере в Московском регионе. Мы бы очень хотели продолжать подключаться к электросетям, но для этого наша генерация должна расти темпами хотя бы такими же, как в Китае. Но это не так.

У нас сейчас много проектов, где мы обсуждаем с заказчиками разные варианты решений на газовой генерации, поскольку других вариантов построить ЦОД в Московском регионе нет, а ЦОДы нужны, и корпоративные, и коммерческие. И эту дорогу надо пройти быстро, потому что спрос высок.

– Если говорить об инженерной инфраструктуре, то мы должны просто заложить определенный запас в строительном исполнении на потенциальное развитие.

Конечно, мы следим за планами разработчиков вычислительной техники и микросхем, но пока не ожидаем какого-либо глобального сдвига, скажем, появления техники, которая будет работать на иных физических принципах и принципиально изменит требования к инженерной инфраструктуре с точки зрения охлаждения и электропитания.

Рост плотности мощности ведет к необходимости жидкостного охлаждения. Но это известное решение, которое и 10 лет, и 20 лет назад применялось, например, для суперкомпьютеров. Применение систем жидкостного охлаждения не есть какой-то глобальный сдвиг в архитектуре ЦОДов.

Те решения, которые мы сегодня разрабатываем, предусматривают использование и воздушного охлаждения, и жидкостного одновременно и практически в любой пропорции. Но базовым вариантом все равно берем воздушное, если на этапе проработки проекта нет явного запроса на жидкостное.

В любом случае сегодня мы закладываем в проекты широкий диапазон гибкости, и он гораздо шире, чем тот, что практиковался пять–семь лет назад.

– Да, все проекты сейчас мы делаем адаптивные, потому что очень высока степень неопределенности в развитии ИТ-оборудования. Заказчики даже корпоративных ЦОДов не знают, какое ИТ-оборудование будут устанавливать через три–пять лет. А что уж говорить про коммерческие. Они же не могут предугадать, кто и с какими запросами к ним придет.

– Думаю, нет. По крайней мере предпосылок для этого я не вижу. Стандарт Tier III «живет» уже 20 лет, он принят профессионалами отрасли во всем мире. Это абсолютно понятный инструмент оценки уровня надежности, общая система координат, если хотите. Коллеги из Uptime Institute разработали систему, которая определяет, что требуется для критической инфраструктуры. В частности, нужно, чтобы ЦОД работал даже в том случае, если мы отключаем и обслуживаем какой-то фильтр, кондиционер, насос, батарею или что-то еще.

Приложения ИИ ничего в этом плане принципиально не меняют. Если остановится GPU-кластер, это приведет к потере задачи, большой объем наработанной информации может быть утерян, цена ошибки очень высока и цена простоя очень велика. Поэтому требования к высокой доступности сохраняются, требования к возможности обслуживания ЦОДа без остановки его работы сохраняются. А значит, Tier III никуда не уйдет.

Но я бы хотел подчеркнуть следующее. В России появилась отечественная система классификации. Я говорю о документе, разработанном под эгидой АНО КС ЦОД. Он пока не оформлен в виде ГОСТа, эта работа только предстоит, но мы ее обязательно сделаем. Сейчас не об этом, а о том, что все больше заказчиков, которые собираются строить ЦОДы, заявляют о желании соответствовать отечественной модели классификации. И очень важно, что эта система гармонизирована с наилучшей мировой практикой, она не противоречит системе Tier, хотя учитывает отечественную специфику и добавляет существенные критерии, связанные с физической безопасностью ЦОДов.

– Думаю, что с точки зрения инженерных решений ЦОД-2035 будет как офис свободной планировки. По большому счету это будет площадка, позволяющая реализовать любое техническое решение для инженерной инфраструктуры в расчете на любые типы стоек, которые можно будет купить. То есть максимальная гибкость в выборе инженерных решений, в выборе компоновки.

Я не специалист по ИТ-оборудованию, но предполагаю, что к тому моменту может произойти разделение серверов, условно говоря, на вычислительные компоненты и компоненты памяти, и у них будут разные требования к температурно-влажностному режиму.

По сути, будет калейдоскоп решений, и наша задача сделать так, чтобы эти решения друг с другом быстро и бесшовно соединялись. При этом у нас будет условно общая шина на уровне энергетики и общие решения по холодоснабжению и автоматизации. Но потребуется высокая гибкость в интерфейсной части, которая находится в непосредственной близости к вычислительным системам. Я представляю себе это так.

С инженерной точки зрения это вызов, и мне это нравится. Чем сложнее задача, тем сильнее хочется ее решить, и решить максимально изящно.    

Рекламодатель: ООО "ДИ СИ КВАДРАТ"  ИНН: 7736571140  ERID: 2VfnxyNnsZf

dcxdc.ru