.jpeg "Сергей Махлин") |
.png "Петр Вашкевич") |
Сергей Махлин, руководитель центра экспертизы по ЦОД К2Тех, и Пётр Вашкевич, главный инженер К2Тех, рассказывают, как устроены подземные ЦОДы и какие решения определяют стоимость их строительства и эксплуатации.
«ИКС»: В каких случаях компании стоит рассматривать строительство подземного ЦОДа?
Сергей Махлин: Когда требования к физической защищенности инфраструктуры существенно влияют на выбор площадки и конструкцию здания. Прежде всего это касается сервисов, недоступность которых приводит к серьезным последствиям для бизнеса. Заказчик должен определить, какие внешние воздействия необходимо учитывать и какой результат должна обеспечить защита.
Здесь возможны разные требования. В одном случае сервисы должны продолжать работать даже при отказе части оборудования. В другом допустима остановка, но требуется сохранить вычислительную инфраструктуру и обеспечить восстановление за установленное время. От этого зависят строительные решения, размещение инженерных систем и состав резерва.
Такой проект рассматривают в общей архитектуре ИТ-систем заказчика. Защищенная площадка по-прежнему нуждается в резервном копировании, связи с другими ЦОДами и проверенном порядке восстановления сервисов. Все эти расходы следует учитывать при сравнении вариантов.
«ИКС»: Подземный дата-центр обязательно строят на большой глубине?
Пётр Вашкевич: Возможны разные схемы. Можно приспособить существующее сооружение, разместить ЦОД в горной выработке, бывшем объекте гражданской защиты или построить новое здание с частичным заглублением и засыпкой грунтом снаружи.
В одном из рассматриваемых нами вариантов нижний этаж находится под землей, верхний — выше исходной отметки участка, а затем сооружение закрывают грунтом. Это позволяет ограничить глубину котлована. Насколько такая схема подходит конкретному объекту, определяют по результатам изысканий и расчетов.
Готовое убежище тоже подходит далеко не всегда. У него уже есть размеры помещений, высота, проходы и конструктивные ограничения. Встречавшиеся мне объекты такого типа чаще позволяли разместить сравнительно небольшие ЦОДы. В горных выработках доступные пространства могут быть значительно больше, но их пригодность все равно нужно оценивать отдельно.
При новом строительстве больше свободы: можно сразу увязать машинные залы, инженерные помещения, пути доставки оборудования и будущие очереди. При этом объем строительных работ будет другим.
«ИКС»: С чего начинается проектирование и какие особенности участка могут заставить отказаться от него?
П. В.: С определения требований к защите и основных параметров ЦОДа: количества стоек, мощности на стойку, суммарной нагрузки, предполагаемого состава оборудования. На этой основе формируется предварительная компоновка здания.
Затем нужны инженерно-геологические исследования. По намеченным габаритам сооружения определяют программу бурения, изучают состав и свойства грунтов, условия залегания подземных вод. Эти данные позволяют выбирать основание, фундамент, конструкцию подземной части и способы защиты от воды.
Высокий уровень грунтовых вод, заболоченность, расположение в низине с риском подтопления могут существенно усложнить проект. Техническое решение иногда найти можно, но его стоимость и последующее обслуживание способны сделать участок невыгодным.
С. М.: Одновременно нужно проверить доступность электрической мощности и каналов связи. Хорошие строительные условия сами по себе еще не обеспечивают пригодность площадки для ЦОДа. Если подключение инфраструктуры потребует чрезмерных затрат или не уложится в сроки заказчика, это повлияет на весь проект.
Поэтому на ранней стадии полезно сравнивать несколько вариантов по одинаковым требованиям. Тогда видно, за счет чего складывается стоимость каждого из них и какие ограничения останутся на весь срок эксплуатации.
«ИКС»: Как защитить машинные залы от воды? Достаточно ли качественной гидроизоляции?
П. В.: Гидроизоляция входит в комплекс решений. Кроме нее предусматривают защиту самого гидроизоляционного слоя, дренаж и отвод воды. Их устройство зависит от условий участка.
Под основным этажом можно предусмотреть техническое пространство небольшой высоты. Если вода все же проникнет внутрь, ее можно обнаружить и удалить до того, как она попадет к оборудованию. Для этого нужны контроль протечек и соответствующая система водоотведения.
Критичные помещения мы предлагаем отделять от наружных стен обходными коридорами. Они дают доступ для осмотра конструкций, позволяют заметить проблему и выполнить ремонт. Это дополнительные площади, которые влияют на экономику проекта, но они помогают обслуживать сооружение.
При проектировании необходимо продумать весь путь воды: где она может появиться, куда будет собираться и как удаляться. Также нужно обеспечить доступ к оборудованию дренажной системы для обслуживания и замены.
«ИКС»: Как подземное размещение влияет на внутреннюю компоновку ЦОДа?
П. В.: В рассматриваемой нами схеме машинные залы расположены на нижнем уровне, а инженерные помещения — над ними. Такое размещение позволяет дополнительно отделить вычислительное оборудование от внешних воздействий.
При этом сохранность серверов и непрерывная работа ЦОДа — разные требования. Если инженерные системы повреждены, вычислительная инфраструктура может остаться целой, но остановиться из-за отсутствия питания или охлаждения. Для возобновления работы потребуется восстановить обеспечивающие системы и проверить состояние оборудования.
Поэтому компоновку выбирают вместе со схемой резервирования и планом восстановления. Нельзя оценивать защиту только по тому, насколько хорошо укрыт машинный зал.
Еще один существенный фактор — размер сооружения. Чем больше защищаемый объем, тем больше строительных конструкций и связанных с ними затрат. Отсюда интерес к компактному размещению высоконагруженного оборудования и жидкостному охлаждению.
«ИКС»: Что жидкостное охлаждение дает именно подземному ЦОДу?
П. В.: Оно позволяет рассматривать более высокую плотность вычислительной нагрузки. При одинаковой суммарной ИТ-мощности это может уменьшить площадь машинного зала, а для заглубленного сооружения такая возможность особенно интересна.
Но общая площадь ЦОДа не уменьшается пропорционально числу стоек. Остаются системы электроснабжения, распределения теплоносителя, насосное оборудование, проходы и зоны обслуживания. В какой-то момент именно инженерная инфраструктура начинает определять габариты здания.
Схематично решение может выглядеть так: на нижнем уровне расположены стойки, выше — узлы распределения теплоносителя и насосные станции, а далее трубопроводы связывают их с оборудованием отвода тепла. Конкретная схема зависит от требований серверов и выбранной технологии охлаждения.
Возможность использовать наружный воздух для охлаждения теплоносителя без работы холодильных машин определяется его допустимой температурой и климатом площадки. Само подземное размещение такого преимущества не создает.
«ИКС»: То есть прохладный грунт не помогает решить задачу охлаждения? Куда отводить тепло?
П. В.: Для рассматриваемых нами мощностей рассчитывать на окружающий грунт как на достаточный источник охлаждения нельзя. Тепло необходимо отводить за пределы сооружения. Обычно для этого требуется наружное оборудование, например драйкулеры.
Если рядом есть подходящий водоем, можно рассматривать использование его воды через теплообменники. Но это отдельная инженерная задача с учетом характеристик водоема и условий реализации проекта.
Такой принцип применяется, например, в норвежском Lefdal Mine Data Centers: вода фьорда охлаждает через теплообменники внутренний замкнутый пресноводный контур. Это пример того, как местные условия влияют на выбор системы охлаждения.
Возможна и передача тепла внешнему потребителю. В проекте подземного ЦОДа Pionen тепло дата-центра используется в городском теплоснабжении. Для подобных решений нужно заранее согласовать температурные режимы и условия взаимодействия с принимающей системой.
«ИКС»: Как тогда защищать оборудование, которое остается на поверхности?
П. В.: Его размещение рассматривают в общей схеме защиты и резервирования. В частности, оценивают возможность одновременного повреждения нескольких агрегатов, связи между ними и последствия потери отдельного элемента.
У наружного размещения есть эксплуатационные преимущества: к оборудованию проще получить доступ, его легче обслуживать и менять. Если все переносить внутрь защищенного сооружения, увеличиваются его размеры, усложняются доставка оборудования и взаимодействие с внешней средой. Даже при таком подходе остаются вводы коммуникаций и необходимые технологические отверстия.
Поэтому мы рассматриваем разные варианты. Для части оборудования может быть оправдано наружное размещение с соответствующей защитой, резервированием и запасом для замены. Но возможность быстро восстановить систему нужно подтвердить: предусмотреть подключения, доступную технику, запасные агрегаты и порядок работ.
С. М.: Здесь особенно важны требования заказчика к допустимому перерыву. Решение, которое позволяет восстановить инфраструктуру за несколько часов, может быть приемлемо для одного сервиса и совершенно не подходить другому.
Если бизнесу нужна непрерывная работа, в расчете должно быть показано, как она сохраняется при предусмотренном отказе. Если допускается остановка, оценивают последовательность восстановления и необходимые ресурсы. Это помогает обоснованно распределить бюджет между защитой, резервированием и ремонтопригодностью.
«ИКС»: Что сложнее всего предусмотреть для последующей эксплуатации?
П. В.: Прежде всего замену крупных агрегатов. Уже при проектировании нужно понимать, каким путем оборудование доставят на место, как его демонтируют и как вынесут из здания. Для этого предусматривают технологические проемы, маршруты перемещения и возможность выполнения такелажных работ.
Важно проверить весь маршрут, включая повороты, перепады высот и пространство перед местом установки. Возможность один раз занести агрегат во время строительства еще не означает, что его удастся заменить после ввода ЦОДа.
Отдельного внимания требует влажность. В зависимости от условий могут понадобиться осушение воздуха и соответствующие режимы вентиляции. При жидкостном охлаждении требования к состоянию воздуха в помещениях тоже сохраняются.
Нужно продумать и условия работы людей. В нашей концепции помещения для постоянной работы персонала можно разместить в соседнем наземном административно-бытовом корпусе, обеспечив необходимый доступ к технологической части. Это позволяет учитывать и удобство дежурной смены, и требования к безопасности.
«ИКС»: Можно ли расширить такой ЦОД после запуска?
С. М.: Возможность расширения лучше закладывать в генеральный план. Мы рассматриваем развитие отдельными блоками: сначала строится одна очередь, затем рядом — следующая. Мы ориентируемся на блоки около 10 МВт, но это проектный подход, а не универсальный размер.
На участке заранее резервируют место и определяют, как новые очереди будут подключаться к инфраструктуре. Необходимо также учитывать, как строительные работы рядом повлияют на действующий ЦОД.
Внутри готового блока возможности модернизации зависят от заложенных резервов. Переход на более мощные стойки потребует проверить электроснабжение, производительность охлаждения, трубопроводы, насосы и другие элементы. Свободное место в машинном зале само по себе еще не означает, что площадка готова принять дополнительную нагрузку.
«ИКС»: Насколько подземный ЦОД дороже обычного и чем обусловлена разница?
С. М.: По нашим предварительным расчетам для упомянутой выше схемы — с частичным заглублением и обвалованием — удорожание может составлять около 30% по сравнению с наземным вариантом. Это оценка конкретной концепции, ее нельзя автоматически переносить на любой подземный ЦОД.
Заметно меняется строительная часть: увеличивается объем железобетонных конструкций, появляются дополнительные технические пространства, защищенные маршруты коммуникаций, решения по гидроизоляции и дренажу. При этом состав основного инженерного оборудования может оставаться сопоставимым. Поэтому рост стоимости строительных работ и всего проекта будет различаться.
На сроки влияют условия участка, объем земляных работ, конструктивная схема и количество отдельных блоков. Единую процентную надбавку здесь я бы не называл.
Для принятия решения заказчику нужно сравнение вариантов с одинаковой ИТ-мощностью, требованиями к доступности и понятным составом затрат. Также следует учитывать обслуживание, замену оборудования и дальнейшее развитие площадки.
Подземное размещение не дает оснований заранее закладывать более дешевую эксплуатацию. Некоторые работы могут оказаться сложнее. Экономический смысл проекта определяется тем, насколько выбранная схема отвечает требованиям бизнеса к сохранности инфраструктуры и восстановлению сервисов.
«ИКС»: Как подтвердить, что площадка готова к эксплуатации?
С. М.: В программу приёмки следует включить сценарии, ради которых выбраны конкретные проектные решения. Для подземной части это, в частности, обнаружение протечек и работа водоотведения. Для инженерной инфраструктуры — сохранение требуемого режима при предусмотренных отказах и переключение на резерв.
Отдельно оценивают ремонтопригодность: доступны ли маршруты замены оборудования, есть ли необходимые запасные части и техника, понимает ли служба эксплуатации порядок действий. Возможность провести ремонт должна сохраняться после завершения всех строительных и монтажных работ.
Затем инженерные испытания связывают с проверкой сервисов. Если предусмотрено восстановление, нужно подтвердить запуск приложений, доступность данных и время возвращения к работе. По результатам заказчик должен получить подтверждение, что предусмотренные проектом системы защиты, резервирования и восстановления выполняют свои задачи.
Рекламодатель: АО "К2 ИНТЕГРАЦИЯ" ИНН: 7701829110 ERID: 2Vfnxw5PouN
