 |
 |
 |
Ситуацию обостряет рост ИИ-нагрузок: бизнесу требуются высоконагруженные стойки, на которые действующие машзалы не рассчитаны. О том, как обнаружить скрытый технический долг за панелями шкафов, как безопасно менять силовую электрику и холодильные машины в работающем дата-центре и почему сервис стал фундаментом модернизации, рассказывают руководитель центра экспертизы по ЦОД Сергей Махлин, руководитель направления сервиса инженерных систем Денис Полуэктов и главный инженер компании К2Тех Пётр Вашкевич.
«ИКС»: Почему тема модернизации ЦОДов перешла в горячую фазу именно сейчас? Что стало главным триггером?
Сергей Махлин: Сошлись сразу три независимых фактора, которые взаимно усилили друг друга. Первый – дефицит новых мощностей на рынке, особенно в Московском регионе. Получить технические условия на десятки новых мегаватт от сетевых компаний сегодня сложно и долго – процесс растягивается на полтора-два года. Стоимость заемных денег при высокой ключевой ставке делает строительство крупных объектов с нуля очень капиталоемким. Поэтому бизнес пытается выжать максимум полезной ИТ-нагрузки из уже имеющихся зданий и подтвержденных лимитов электроэнергии.
Второй драйвер – трансформация самих вычислений. Корпоративный сектор, банки и ритейл внедряют алгоритмы машинного обучения, требующие установки серверов высокой плотности. Но если в зале все спроектировано под средние 6–8 кВт на стойку, разместить туда кластер на 25–40 кВт невозможно без локальной перестройки охлаждения и распределительной электрики.
Денис Полуэктов: Но базовый, фундаментальный триггер – это естественный физический износ. Первые по-настоящему крупные и качественные дата-центры в России начали массово вводиться как раз 12–15 лет назад. Это паспортный срок службы тяжелого инженерного оборудования: компрессоров чиллеров, вентиляторов фанкойлов, силовых модулей ИБП.
«Железо» начинает вырабатывать ресурс, количество отказов растет лавинообразно, а оригинальных запчастей от ушедших европейских и американских производителей на складах не осталось. При попытках локального ремонта эксплуатация часто вынуждена прибегать к кустарным доработкам или неоригинальным аналогам. В какой-то момент поддерживать старую технику становится банально дороже и опаснее, чем провести плановую комплексную замену.
«ИКС»: Внешне стойки и кондиционеры могут выглядеть идеально даже через 15–20 лет работы. По каким признакам сервисная служба видит, что срок службы оборудования подошел к концу и оно рискует выйти из строя?
Д. П.: Корпус кондиционера или шкаф ИБП может стоять без единой царапины 20 лет подряд. Но внутри него идут необратимые процессы старения. Реальное состояние инженерных систем определяется глубоким анализом телеметрии, аппаратных логов и статистики повторяемости инцидентов. Главный показатель – учащение межсервисных сбоев: если одна и та же машина начинает регулярно выдавать ошибки по платам управления, перегреву или давлению хладагента, это сигнал, что компонентная база выгорела.
«ИКС»: В каких случаях модернизация действующего ЦОДа экономически оправданна, а когда попытка втиснуть новые мощности в старое здание превращается в рискованную перестройку, уступая созданию новой площадки?
С. М.: Экономическая целесообразность определяется тем, выходит ли заказчик за рамки существующей электрической мощности объекта. Если общий лимит мощности площадки остается прежним, а задача сводится к ее эффективному перераспределению – например, высвободить ресурс за счет оптимизации PUE и разместить компактный высоконагруженный кластер, – модернизация может быть оправданна. Она окупится быстрее, чем проектирование и строительство площадки с нуля.
Если же для новых вычислительных задач заказчику требуется увеличить общую мощность дата-центра сверх проектной хотя бы на 15–20%, модернизация превращается в финансовую ловушку. Инженерная система дата-центра рассчитывается как замкнутая неразрывная цепочка. Вы не можете просто добавить новые серверы: потребуется менять трансформаторные подстанции, расширять ГРЩ, устанавливать дополнительные дизели, для которых на земельном участке может и не быть места.
В таком сценарии затраты на адаптацию старого контура могут превысить стоимость строительства нового здания, а главное – заказчик подвергает риску работающие ИТ-системы. Логичнее оставить действующий ЦОД для классических корпоративных нагрузок, а энергоемкие кластеры вынести на новую модульную площадку или в коммерческий colocation.
«ИКС»: Что на действующих объектах первым становится непреодолимым барьером при попытке разместить стойки высокой плотности?
Пётр Вашкевич: Одно из узких мест – аэродинамика подпольного пространства. Залы, строившиеся 10 лет назад, рассчитывались на фальшпол высотой 1–1,2 м. Этого сечения достаточно для равномерного распределения холодного воздуха под стойки мощностью до 10–15 кВт.
Когда в такой ряд устанавливают стойку на 30–40 кВт, воздух физически не успевает поступать через стандартные перфорированные плиты. Мощные вентиляторы серверов создают разрежение, горячий воздух начинает перетекать из горячих коридоров обратно на вход серверов, и электроника уходит в аварийный троттлинг. Поднять фальшпол в работающем зале практически невозможно – в первую очередь мешают сами работающие тяжелые ИТ стойки с подведенными к ним коммуникациями.
Второй барьер – силовое распределение. Кабельные лотки переполнены, сечения существующих трасс не рассчитаны на токи в сотни ампер, а распределительные щиты не имеют запаса под автоматы нужного номинала.
Третья проблема – вес. Высоконагруженная стойка с современными блейд-шасси, блоками питания и водяными теплообменниками весит до 2,5 т. Старые плиты перекрытий и стойки фальшпола в переоборудованных административных зданиях такую локальную нагрузку не выдерживают – их приходится разбирать и усиливать металлоконструкциями.
«ИКС»: Как на практике менять массивные чиллеры, трансформаторы и ИБП в дата-центре, который обеспечивает непрерывность бизнеса?
Д. П.: Отключить ЦОД от электричества сегодня не может позволить себе ни один заказчик – цена простоя измеряется миллионами рублей в час, а в промышленности это грозит нарушением технологических процессов. Поэтому модернизация всегда планируется как веерная, строго поэтапная операция.
Сначала выводится в ремонт и заменяется один агрегат в резервируемой цепочке – например, один кондиционер из схемы N+1 или N+2. Новый блок монтируется, подключается, проходит индивидуальные испытания и вводится в строй. Только после этого мы переходим к следующему.
Сервисный партнер в этот момент должен служить страховочной сеткой. Когда один из элементов выведен на замену, система теряет штатное резервирование. Сервисные инженеры выставляют временные посты мониторинга, держат наготове мобильный ЗИП и при малейшем отклонении параметров переводят смежные линии на резервные источники в ручном режиме.
П. В.: Для замены критических узлов – главных щитов или холодильных центров – применяются временные схемы. В системе электроснабжения разворачиваются временные кабели в обход модернизируемых ячеек ГРЩ. Ключевой закон безопасности при таких работах – обязательное нагрузочное тестирование. Прежде чем перевести «боевую» ИТ-нагрузку на новый ИБП или трансформатор, мы подключаем к нему мобильные тепловые пушки и гоняем оборудование на 100% мощности во всех аварийных режимах. Ни один переключатель на работающих серверах не должен переключаться вслепую.
«ИКС»: Можно ли поднять энергоэффективность (снизить PUE) и высвободить дополнительную полезную мощность для серверов точечными инженерными мерами без многомиллиардной стройки?
П. В.: Наиболее разумный шаг – замена чиллеров на более эффективные, а также расширение температурного окна фрикулинга. Установка пластиковых шторок или стеклянных дверей для герметизации горячих коридоров и закрытие заглушками пустующих юнитов в стойках также дает эффект. Исключается перемешивание воздуха, температура горячего воздуха на входе в кондиционеры повышается, за счет чего их холодильный КПД может вырасти на 15–20%.
А если при модернизации гидравлики добавить теплообменники свободного охлаждения, позволяющие зимой и в межсезонье отводить тепло на улицу без запуска компрессоров, энергоэффективность объекта делает качественный скачок при вполне умеренном бюджете.
«ИКС»: Реально ли интегрировать высоконагруженные ИИ-стойки с прямым жидкостным охлаждением в машинный зал, изначально рассчитанный только на воздух?
П. В.: Да, через создание выделенного независимого гидромодуля. Классические чиллеры подают воду с температурой 12–18°C, а прямое жидкостное охлаждение процессоров (direct-to-chip) работает в совершенно другом температурном графике – 40–45°C.
В зале выделяется отдельная зона или ряд, где размещаются стойки с водоблоками. Рядом монтируется модуль распределения теплоносителя. Первичный горячий контур модуля распределения выводится на кровлю или фасад здания на отдельные градирни. В итоге высоконагруженный ИИ-кластер охлаждается уличным воздухом круглый год, не забирает холод у существующих кондиционеров и физически изолирован от общего объема воздуха машзала.
1 октября К2Тех проведет в Москве демодень «ПРО ЦОД». Эксперты и партнеры разберут тренды развития рынка и сценарии масштабирования инфраструктуры в условиях дефицита стойко-мест, вопросы комплексной безопасности и проектирования залов для ИИ-нагрузок, а также подходы к оценке локализованных решений; в демозонах можно будет протестировать работу оборудования и посетить модульный дата-центр. Программа мероприятия и регистрация — по ссылке.
Рекламодатель: АО "К2 ИНТЕГРАЦИЯ" ИНН: 7701829110 ERID: 2VfnxveQM9W
