Ежегодная международная конференция «ЦОД»

Как построить ЦОД Tier IV по схеме N + 1

13.08.2019

Системы ИБП с изолированно-параллельной шиной (IP-Bus) – ответ разработчиков на рост мощностей дата-центров. В мире уже построено много ЦОДов с IP-Bus, в том числе с сертификатом Tier IV Uptime Institute. К таким решениям присматриваются и российские заказчики.

В практике строительства ЦОДов наблюдается устойчивый тренд на их укрупнение. В мире появились объекты мощностью 100 МВт. Россия также не остается в стороне, хотя и следует в данном направлении с некоторой задержкой. Еще 10 лет назад в нашей стране крупным считался дата-центр мощностью 5 МВт, а сегодня несколько ведущих операторов заявили о планах строительства объектов на 2000 стоек и более, что соответствует энергопотреблению 15 МВт и выше. 
 
Для организации инженерных систем большой мощности, как показала мировая практика, наиболее целесообразной с экономической точки зрения является схема с параллельным N + x (N + 1, N + 2…) подключением устройств. Причем единичная мощность самых больших в мире установок ИБП – динамических,  которые можно применять в таких решениях, ограничивается мощностью (и стоимостью) самых больших дизельных двигателей, используемых для работы с ИБП. 
 
Однако прямое параллельное включение ИБП, обеспечивая возможность создания эффективных конфигураций N + x, имеет ряд существенных недостатков:
 
Низковольтные установки можно применять только в системах мощностью до 5 МВт. Это связано как с ограничениями по доступным номиналам низковольтных комплектных устройств (6300 А), так и с высокими токами короткого замыкания, значения которых могут превышать 150 кА.
 
Решения на средневольтном напряжении, дающие возможность строить системы мощностью свыше 5 МВт, увеличивают стоимость энергосистемы и не всегда устраивают заказчиков в части эксплуатации. 
 
Общие компоненты системы – входная и выходная шины, байпас – являются общими точками отказа.
 

Схема N + N (2N), отвечающая уровню отказоустойчивости Tier IV Uptime Institute, дает возможность путем строительства отдельных энергомодулей уйти от основных недостатков классических параллельных систем. Но такой подход имеет и другие очевидные недостатки:

  • 100%-ное дублирование оборудования, т.е. высокие капитальные затраты;
  • большая занимаемая площадь;
  • максимальный уровень загрузки – 50% (на практике – не выше 40%);
  • высокие затраты на эксплуатацию.
В силу указанных причин конфигурация N + N (2N) редко применяется для объектов мощностью свыше 10 МВт. 
 
В 2005 г. было найдено решение, позволившее при сохранении основного преимущества параллельной схемы – оптимального числа модулей ИБП в схеме N + x – реализовать на практике системы мощностью до 20 МВт, оставаясь на низком напряжении 0,4 кВ. Это решение, получившее название «конфигурация с изолированно-параллельной шиной» (IP-Bus), отвечает самому высокому уровню отказоустойчивости (Tier IV Uptime Institute). В основе идеи IP-Bus – использование кольцевой шины для соединения отдельных модулей ИБП, каждый из которых изолирован с помощью дросселя (рис. 1).
 
 

Рис. 1. Изолированно-параллельное включение ИБП


В системах IP-Bus каждый ИБП работает на свой выход нагрузки и одновременно подключен к общей шине (IP-Bus) через изолирующий дроссель, который выполняет несколько важных функций: 

  • позволяет перераспределять активную мощность между ИБП – модуль ИБП с меньшей нагрузкой «помогает» другим модулям, передавая избыток мощности через IP-шину (рис. 2);
  • обеспечивает бесперебойное электроснабжение нагрузки в случае отключения ИБП для сервисных работ или при аварии (рис. 3, 4);
  • замедляет обмен реактивными токами между установками ИБП, за счет импедансов дросселей, так что отпадает необходимость в управлении реактивной мощностью внутри системы;
  • эффективно ограничивает токи короткого замыкания в различных сценариях КЗ (рис. 5).
Благодаря возможности естественного распределения нагрузки без какого-либо внешнего управления системы IP-Bus, как правило, реализуются в конфигурациях с резервированием N + х (N + 1, N + 2…). Сокращение количества избыточных ИБП до минимума позволяет обеспечить загрузку установок ИБП в системе на высоком уровне – свыше 70%, что делает такие системы очень энергоэффективными. 
 
 

Рис. 2. Пример распределения нагрузки в системе из 16 установок ИБП

В отличие от «прямой» параллельной конфигурации, в системе IP-Bus каждая установка ИБП управляет своим напряжением на выходе независимо от других – отсутствует централизованное устройство управления и исключается общая точка отказа. Если предположить, что поток мощности от одного ИБП по какой-либо причине внезапно пропадает, его нагрузка остается подключенной к IP-Bus с помощью IP-дросселя, который теперь работает в качестве резервного источника питания. При таком сценарии нагрузка будет автоматически и бесперебойно получать питание из шины IP-Bus (см. рис. 3).
 
 

Рис. 3. Пример резервирования системы при отказе/выключении одной установки ИБП

На практике шина IP-Bus обычно выполняется в виде кольца, как показано на рис. 4. Второй сегмент IP-Bus, зачастую называемый возвратной шиной (Return-Bus), играет роль резервного источника для нагрузок, позволяя напрямую подключать их к IP-Bus через отдельные выключатели – своего рода байпасы, что обеспечивает номинальное напряжение на нагрузке даже в аварийных ситуациях или при выполнении сервисных работ. Такие байпасы не являются общей точкой отказа, поскольку в начальный момент времени, пока не замкнется байпас, нагрузка продолжает бесперебойно получать питание от шины IP-Bus через IP-дроссель, как сказано выше.
 
 

Рис. 4. Пример работы нагрузки № 2 напрямую от резервной шины IP-Bus

Поведение системы IP-Bus при сценариях КЗ также существенно отличается от процессов в «прямой» параллельной конфигурации. В схеме IP-Bus возможные короткие замыкания благодаря использованию IP-дросселей оказывают лишь незначительное влияние на нагрузки. При этом токи КЗ не превышают 100 кА, что позволяет использовать стандартное коммутационное, защитное и шинное оборудование.
 
При коротком замыкании на стороне нагрузки ИБП (рис. 5) воздействие такого замыкания на всю систему относительно незначительно в силу того, что остающиеся в работе нагрузки изолированы от ИБП посредством двух последовательно включенных дросселей. С другой стороны, ток КЗ, отдаваемый ИБП на общую IP-шину, ограничен сопротивлением IP-дросселя. Поэтому изменения в напряжении на непострадавших нагрузках незначительны и остаются в безопасной области кривой ITI (CBEMA). (Данная кривая показывает терпимость электрооборудования к отклонениям сетевого напряжения в зависимости от времени воздействия. – Прим. ред.).
 
 

Рис. 5. Пример распределения и величин токов КЗ в системе IP-Bus при КЗ на шине питания нагрузки, подключенной к ИБП 2

В случае короткого замыкания на шине IP-Bus между точкой КЗ и ИБП или нагрузкой расположен только один IP-дроссель. Поэтому провал напряжения на нагрузках при таком сценарии будет намного больше, по сравнению со случаем КЗ в системе распределения нагрузки. При низком переходном сопротивлении ИБП начальное падение напряжения на нагрузке составит 30%. Для чувствительных блоков питания серверов, в соответствии с кривой ITI (CBEMA), такое падение напряжения допустимо в течение максимум 500 мс. Применение сегментированной направленной защиты, специально адаптированной к требованиям системы IP-Bus, дает возможность очищать КЗ на шине IP-Bus в течение 60 мс путем выборочной изоляции очага КЗ и одновременно позволяет той части системы IP-Bus, на которую это непосредственно не влияет, оставаться полностью работоспособной.
 
Система IP-Bus состоит из нескольких установок ИБП, количество которых определяется заданным уровнем резервирования N + x и включает следующие основные компоненты: ИБП с устройством накопления энергии, IP-дроссель для подключения установки ИБП к IP-шине и выключатели, необходимые для безопасной работы системы. На рис. 6 показан один из вариантов системы IP-Bus на базе роторного ИБП.
 
 
Рис. 6. Пример системы IP-Bus с применением роторного ИБП Piller UNIBLOCK и внешнего ДГУ с «нижним» включением
 
Согласно практическому опыту компании Piller, динамические ИБП с маховиками (рис. 6) в качестве устройств хранения резервной энергии являются идеальным решением для систем IP-Bus, поскольку кинетические накопители в составе ДИБП могут работать в режиме как мгновенного поглощения энергии, так и мгновенного разряда, что важно для стабилизации рабочих параметров системы IP-Bus при изменениях нагрузки.
 
Кроме того, мотор-генераторы в составе ДИБП обладают способностью поставлять высокие токи КЗ – до 20 х Inom, что позволяет системам IP-Bus за очень короткое время справляться с очисткой КЗ, не подвергая соседние нагрузки негативным воздействиям короткого замыкания.
 
Статические ИБП с аккумуляторными батареями имеют ограниченные возможности мгновенно отдавать и принимать большие токи, а кроме того, токи КЗ самих ИБП относительно невысоки. По этим причинам решения IP-Bus на статических ИБП – это скорее эксперименты, и в действующих ЦОДах они практически не встречаются.
 
Первая в мире система IP-Bus была реализована в 2007 г. для ЦОДа мощностью 36 МВт в Эшберне (Вирджиния, США). На объекте были установлены две отдельные системы IP-Bus, каждая из которых включает 16 ИБП Piller UNIBLOCK UBT 1670 кВА с маховиками в конфигурации 14 + 2. На случай длительных пропаданий внешней сети каждый ДИБП резервируется отдельным дизельным генератором 2810 кВА с «нижним включением», который работает на нагрузки как бесперебойного, так и гарантированного электропитания.
 
После успеха реализации первой системы IP-Bus такая конфигурация стала быстро набирать популярность в индустрии ЦОДов. Очередной важной вехой в развитии и признании технологии IP-Bus стало получение австралийским ЦОДом NEXTDC B2 с системой электропитания IP-Bus N + 1 сертификата Tier IV Design & Facility Uptime Institute в сентябре 2017 г.
 
 
     http://www.piller.com
Российский рынок ЦОДов только входит в этап строительства крупных объектов мощностью свыше 10 МВт. По результатам первых расчетов концепций и бюджетных оценок решений IP-Bus на нескольких проектах ЦОДов в России (в диапазоне мощностей 5–15 МВт) можно сделать следующие выводы. В сравнении с конфигурацией 2N на статических ИБП решения IP-Bus на базе ДИБП не дороже в начальных капитальных затратах, дают выигрыш 30–60% в занимаемой площади, более чем на 50% выгоднее по стоимости владения (ТСО) на отрезке 10 лет. В сравнении с распределенно-резервной конфигурацией N + 1 (DR 3/2, 4/3), реализуемой как на статических, так и на динамических ИБП, решения IP-Bus на базе ДИБП не дороже в начальных капитальных затратах (для ЦОДов мощностью 10 МВт и более), дают выигрыш 20–50% в занимаемой площади, выгоднее на 50% по ТСО на отрезке 10 лет.
 
Таким образом, уверен, что внедрение систем IP-Bus в российских ЦОДах – лишь вопрос времени.
 
Владислав Ротань, директор по развитию бизнеса, Piller