Ежегодный международный форум «ЦОД» (16+)

ЦОДопроектирование и ЦОДостроительство: конец вечных вопросов

20.11.2013

Автор:  Евгения ВОЛЫНКИНА, обозреватель, журнал "ИКС"

ИКС № 11 2013

 

 

Дистанция между появлением у компании мысли о ЦОДе и ее практическим воплощением может быть и спринтерской, и марафонской. О том, как ее преодолеть с минимальными затратами, говорили участники 8-й международной конференции «ЦОД-2013», организованной журналом «ИКС».

Зачем и почему?

Вопрос о дата-центре, собственном или аутсорсинговом, рано или поздно встает перед многими компаниями. Но прежде чем определиться с его характеристиками, каждая компания должна решить, зачем ей вообще нужен дата-центр. Директор департамента системной интеграции «Инлайн Груп» Андрей Кондратьев отмечает, что соображения, подталкивающие компании к созданию собственного ЦОДа (основного или резервного) или к аренде мощностей коммерческого ЦОДа (опять же для использования в качестве основного или резервного), могут быть самыми разными: необходимость повысить производительность ИТ-инфраструктуры, ее масштабируемость, надежность ее работы и доступность приложений; стремление к централизации данных, снижению затрат на ИТ, минимизации рисков простоя и потерь данных, обеспечению мобильности бизнеса и непрерывности бизнес-процессов и даже ускорение доставки отчетов высшему руководству компании. Причем надо отдавать себе отчет в том, что некоторые из этих задач являются взаимоисключающими: повышение производительности ИТ-инфраструктуры и надежности ее работы потребует определенных инвестиций (иногда немалых), что слабо сочетается со снижением затрат на ИТ (во всяком случае в краткосрочной перспективе), а минимизация рисков потери данных противоречит их централизации (все яйца оказываются в одной корзине). Чтобы максимально полно удовлетворить потребности и пожелания бизнеса, мало правильно ответить на вопрос «зачем вам дата-центр», нужно еще и расставить приоритеты: что важнее – надежность, экономия, непрерывность бизнеса, информационная безопасность и т.п. 

Быть или не быть?  

По-прежнему актуальным для многих компаний остается почти гамлетовский вопрос «строить или арендовать?», которому «ИКС» посвятил тему номера еще в 2009 г. За прошедшие годы поиск ответа на него легче не стал: новые технологии для инженерной и ИТ-инфраструктуры, виртуализация, облака, меняющиеся требования к информационной безопасности, проблемы с электричеством и ситуация на рынке недвижимости добавляют «гири» и «гирьки» на обе чаши весов, к тому же масса этих «гирек» заметно меняется в зависимости от конкретных условий. Причем это тот случай, когда иностранный опыт практически неприменим, там цифры совсем другие. Сложность выбора директор проекта ЕРЦОД «Ростелекома» Александр Мартынюк показал на примере, который на первый взгляд кажется простым: нужно разместить 200 стоек с ИТ-нагрузкой мощностью 5 кВт на стойку в дата-центре уровня Tier III, PUE = 1,5, стоимость электричества – 3,6 руб./кВт.ч, горизонт планирования – 10 лет. Выбор сильно зависит от принимаемых во внимание условий, конфигурации ЦОДа и ИТ-инфраструктуры, использования или неиспользования тех или иных облачных сервисов. Прежде всего единым дополнительным общероссийским условием является практическое отсутствие возможности строительства ЦОДа «с нуля» (во всяком случае в Москве и ближайших окрестностях), что обычно обходится дешевле встраивания его в имеющееся здание. А еще надо учесть российские кредитные банковские ставки (как минимум 12% в год), соображения информационной безопасности, и наконец, стремление некоторых компаний к наращиванию капитализации, от которой напрямую зависят бонусы топ-менеджеров. Последнее не оставляет никаких шансов модели услуг коммерческих ЦОДов, несмотря на возможность быстро начать пользоваться ИТ-сервисами и гораздо более низкий уровень стартовых инвестиций. По идее грамотное использование облачных технологий резко повышает экономическую привлекательность строительства собственного дата-центра при нынешних ценах на аренду виртуальных машин в коммерческих ЦОДах, но сэкономить таким способом могут только крупные компании, потребляющие большие объемы подобных сервисов. Для компаний класса SMB с 30 сотрудниками и стандартным набором бизнес-приложений (бухгалтерия, электронная почта, склад, CRM и т.п.) использование в течение года сервисов IaaS и SaaS облачных провайдеров обойдется почти вдвое дешевле создания собственного миниЦОДа. В общем, для российского SMB-сектора, в котором довольно трудно найти компанию, всерьез планирующую свое развитие на 10 лет, вопрос «строить или арендовать» давно решен в пользу ИТ-аутсорсинга, а для «крупняка» пока более выгодны инвестиции в САРЕХ. 

К «истокам»  

Как это делать по всем правилам, у нас давно знают – в соответствии со стандартами всем в цодостроительных кругах известной организации Uptime Institute, деятельность которой уже обросла многочисленными мифами. Развенчать их пытался управляющий директор российского отделения Uptime Institute Алексей Солодовников, отметивший прежде всего, что публика склонна сильно завышать возраст стандартов Uptime, намекая на их устарелость и неадекватность современным реалиям: «Приходилось даже слышать, что Uptime Institute существовал еще во времена строительства Днепрогэса». Кроме того, некоторые почему-то считают, что уровни надежности Tier Uptime совпадают с соответствующими уровнями стандарта TIA-942, тогда как общее у них только слово «Tier». Как напомнил А. Солодовников, первая редакция стандарта, касающегося уровней надежности Tier, была опубликована не так уж давно – в 1996 г., а в 2008 г. она претерпела полную ревизию. Именно тогда из стандарта была убраны все схемы и таблица с конкретными характеристиками дата-центров различных уровней Tier, такими как размещение в отдельном здании с такой-то толщиной стен и с машинными залами с такой-то высотой фальшполов, наличие двух вводов электроснабжения от внешних сетей для Tier IV, определенный уровень резервирования того или иного инженерного оборудования и т.д. Несмотря на прямое указание в сопровождающем тексте, что это не требования, а просто типичные параметры реальных дата-центров, построенных в соответствии со стандартом, очень многие воспринимали их именно как обязательные к исполнению. После ревизии изменился и механизм внесения изменений в стандарт – теперь это делается после голосования членов сообщества Uptime Institute Network, объединяющего владельцев дата-центров (в их число входят DataSpace и Сбербанк). 

Известная сертификация проектов дата-центров и готовых площадок тоже началась после ревизии, а именно в 2009 г. В тот год сертификаты разных уровней Tier получили 10 проектов и всего одна площадка из шести стран. С тех пор популярность этой процедуры заметно выросла, и количественно и географически: в 2010 г. ее прошли 26 проектов (в том числе первый в России) и 4 площадки из 12 стран, в 2011 г. – 38 проектов и 9 площадок из 18 стран, в 2012 г. – 68 проектов и 26 площадок, а за неполный 2013 г. – 71 проект и 23 площадки разных уровней, от Tier II до Tier IV. Так что на сегодняшний день сертифицировано более 200 проектов и еще 180 находятся в работе, а всем, кто только собирается подавать документы на сертификацию, рекомендуется во избежание недоразумений и мифов читать первоисточники на сайте Uptime Institute и консультироваться у сертифицированных проектировщиков ATD (Accredited Tier Designer) и специалистов ATS (Accredited Tier Specialist), благо их в России уже в общей сложности 85 человек. 

Исключения и правила  

Как уже было сказано, в российских реалиях строительство дата-центра в чистом поле является скорее исключением, чем правилом. Подавляющему большинству потенциальных заказчиков придется иметь дело с размещением ЦОДа в готовом – и зачастую довольно старом – здании, которое в случае крупного дата-центра, скорее всего, придется перестраивать (под небольшой ЦОД можно без особых проблем переоборудовать помещение и в стандартном офисном центре). Как рассказал главный инженер проекта ADM Partnership Александр Овчинников, строительство ЦОДа с подведенной мощностью от 10 МВА в черте крупного города – это практически всегда демонтаж или реконструкция старого здания. Оптимальный вариант – здание бывшего завода: в этом случае на участке обычно наличествует хорошо развитая инфраструктура, конструкции здания имеют достаточную несущую способность, есть довольно большая территория между корпусами, где можно разместить некоторые инженерные решения, в ближайших окрестностях нет жилых домов, что означает отсутствие жестких требований к шуму и выхлопам дизель-генераторных установок, а транспортная доступность для персонала при этом сохраняется. Но в любом случае необходим технический аудит площадки под ЦОД – с обследованием фундаментов, колонн, перекрытий и кровли и оценкой затрат на реконструкцию. Кроме того, необходимо провести градостроительную оценку территории (если согласно генплану в обозримом будущем по соседству будут построены жилые дома, то нужно уже сейчас готовиться к проблемам), обмерить помещения (даже если документация сохранилась, расхождения между бумагой и реальностью у нас обычное дело), выполнить аудит инженерных систем и т.д., и т.п. И если очень повезет, то может оказаться, что реконструкция выбранного помещения обойдется гораздо дешевле нового строительства, и эта реконструкция ничуть не помешает при соответствующем уровне проектирования и строительства получить сертификаты Uptime Institute и на проект, и на готовую площадку. 

В помощь заказчику  

Но должным образом организовать проектирование и строительство ЦОДа очень непросто. Оптимальные модели этого процесса обсуждаются на отраслевых мероприятиях уже не первый год. Долгое время российские заказчики считали лишним звеном консультантов, но это заблуждение пару лет назад наконец-то ушло в прошлое. В необходимости привлечения профессиональной проектной компании у заказчиков теперь тоже сомнений нет. Что же касается общей конфигурации потенциальных участников проекта, то директор по проектированию группы компаний ALTIUS Евгений Ломов предлагает три возможные схемы проектирования и строительства ЦОДа. Первая, которая на сегодняшний день считается традиционной, предусматривает разработку консультантом технического задания (ТЗ) на проектирование, сдачу его заказчику, который, в свою очередь, передает ТЗ выбранному генеральному подрядчику, после чего генподрядчик выбирает генерального проектировщика и управляет всем процессом создания ЦОДа, от проектирования до построения. Плохо в этой схеме то, что генподрядчик получает слишком много полномочий и может воспользоваться ими в ущерб интересам заказчика. 

Вторая схема с теми же участниками предполагает выбор заказчиком и генпроектировщика и генподрядчика и активное участие заказчика во всем процессе, в частности, в получении правоустанавливающих документов и исходно-разрешительной документации. Схема всем хороша, но требует от заказчика достаточно глубоких знаний в области проектирования и строительства дата-центров и возлагает на него массу хлопот, не говоря уж об ответственности за соблюдение сроков и бюджета проекта. Если же глубокие знания и опыт заказчику еще только предстоит получить, то, по мнению Е. Ломова, лучше работать по третьей схеме, в которой реализуется гибрид технического заказчика и генпроектировщика. В этой схеме нет генподрядчика, а есть подрядчики для разных этапов работ, которых выбирает сам заказчик; контролирует же весь процесс управляющая компания, выступающая в роли технического заказчика. Такая схема позволяет заказчику избежать лишних затрат и страхует от попыток подрядчиков сократить свои издержки в ущерб заказчику, используя более дешевые, а значит, менее надежные решения. 

О необходимости ввести в процесс проектирования и строительства ЦОДа технического заказчика говорит и технический директор центра инженерных систем IBS Константин Зиновьев. Технический заказчик должен обладать достаточными компетенциями, чтобы выступать в качестве «переводчика» с технического языка на финансовый и обратно между инвестором, заказчиком и проектировщиком. Тогда он сможет избавить заказчика от общения с многочисленными подразделениями проектировщика, с техническими специалистами поставщиков оборудования и с внешней экспертизой, что не только ускорит принятие и технических, и финансовых решений, влияющих на скорость проектирования и строительства, но и повысит качество проектирования. Технический заказчик должен стать координирующим центром всех работ по проекту, сохраняющим нужный баланс между всеми участниками. В частности, он не позволит строителям перетянуть одеяло на себя, поскольку на стоимость строительства с подводом коммуникаций в общем бюджете, включающем расходы на создание ЦОДа и стоимость владения им в течение 10 лет, придется около 10%. В идеале участие грамотного технического заказчика позволяет сэкономить на оптимизации проектных решений до 30% от капитальных затрат на строительство дата-центра при сохранении высокого качества общего решения. Причем, по подсчетам IBS, для дата-центра с 300 стойками средней мощностью 7 кВт от выбора первоначальных проектных решений (и значит, от проектной команды) зависит более 80% общей стоимости владения ЦОДом в течение 10 лет. 

Примерно такой ЦОД (на 300 стоек) для размещения вычислительных ресурсов правительства Москвы строила для ОАО «Электронная Москва» компания R-Style. Оказание электронных услуг населению требует бесперебойной работы информационных систем и, следовательно, надежной серверной и инженерной инфраструктуры. И при этом, как отметил директор департамента инженерных систем и телекоммуникаций R-Style Вячеслав Тихонов, государственный заказчик, который наконец-то начал считать деньги, требует оптимизации издержек на размещение оборудования и его эксплуатацию. Характеристики ЦОДа, заявленные заказчиком, соответствуют довольно крупному по российским меркам проекту: общее энергопотребление 5–7 МВт, 200–300 серверных шкафов с тепловыделением от 5 до 15 кВт с возможностью организации в машинном зале высоконагруженных зон, надежность уровня Tier III, масштабируемость и этапность строительства (потому что у госзаказчика бюджеты часто планируются только на год вперед). Для пущей безопасности объекта подбирали отдельно стоящее здание. Кроме того, от здания требовалось расположение в границах Москвы (чтобы использовать административный ресурс для решения разных вопросов), достаточность энергетических мощностей (получение такого количества электричества даже с административным ресурсом – дело долгое и непростое), возможность реконструкции и наличие собственника, готового вкладываться в эту реконструкцию. 

При выборе технологических решений для инженерной инфраструктуры создатели не слишком ориентировались на коэффициент энергоэффективности PUE, а ставили во главу угла низкие затраты на эксплуатацию, но при этом обращали внимание на экологичность, поскольку для правительства Москвы этот ЦОД должен выполнять еще и имиджевые функции. Так что в итоге в дата-центре были установлены динамические роторные ИБП, чиллеры с фрикулингом и рядные доводчики в закрытых холодных коридорах. Несмотря на то что первый этап строительства с заменой перекрытий, установкой всей инженерной инфраструктуры и оборудованием первого машинного зала на 40 стоек занял всего 9 месяцев, главной ошибкой создатели ЦОДа считают принятое решение реконструировать существующее здание, а не строить новое. 

Модульность и мобильность  

Совсем другая задача стояла перед компанией «Аэрофлот», которая решила построить свой резервный ЦОД. Как рассказал начальник отдела серверных комплексов департамента вычислительной инфраструктуры и телекоммуникаций «Аэрофлота» Алексей Быстров, коммерческого дата-центра с нужными характеристиками и гарантией последующего масштабирования арендованных стоек найти не удалось, поэтому поначалу решили разместиться в одном из собственных зданий. Однако оценка предстоящей модернизации помещения и реконструкции имеющихся инженерных систем показала, что это будет слишком долго и дорого, после чего возникла идея использования модульного ЦОДа. Для ее реализации в качестве подрядчика привлекли компанию «Техноcерв», которая имеет опыт подобных проектов и несколько разработанных законченных решений для модульных дата-центров. 

По словам главного специалиста отдела инженерных решений «Техноcерв» Александра Переведенцева, модулем в данном случае является комплект из серверного блока, в который устанавливается активное оборудование, и инженерного блока, обеспечивающего жизнедеятельность этого оборудования. В проекте для «Аэрофлота» на площадке размером 25Ч30 м был построен двухэтажный комплекс, состоящий из четырех серверных блоков общей емкостью 56 стоек по 10 кВт каждая, четырех инженерных блоков, блока гарантированного электроснабжения, складского и диспетчерского блоков. Причем на возведение и запуск в эксплуатацию этого более чем полумегаваттного ЦОДа понадобилось всего 5,5 месяцев. 

Но скорость возведения не единственное достоинство модульных дата-центров (а также их ближайших «родственников» – контейнерных ЦОДов). Они хороши еще и тем, что их сборка (или как минимум сборка составляющих их блоков) производится на заводе из стандартных конструкций, с соответствующим контролем качества, тестированием и отладкой, что, в свою очередь, сокращает время запуска ЦОДа в эксплуатацию на площадке заказчика. Модульные и контейнерные дата-центры компании Cannon недавно начала продвигать на российский рынок компания «Телеком-Монтаж». Они тоже разрабатываются по индивидуальным проектам, но на базе опробованных и протестированных серийных решений. Как отметил заместитель генерального директора «Телеком-Монтаж» Михаил Саликов, размеры такого модульного ЦОДа могут, в зависимости от потребностей заказчика, варьироваться в очень широких пределах – от 10 до 1000 кв. м, причем его конструкция предусматривает возможность расширения без остановки дата-центра, быструю разборку, переезд и сборку на новом месте. Поддерживается также функция удаленного мониторинга и управления работой ЦОДа. Поскольку устанавливается он на улице, то нет необходимости выделять место для инженерного и ИТ-оборудования внутри зданий, тратиться на переконфигурацию и отделку помещения, а также на согласование всех этих работ в разных инстанциях. Производитель также гарантирует низкие эксплуатационные расходы, устойчивость к взлому, защиту от проникновения воды и пыли. О качестве исполнения изделий от Cannon говорит хотя бы то, что их крупными заказчиками являются структуры НАТО и министерство обороны Великобритании. 

Продолжает совершенствовать мобильные ЦОДы и российская компания TeleCore. В ее портфеле уже есть несколько типовых моделей мобильных дата-центров, построенных на базе стандартных 20- и 40-футовых контейнеров, в которых размещается от 5 до 10 стоек мощностью до 10 кВт на стойку. При этом каждый поставленный ЦОД «затачивался» под требования заказчиков по количеству серверных стоек, уровню резервирования инженерных систем и общей подводимой мощности. Последняя разработка TeleCore – мобильный дата-центр мощностью 110 кВт: в 40-футовом контейнере размещены 11 серверных стоек с энергопотреблением 10 кВт каждая. Для охлаждения в этом ЦОДе используются моноблочные прецизионные кондиционеры с режимом фрикулинга общей мощностью 116 кВт, которые вынесены на внешнюю стенку контейнера (по желанию заказчика кондиционеры могут комплектоваться пароувлажнителями). Мощность установленных ИБП составляет 160 кВт, уровень резервирования систем ИБП и кондиционирования – N+1. По словам коммерческого директора TeleCore Антона Лабышкина, пока 110 кВт – это максимальная полезная мощность для контейнеров таких габаритов, нарастить ее не позволяют параметры имеющихся на рынке кондиционеров, так что заказчику, которому требуется более мощное решение, придется увеличить количество контейнеров. Общий недостаток модульных ЦОДов по сравнению с традиционными стационарными – более высокая цена в расчете на одну серверную стойку, но зато их можно намного быстрее начать эксплуатировать. Например, ЦОД от TeleCore можно запустить в эксплуатацию на площадке заказчика уже через 4 месяца с момента начала проектирования, а при необходимости – без особых проблем перевезти на другое место. И таких ЦОДов в контейнерах разных размеров и разной комплектации стоит по стране уже больше 40 штук. 

Переезды и катастрофы  

Еще один немаловажный вид проектирования и строительства – проектирование переезда ЦОДа. В случае дата-центров это обычно означает не просто перевозку «мебели» в виде стоек с оборудованием, а переезд с минимальным прерыванием бизнес-процессов. Именно такой переезд пришлось пережить ЦОДу «Русславбанка». Как рассказал заместитель начальника управления информационно-технического обеспечения банка Алексей Бунто, при подготовке переезда офиса банка из одного здания в другое для дата-центра рассматривалось два варианта: создание серверной комнаты на новом месте и аренда коммерческого ЦОДа. Однако оказалось, что на серверное помещение в новом здании офиса могли выделить только 15 кВт электроэнергии, т.е. его пришлось бы строить отдельно, что означало последующие затраты на обслуживание и проблемы с расширением через несколько лет. Поэтому был выбран вариант размещения ИТ-инфраструктуры в коммерческом дата-центре и разработан план миграции без остановки критических бизнес-процессов и с минимальным простоем остальных сервисов. Для организации переезда специально были куплены блейд-система, СХД, ленточная библиотека, сетевое оборудование и необходимое ПО, арендованы два гигабитных канала. Все это позволило, не трогаясь с места, перенести в коммерческий ЦОД все виртуальные машины и более 20 Тбайт данных. И лишь после перевода на новое место основных бизнес-приложений были проведены демонтаж, перевозка, установка в стойки и подключение к сети оставшегося оборудования. 

Кроме того, в последнее время все больше компаний берутся за выполнение сходных с переездом операций при создании катастрофоустойчивых распределенных дата-центров – которые способны продолжать работу в ситуациях массового выхода оборудования из строя. Построение таких дата-центров при любой их конфигурации – дело очень недешевое, поэтому, как отмечает директор департамента главных инженеров проекта ГК «Компьюлинк» Руслан Усов, для реализации подобного проекта необходимо объяснить заказчику необходимость и экономическую обоснованность функционала катастрофоустойчивости в терминах непрерывности бизнеса. Создавая такой ЦОД, нужно понимать, что он должен поддерживать жизненный цикл управления непрерывностью, который состоит в периодическом повторении четырех ключевых процессов – подготовка к катастрофе, реагирование на нее, восстановление и совершенствование бизнес-процедур, направленных на обеспечение непрерывности бизнеса. При этом нужно найти баланс между затратами на поддержание катастрофоустойчивости и потерями бизнеса в случае катастрофы с учетом времени полного восстановления всех бизнес-процессов. В принципе ИТ-отрасль уже имеет весь инструментарий для построения катастрофоустойчивых систем с использованием технологий консолидации и виртуализации вычислительных ресурсов, кластерных систем, технологий удаленной репликации и непрерывной защиты данных, и заказчик может построить катастрофоустойчивый ЦОД либо самостоятельно на собственной ИТ-архитектуре, либо с использованием площадок коммерческих дата-центров и услуг облачных провайдеров.

* * * 

По подсчетам аналитиков, российский рынок коммерческих дата-центров – один из самых быстрорастущих сегментов ИТ-рынка. По данным iKS-Consulting, в 2013 г. его объем увеличился на 28% и составил 9,1 млрд руб. Этот рынок тянет за собой и рынок проектирования и строительства дата-центров: в 2013 г. введено в строй 12 крупных и средних коммерческих площадок общей площадью машинных залов 5100 кв. м, а в 2014 г. ожидается сдача в эксплуатацию еще 10,5 тыс. кв. м. По площадям крупных ЦОДов нам пока далеко до мирового уровня, но радует, что рынок хорошо растет и на нем есть место и для «больших», и для «маленьких» – что и продемонстрировали участники конференции «ЦОД-2013».