Нормативная документация

Модульный ЦОД — сделано в России!

01 февраля 2016 г. | Категория: Модульный ЦОД (МЦОД)

Модульные дата-центры — относительно новая сфера деятельности для российских интеграторов. Даже на мировом рынке такие системы появились относительно недавно. Но в РФ уже есть компании, которые разрабатывают, производят и устанавливают их самостоятельно, используя при этом значительную часть компонентов, произведенных внутри страны.

Российских производителей на рынке модульных ЦОД пока немного, но они достаточно активны. Cразу отметим, что в данной статье речь будет идти именно о модульных системах в истинном смысле этого слова — то есть о комплексах, формируемых из отдельных, блоков, каждый из которых сам по себе не является законченным решением. Модульный ЦОД (далее МЦОД) формируется из трех основных типов блоков — электрического, механического и серверного. В первом типе размещаются ИБП, АКБ, иногда ДГУ, во втором — система охлаждения, в третьем — серверные шкафы или стойки со всей необходимой инфраструктурой для установки и подключения ИТ-оборудования. Особенность такого подхода состоит в том, что упомянутые блоки могут быть установлены в любой разумной комбинации и требуемом количестве, что позволяет формировать необходимые конфигурации дата-центра по принципу конструктора. В англоязычных странах подобные системы получили название Pre-fabricated Data Сenters.

При этом не следует отождествлять МЦОД с контейнерными ЦОД (КЦОД), которые мы рассмотрим в другой статье. Последние представляют собой самостоятельное решение, объединяющее все необходимые для работы инженерные подсистемы (электропитание, кондиционеры, стойки и т.д.) в общем корпусе-контейнере. Производителей КЦОД в России также немного, но, все же, немного больше, чем тех, кто разрабатывает и поставляет под своей торговой маркой модульные дата-центры.

Ведущие позиции на российском рынке решений для инженерной инфраструктуры ЦОД традиционно занимают западные компании. В последние пару лет к ним прибавилась еще и китайская Huawei, которая сегодня очень агрессивно захватывает рынок. Но, в сегменте МЦОД (Pre-fabricated DC) работают всего несколько международных брендов это — Schneider Electric, Emerson Network Power и Huawei; тем не менее, спрос на подобные решения в России растет, как и требования к повышению доли отечественной составляющей. В феврале 2015 года на российском рынке появился еще один зарубежный бренд производителя МЦОД – немецкой компании Contain-RZ GmbH, модульные решения которой использовали специалисты «Инфосистемы Джет» при строительстве ЦОДа для группы «Черкизово».

Российские разработчики МЦОД, если судить по реализованным проектам, представлены тремя компаниями: «Техносерв», «Утилекс» и GreenMDC. Также модульный принцип для создания собственных коммерческих ЦОД использует оператор Stack.Net. Еще один разработчик — компания «4х4», имея широкий модельный ряд контейнерных дата-центров, предлагает также и модульную систему, правда, о ее реализациях ничего неизвестно.

Если рынок модульных ЦОД будет развиваться, то их, очевидно, станет больше, поскольку в данном случае вопрос лежит скорее не в сфере инженерных компетенций, а в области поиска соответствующих заказчиков. Итак, что же предлагается сегодня российские разработчики?

«Техносерв» «ИТ Экипаж»

Компания «Техносерв» вышла на рынок модульных ЦОД немногим более двух лет назад. Заявление о наличии подобных решений в номенклатуре производителя было сделано весной 2013 года. Разработка получила название «ИТ Экипаж». Концептуально система состоит из двух модулей — инженерного и серверного, каждый из которых представляет собой отдельный контейнер. В первом находятся ИБП, АКБ, электрощитовое оборудование, системы холодоснабжения. Во втором размещаются стойки для оборудования, которых может быть установлено до 14 (при установке межрядных кондиционеров) или до 17-18 (в варианте подачи охлажденного воздуха из-под фальшпола).

Максимальная ИТ-нагрузка для серверного блока может составлять 180 кВт (хотя, на сайте есть информация и о 160 кВт и 170 кВт для одной и той же модели, очевидно, идея эволюционировала со временем). В номенклатуре компании предлагается две различные модификации комплекса «ИТ Экипаж», которые отличаются типом системы охлаждения — она может быть воздушной (фреоновой) или на чиллерной воде. В остальном решения идентичны. При этом очевидно, что отвести тепло в количестве 180 кВт или 10 кВт на стойку, в данном случае может только водяная система, вместе с тем холодопроизводительность фреоновых кондиционеров не приводится (рис. 1).

Рис. 1. Визуализация комплекса «Техносерв» «ИТ Экипаж»: ИТ-модуль размещен на крыше инженерного блока

Особенность решения состоит в том, что один инженерный модуль рассчитан на обслуживание одного серверного модуля, поэтому устанавливаться они должны парами — бок о бок, либо один на другой. При этом однотипные модули — как инженерные, так и серверные, ― имеют возможность стыковки для создания единого технологического помещения необходимого размера. Модульный ЦОД из нескольких пар блоков может дополняться и другими помещениями — складским, административным, бытовыми и т.д.

Конструкция инженерного блока подразумевает наличие трех отсеков, разделенных перегородками. Два из отсеков ― внутренние, предназначены для размещения, соответственно, электрического и холодильного оборудования (в частности, чиллеров). В третьем, внешнем отсеке, устанавливается сухая градирня. Все основные инженерные подсистемы резервируются по схеме N+1 или 2N. В серверном блоке есть возможность реализовать охлаждение как с помощью фальшпола, так и путем установки межрядных кондиционеров.

На реализацию проекта МЦОД на базе «ИТ Экипаж», по данным «Техносерв», уходит примерно полгода. К тому же, как сообщают в компании, 40% компонент — местного производства. Правда, какие именно, осталось секретом. Первым (и пока единственным из известных) проектом, в котором использовался комплекс «Техносерв» «ИТ Экипаж», стало построение резервного дата-центра для компании «Аэрофлот» в 2013 году. В данном случае речь идет о модульном комплексе, состоящем из восьми блоков — четырех инженерных и такого же количества серверных, общей емкостью 14 ИТ-стоек. Также комплекс оснащен складским и диспетчерским блоками. Проект был начат в мае 2013 года и завершен примерно за шесть месяцев. Судя по названию, «ИТ Экипаж» был специально разработан под нужды упомянутого заказчика и в дальнейшем решение планировалось тиражировать. Но вот уже более двух лет о новых проектах интегратора в этом направлении ничего не известно.

«Утилекс»: как по NOTAм

Компания «Утилекс» свое семейство модульных ЦОД назвала очень символично — Nota. Мол, также как всего семь нот описывают все разнообразие музыки, так и несколько типовых технологических блоков способны сформировать дата-центр любой конфигурации. Действительно, ЦОДы, созданные в соответствии с концепцией Nota, могут учитывать любы разумные пожелания заказчиков, а размер проекта ограничивается лишь бюджетом да здравым смыслом. По данным компании с помощью Nota можно построить дата-центр, вмещающий до тысячи стоек.

Поскольку такие масштабы вряд ли скоро понадобятся, а многие заказчики имеют схожие задачи, на данном этапе «Утилекс» предлагает несколько типовых конфигураций модульных ЦОД меньшего размера, краткие характеристики которых представлены в таблице. На данный момент имеется шесть базовых моделей, с площадью модуля от 6,2 кв.м до 124,74 кв.м и емкостью от двух до сорока восьми ИТ-шкафов. Решение собирается из стандартных компонентов, которые перевозятся в ISO-контейнерах и монтируются без применения спецтехники. Внешние помещение представляет собой быстровозводимую каркасную конструкцию на базе запатентованной несущей панели, поэтому фундамент не требуется — достаточно лишь подготовить площадку. Следовательно, такой ЦОД не относится к объектам капитального строительства. Допустимая мощность ИТ-нагрузки для типовых решений Nota составляет 7-10 кВт на стойку или 35-480 кВт на весь модуль (рис. 2,3,4).

Рис. 2. МЦОД «Утилекс» Nota: визуализация упаковки 

Рис. 3. МЦОД «Утилекс» Nota: фрагмент процесса монтажа 

Рис. 4. МЦОД «Утилекс» Nota: схема готовой конструкции 

В то же время, при необходимости для любой модели можно оперативно нарастить как площадь помещения, так и мощность инженерных подсистем. При этом, в отличие от КЦОД, где минимальным шагом расширения является, соответственно, контейнер, в случае МЦОД «Утилекс» наращивать возможности комплекса можно по отдельным стойкам. К тому же всегда есть возможность создания кластера дата-центров из любого числа модулей требуемой мощности.

Модули Nota используют значительную часть компонент, произведенных в России. Так, конструкцию помещения, а также кондиционеры Сlever Breeze производит сама компания «Утилекс». Система бесперебойного электроснабжения строится на базе ИБП «Связь Инжиниринг», а работу противопожарной автоматики и системы пожаротушения обеспечивают решения компании «Пожтехника» (в качестве огнетущащего вещества используется Novec 1230). В числе особенностей типовых конструкций Nota стоит отметить также широкий температурный диапазон: комплекс способен нормально работать при показателях термометра «за бортом» от -55^oC до +45^oC. По информации производителя, время изготовления конструкции занимает от десяти до четырнадцати недель.

Однако, несмотря на такой перспективный подход, пока удалось найти информацию лишь о двух проектах, реализованных на основе МЦОД Nota. В первом из них был создан распределенный центр обработки данных на базе двух небольших модульных дата-центров — площадью 12,6 кв.м и 18,9 кв. м. В одном из них разместилось три серверных шкафа, в другом — пять. Расстояние между площадками составило 2,5 км. В качестве инженерной инфраструктуры были использованы решенияAPC by Schneider Electric (шкафы NetShelter, ИБП Symmetra PX, система мониторинга ISX Central), охлаждение обеспечивали прецизионные кондиционеры «Утилекс» Clever Breeze, холодопроизводительностью 28 кВт и 42 кВт. Решение создано в 2013 году для группы «Полюс Золото» на Наталкинском золоторудном месторождении в Магаданской области.

Второй проект был завершен в 2014-м. Здесь также был создан модульный дата-центр Nota, площадью 18,9 кв. м. В качестве инженерных компонент здесь использовались решения APCbySE, а именно — ИБП Symmetra LX мощностью 16 кВА, два межрядных воздушных кондиционера InRow RD холодопроизводительностью около 10 кВт каждый, а также система дистанционного мониторинга StruxureWare Data Center Expert. Заказчиком в данном случае выступила холдинговая компания «Интеррос» (Московская область).

Таблица. Основные технические характеристики типовых конфигураций МЦОД «Утилекс» серии Nota

Два подхода GreenMDC

Решения молодой питерской компании GreenMDC, которая была основана в 2013 году, охватывают целый ряд решений для создания МЦОД. На данный момент в номенклатуре компании два основных семейства — FixedSized MDC и Scalable MDC. Первое включает в себя несколько типовых конфигураций, предназначенных для установки на улице (Outdoor), либо внутри помещений (Indoor) в качестве которых смогут выступать ангары, промышленные здания и т.д. Что касается Scalable MDC, то это решение обладает большей гибкостью и масштабируемостью по сравнению с первым типом систем. Но обо всем по порядку.

Оба типа МЦОД FixedSized MDC (рис. 5,6) — как для наружной, так и для внутренней установки обладают схожими характеристиками с некоторыми особенностями для каждого из вариантов. В обоих случаях размер модуля совпадают по ширине (3,5-7,5 м), длине (10,5-13 м) и высоте (5,5-7 м), что позволяет вместить 12, 16, 24 или 32 стойки с оборудованием.

Рис. 5. МЦОД FixedSized MDC Compact Indoor 24 производства компании GreenMDC: визуализация

Рис. 6. МЦОД FixedSized MDC Compact Indoor 24 производства компании GreenMDC: пример установки на объекте — в компании «Миран»

Что касается основных типов модулей, то в случае FixedSized MDC их два. В первом размещаются шкафы для ИТ-оборудования, кондиционеры, система газового пожаротушения (на основе ГОТВ Хладон 125/227 или Novec 1230), средства мониторинга, сигнализации, видеонаблюдения и т.д. Такие модули могут соединяться между собой парами, образуя общее пространство. Второй тип блока — энергетический, в нем располагаются распределительные щиты, ИБП, аккумуляторы и все, что связано с распределением электропитания. Энергетический модуль может устанавливаться на земле — рядом с ИТ-контейнерами либо на их крыше (такой вариант получает приставку Compact к названию модели). Вариант FixedSized MDC для внешней установки также имеет дополнительный контейнер-помещение, позволяющий организовать изолированную входную группу. Отметим, что все критически важные подсистемы МЦОД зарезервированы, ИБП — по схеме 2N, охлаждение — N+1.

Все модули собираются между собой с помощью болтовых соединений, что обеспечивает быстроту и легкость монтажа. Как указывает разработчик, инсталляция всей конструкции и запуск ее на площадке заказчика занимает не более двух недель.

Кроме рассмотренного решения российский разработчик предлагает также систему Telecom Outdoor. Здесь уже имеется три базовых типа модулей — для ИТ-оборудования (Telecom), систем охлаждения (Cooling) и электрики (Energy), которые позволяют формировать дата-центры практически любого масштаба. Емкость одного ИТ-модуля составляет 16 стоек. Блок Cooling оснащен кондиционерами производства HiRef холодопроизводительностью 20-300 кВт. В энергетическом модуле устанавливаются модульные и моноблочные ИБП, произведенные компанией Delta Electronics, их мощность колеблется в диапазоне 20-600 кВА в зависимости от идеи заказчика. Комбинируя эти три вида блоков, можно создавать комплексы практически любой необходимой конфигурации, а также наращивать их по мере необходимости без остановки работы всего ЦОДа. На данном этапе решение позволяет объединить до двенадцати ИТ-модулей, что составляет 192 стойки.

Изготовление одного контейнера Telecom занимает около десяти недель, монтаж на объекте — не более семи дней. В дальнейших планах компании — разработка модульных помещений (Modular Data Room, MDR), которые представляют собой модули индивидуальной конфигурации, позволяющие не ограничиваться какими-то конкретными технологиями, а выбирать тип решений в зависимости от конкретной, уникальной задачи.

Отдельного внимания заслуживает достаточно новое масштабируемое решение Scalable MDC TelecomOutdoor NGm, информация о котором на сайте GreenMDC появилась достаточно недавно. МЦОД  будет собираться из модулей одинакового размера, позволяя создавать автозал от 2х до 18-ти стоек. Судя по представленной информации, производитель этим решением планирует «убить двух зайцев» - представить решение на малое количество стоек (ранее у GreenMDC были решения только от 12 стоек в линейке FixedSized и от 16 в линейке Scalable MDC) и заинтересовать покупателей возможностью его масштабирования. Решение предусматривает возможность добавления модулей со стойками, кондиционерами и ИБП без вмешательства в работу оборудования, которое уже работает в ранее установленных модулях – на сайте даже представлен алгоритм этой операции.

Конфигурация инженерных систем может быть достаточно разнообразна – заказчику предлагаются на выбор схемы электроснабжения TIER II или III, возможность установки модульных или моноблочных ИБП со схемой резервирования N+1 или 2N. Для охлаждения в TelecomOutdoor NGm используются прецизионные фреоновые кондиционеры или фанкойлы, которые устанавливаются либо у стены МЦОДа, либо между стойками. В последнем случае часть места под стойки уйдет на установку внутренних блоков кондиционеров. Схема резервирования кондиционеров – N+1. Максимальная мощность одной стойки – 40 кВт.

Отметим, что МЦОД GreenMDC продвигают сегодня целый ряд системных интеграторов, в том числе такие известные игроки рынка как «Ай-Теко», «Софтлайн», «КРОК». Также есть партнеры в Казахстане — «Логиком» и «Веритек Казахстан», в Узбекистане — «Jet Infosystems» и Эстонии — «Astrec Data».

Что касается реализованных проектов, то, пока что есть информация только об одном внедрении, в рамках которого оператор услуг collocation — компания «Миран» (Санкт-Петербург) установила в своем дата-центре систему GreenMDC Compact Indoor 24 — решение, состоящее из двух ИТ-контейнеров общей емкостью 24 стойки с размещением энергетического модуля на их крыше. Проект был реализован два года назад — в декабре 2013-го.

Отдельная номинация

В контексте российских МЦОД также стоит упомянуть компанию «4х4» которая наряду с тем, что предлагает целый ряд контейнерных дата-центров, разработала также и концепцию модульного решения. Комплекс представляет собой четыре 40-футовых контейнера, соединенных попарно — два для ИТ-оборудования и столько же для размещения обслуживающих подсистем (ИБП, кондиционеров, ГРЩ и т.д.). Все четыре блока устанавливаются рядом — в один ярус и объединяются общим изолированным модулем входной группы (рис. 7).

Рис. 7. Схема МЦОД предлагаемого компанией «4х4»

Площадь основы МЦОД составляет 168 кв. м (12х14 м). Внутри комплекса можно разместить двадцать стоек: 16 из них рассчитаны на 10 кВт ИТ-наргузки и еще четыре — на 22 кВт каждая. Общая полезная мощность такого МЦОД составляет 260 кВт. Для повышения эффективности системы охлаждения используется метод изоляции холодных коридоров. В качестве элементов инженерной инфраструктуры используются решения Emerson, Schneider Electric (APC), Rittal, Stulz. Что касается проектов, реализованных компанией «4х4» на базе МЦОД собственной разработки, то информация о них отсутствует (в то же время интегратор внедрил немало контейнерных решений).

Так же нельзя обойти вниманием российского оператора услуг collocation (и других аутсорсинговых ИТ-сервисов) Stack.Net. В 2011 году компанией запатентована концепция создания модульного ЦОД, которая получила название Stack.КУБ. На ее основе оператор, как указано на его сайте, построил два собственных дата-центра — в Казани и Санкт-Петербурге. Оба проекта датированы 2014 годом. Особенность подхода Stack.КУБ состоит в комбинации трех типов модулей. В первом размещаются стойки для ИТ-оборудования. Во втором — система охлаждения на базе концепции «Киото-кулинг», а в третьем — модуль гарантированного электропитания, использующий дизель-роторный ИБП. Комбинация трех этих типовых блоков позволяет создавать достаточно гибкие и отказоустойчивые конфигурации дата-центров. Проектная емкость ЦОДа в Казани составляет 376 стоек, в СПб (дата-центр SDN) — 1476. При этом планируется их поэтапное введение в эксплуатацию, которое будет осуществляться по мере заполнения комплексов клиентским оборудованием.

Двигатель рынка мясной продукции

ЦОД для группы «Черкизово»,  одного из лидеров рынка мясной продукции и крупнейшего в стране производителя комбикормов, ― объект стратегический. Для строительства ЦОДа была выделена открытая площадка на дворовой территории Черкизовского мясоперерабатывающего завода, расположенного в Москве. Такой подход обусловил выбор в пользу модульной конструкции дата-центра. Проект выполняла компания «Инфосистемы Джет» на основе модульных решений Contain-RZ. Специалисты «Инфосистемы Джет» разработали проектную документацию, в соответствии с которой была кастомизирована инфраструктурная конфигурация модульных контейнеров Contain-RZ с учетом потребностей Группы «Черкизово» по производительности и надежности.

ЦОД занимает площадь около 200 кв. м и состоит из трех модулей; в двух установлены 32 стойки (каждая рассчитана на 10-киловаттную нагрузку), а еще в одном — источники бесперебойного питания, аккумуляторные батареи, баллоны системы газового пожаротушения. ИБП способны обеспечить автономную работу приложений в течение 15 минут. В фальшпол модулей встроены панели водяного охлаждения HydroLogic, которые работают совместно с размещенными над модулями холодильными установками. Размещение системы охлаждения в зоне фальшпола позволяет, по утверждению производителя, почти на 30% увеличить полезное пространство центра. Модульная структура позволила обеспечить полноценный запуск дата-центра в течение 10 месяцев.

Направление модульных дата-центров еще относительно новое для российских компаний. Первым проектам всего около двух лет. Тем не менее, судя по номенклатуре предлагаемых решений, разработчики и производители настроены вполне серьезно. Формируется партнерская экосистема, да и заказчик все чаще интересуется решениями такого рода. Возможно, курс взятый на импортозамещение, а также растущая потребность в дата-центрах позволит сформировать для российских производителей МЦОД емкую нишу на местном ИТ-рынке.

Игорь КИРИЛЛОВ

Теги: «Техносерв», МЦОД «Утилекс» Nota, GreenMDC, МЦОД FixedSized MDC Compact Indoor 24