Инновации в охлаждении ЦОДа: PUE 1,1 — не предел

20 августа 2018 г. | Бахлыков Александр Сергеевич | Категория: Круглый стол

Майнинг криптовалют ввиду особенностей технологии требует особого подхода не только к ИТ-системе, но и к инженерным решениям дата-центра, в котором они размещены. Энергоэффективность выходит здесь на первое место. Компания Icon Group разработала инновационную комплексную инфраструктуру для майнинг-ЦОДов, которая может найти применение и во многих других отраслях бизнеса за пределами криптовалютной сферы.

Прибыльность майнинга в значительной степени зависит от затрат на электроэнергию, которая необходима для питания майнеров, выполняющих операции по определенному алгоритму. Пограничная ситуация складывается, когда добытые криптовалюты не стоят затраченной на их добычу электроэнергии или дают весьма незначительный доход, который не окупает инвестиции в майнинг. Верхние ограничители («числитель») прибыльности майнинга — рыночная стоимость добываемой криптовалюты. Нижние ограничители («знаменатель») — расход на электроэнергию и обслуживание оборудования, а также сложность сети. И описанный далее проект нацелен на оптимизацию «знаменателя», а точнее, на энергоэффективность ЦОДа для майнинга. Также интерес представляет сравнение с показателями традиционных дата-центров, в которых энергоэффективность напрямую зависит от затрат на охлаждение.

PUE 1,03? Вполне реально!

По данным Американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха ASHRAE (American Society of Heating, Refrigerating and Air-Conditioning Engineers), на традиционные системы охлаждения в среднем приходится 38 % потребляемой электроэнергии, причем 30 % из них расходуют компрессоры. Следовательно, для снижения затрат на электроэнергию нужно либо сократить число охладительных компрессоров, либо избавиться от них вообще. Полностью бескомпрессорную систему охлаждения для ЦОДа можно организовать на основе роторного теплообменника «воздух — воздух» с установкой секции адиабатического охлаждения либо без нее.

Данные тестирования, проведенного компанией Dell, показали, что специальные модели серверов этого производителя могут работать длительное время (до 12 тыс. часов) при температуре воздуха до +40 °С и влажности до 85 %. При этом число отказов лишь незначительно превышает показатель выхода оборудования из строя при температуре воздуха +22 °С и влажности 50 %. Упомянутые 12 тыс. часов соответствуют примерно семи годам эксплуатации в условиях естественного охлаждения (фрикулинга). За такой срок серверное оборудование в любом случае потребует замены по причине устаревания технологий, а если говорить про криптовалюты, то инвестиции в майнинговые фермы без компрессоров могут окупиться многократно.

Но возникает вполне естественный вопрос: разве повышение надежности и снижение количества отказов не основная задача инженерных систем дата-центра? Ответ — в оценке отказоустойчивости сервисов, работающих на серверах. Майнинг — задача весьма специфическая: среднегодовой простой до 5 % процессорного времени не является чем-то критичным, так как стоит задача окупить вложения в оборудование за срок от полугода до года. При такой рентабельности и сильной волатильности курсов криптовалют 5 % в год считается очень незначительной погрешностью.

Конечно, при таком уровне простоя криптоинвестор недополучит немного прибыли, но величина потерь не столь критична, чтобы это стало причиной выделения дополнительных средств на дорогостоящие системы резервирования и охлаждения майнинговых ферм. Ведь такие дополнительные затраты увеличивают условный «знаменатель» в среднем на треть. Если рассматривать задачу построения специализированного ЦОДа сугубо для задач майнинга, то можно и нужно пожертвовать показателем отказоустойчивости, получив в виде компенсации высокую энергоэффективность — PUE в диапазоне 1,1–1,05.
Есть и другие задачи, помимо майнинга, для которых относительно небольшой простой в работе серверов не является критичным, и о них мы скажем немного позже. Все вышеприведенные ограничения и сделанные выводы послужили в качестве вводных данных при разработке проекта специализированного ЦОДа, ориентированного на задачи майнинга, который был разработан компанией Icon Group (www.icon-group.ru). Партнером данного проекта стала компания Bitcluster — один из лидеров рынка в области предоставления услуг по размещению и хостингу майнингового оборудования в России.

Постановка задачи

Основное требование к ЦОДу для майнинга продиктовано финансовой моделью процесса: минимальные капитальные затраты и максимально простая конструкция при соблюдении заданных температурных параметров. Показатели внутри сервера не должны быть больше +38 °C. Если данный параметр будет превышен, вычислительный узел автоматически отключится. Для задач майнинга на рынке предлагаются специализированные решения на базе мобильных 40-футовых ISO-контейнеров, но ввиду ограниченного пространства фрикулинг в данном объеме становится неэффективным при высоких температурах на улице. Поэтому было принято решение разработать собственную геометрию корпуса ЦОДа для максимальной эффективности работы системы охлаждения.

Майнинг-ЦОД, разработанный в Icon Group, рассчитан на 648 серверов GPU суммарной мощностью 940 кВт. Общее потребление вместе с инженерной системой ЦОДа — около 1 МВт. Следовательно, PUE такого ЦОДа в расчетных показателях составляет около 1,03, что для инженерных систем дата-центра является беспрецедентно низким, можно даже сказать, фантастически низким показателем!

Выбор инженерного решения

Если расположить требования к майнинг-ЦОДу по степени важности, то список получится примерно следующим:

1. Простота конструкции (снижение капитальных затрат).
2. Повышение энергоэффективности (снижение операционных затрат на охлаждение) до уровня PUE = 1,03.
3. Уровень среднегодового простоя серверов — не более 3 % процессорного времени.

Простота конструкции и некритичный показатель среднегодового простоя побуждает отказаться от использования как ИБП, так и кондиционеров.

Для достижения уровня энергоэффективности майнинг-ЦОДа была выбрана схема фрикулинга с адиабатическим охлаждением (испарителем) как наиболее сбалансированный вариант между требованиями по сокращению затрат на добычу криптовалют и стабильной работой ЦОДа при внешних температурах до +38  °C.

Для того чтобы воздух проходил ламинарным потоком через стойки с оборудованием, было решено на одной стороне контейнера ЦОДа расположить вдоль стоек с серверами вентиляционные решетки, оснащенные фильтрами, а на другой — вытяжные вентиляторы.

Такая конструкция контейнера является максимально простой и вместе с тем обеспечивающей самое эффективное охлаждение наружным воздухом.

Такая конструкция особенно эффективна в летнее время с высокой среднесуточной температурой воздуха. Верхний предел был выбран на уровне +38 °C, поскольку, по данным метеорологов, выше этого значения в средней полосе России температура практически никогда не поднимается. В летний период, когда наружный воздух прогревается выше +26 °C, вступает в работу система адиабатического охлаждения с камерой орошения. При этом в холодном коридоре ЦОДа температура не должна подниматься выше +33 °C.

Когда наружная температура опускается ниже +8 °C, начинают работать вентиляторы подмеса теплого воздуха, которые отводят часть нагретого в серверах воздуха из горячего коридора ЦОДа и направляют его в холодный. Таким образом, в холодном коридоре температура не падает ниже +8 °C, и никаких дополнительных нагревателей не требуется. Как выглядит контейнер ЦОДа вместе с адиабатической камерой, можно увидеть на рисунке.

Для фильтрации наружного воздуха использованы кассетные фильтры с наполнителем из фильтрующей ткани класса G4, которые обеспечивают качественное улавливание уличной пыли. Для отвода конденсата влаги со стороны камеры адиабатики установлены каплеуловители.

Основная сложность состояла в оптимальном выборе мощности вытяжных вентиляторов, учитывая сопротивление кассетных фильтров, а также в расчете ламинарных потоков воздуха в различных режимах работы модуля при высокой скорости воздухообмена с камерой адиабатики. В летнее время воздух в дата-центре полностью обновляется раз в две секунды. Однако при проектировании ЦОДа все же удалось найти компромисс и получить, согласно инженерным расчетам, оптимизированную систему, которая:

• не расходует чрезмерного количества электроэнергии;
• не предъявляет завышенных требований к качеству воды для адиабатического охлаждения;
• позволяет достичь оптимального температурного режима работы серверов, при котором потери процессорного времени остаются существенно ниже 3 %;
• удобна в регулярном инженерном обслуживании.

Точные данные об этих параметрах станут известны после запуска инженерной системы ЦОДа и ее «полевых» испытаний. Они будут представлены в последующих публикациях.

Только ли майнинг?

Основная и ближайшая цель данного проекта — создание ЦОДа для майнинга криптовалют. Из-за жестких ограничений, продиктованных финансовой моделью проекта, появляется настоящая прорывная инновация — продукт с радикально измененными характеристиками, но решающий, по сути, ту же задачу: обеспечение бесперебойной работы серверов.
Если разобраться, ЦОД с подобными характеристиками можно использовать и для решения других задач, где кратковременная остановка сервиса не является критичной, но в то же время такое размещение серверов будет с лихвой окупаться низкими капитальными затратами и пониженными расходами на обслуживание.

Например, в операторских сетях сейчас активно обсуждается (и уже реализуется) концепция вычислений для многорежимного доступа на границе сети МЕС (Multi-access Edge Computing), что является частью общей тенденции перевода операторских сетей на вычислительные платформы ЦОДов. Основой МЕС является множество небольших дата-центров, расположенных на границе сети и работающих в режиме взаимного резервирования. До последнего времени основной частью базовых станций для мобильных сетей был BBU (Base Band Unit) — базовый блок. Это предъявляло к конструкции базовой станции очень высокие требования, том числе и к климатической системе вычислительного модуля.

Однако при виртуализации сетевых функций, в направлении которой сейчас идут практически все операторы связи (во всяком случае те, которые смотрят в будущее), BBU будут реализовываться на базе микроЦОДов МЕС в виде программных сетевых функций. И таких микроЦОДов скоро потребуется очень и очень много. К ним также не будут предъявляться высокие требования по отказоустойчивости, поскольку работать они будут по принципу взаимного резервирования, который был абсолютно невозможен при реализации BBU внутри самих базовых станций.

Есть и другое перспективное применение для таких простых, неприхотливых и энергоэффективных ЦОДов. Это Fog Computing — только зарождающаяся технология/концепция так называемых туманных вычислений. Идея МЕС тесно с ней связана, и можно сказать, что это подсистема Fog Computing. Сети «туманных вычислений» предусматривают множество взаимосвязанных и взаиморезервирующих вычислительных узлов.

Fog-системы предназначены в основном для приложений и услуг, которые либо плохо работают в архитектуре централизованного облака, либо вообще не могут в ней функционировать. В большинстве своем это область интернета вещей (IoT). Развитие IoT столкнулось с необходимостью фильтрации и предварительной обработки больших объемов данных, получаемых с огромного числа разнообразных сенсоров и датчиков, перед отправкой в центральное облако. Такую обработку можно производить в рассмотренных нами майнинг-ЦОДах, которые скоро в большом количестве должны появиться на пограничных участках сетей различных операторов.

Итак, резюме. Наиболее перспективными областями применения майнинг-ЦОДа являются такие направления:

1. Обработка операций с распределенным реестром (майнинг).
2. Создание инфраструктуры граничной операторской сети MEC.
3. Создание инфраструктуры для интернета вещей.
4. Распределенные операции для среды «туманных вычислений» Fog-computing.
5. Другие перспективные применения, требующие использования географически распределенных вычислительных сред, например инфраструктуры для «умных городов», интеллектуальных транспортных систем ИТС и пр.

Таким образом, майнинг-ЦОД, создаваемый в компании Icon Group, имеет отличные перспективы на рынке. Он обеспечивает высочайшую энергоэффективность с показателем PUE до 1,03, очень надежен, неприхотлив в работе и может быть развернут за несколько недель, а не месяцев, как в случае с традиционным дата-центром.

Авторы:

Александр БАХЛЫКОВ, главный инженер проекта Icon Group	Алексей ШАЛАГИНОВ, эксперт по ИТ и телекоммуникациям портала Shalaginov.com

Теги: Icon Group, PUE