Иммерсионное жидкостное охлаждение для ультра-плотных ЦОДов

22 декабря 2014 г. | Стивен Бигалоу | Категория: Обсуждаем статью

Охлаждение методом прямого погружения помогает поддерживать нужную температуру для серверов и прокладывает путь для следующего поколения ультра-плотных систем. Не воздух и не вода, а масло – будущее ЦОДов. Размещение серверов в ЦОДах становится более плотным и приводит к увеличению  температуры в стойках.

Погружение в жидкий хладагент может заменить традиционные методы воздушного охлаждения для дата-центров и больших серверов с высокой плотностью.

Для современных серверов требуется множество вентиляторов, чтобы направлять большие потоки воздуха в сторону горячих компонентов по тщательно выверенным коридорам в каждом корпусе. Но вентиляция наращивает энергопотребление системы и значительно увеличивает шумы, а также риски.

Из-за отказов вентиляторов на объекте могут возникнуть проблемы. Создатели современной конструкции процессоров работают над тем, чтобы снизить энергопотребление и выделяемое тепло, но становится ясно, что традиционные системы охлаждения воздуха ограничивают потенциальную плотность процессоров и систем.

Конструкторы надеются преодолеть ограничения воздушного охлаждения, предлагая погрузить оборудование серверов или других систем непосредственно в жидкость.

Непосредственное охлаждение методом погружения − новая технология, способная произвести революцию в отрасли дата-центров, но эта она требует компромиссов. Необходимо рассмотреть внимательнее все «за» и «против», возможную пользу и требования, необходимые для ее поддержки.

Один большой радиатор

Жидкость – отличная охлаждающая среда, потому что она гораздо плотнее воздуха, а плотные носители в целом облегчают изменения тепловой энергии. Циркулирующая в дата-центрах чиллерная вода была одним из основных хладоносителей в теплообменниках на протяжении долгого времени.

Но воду и электричество нельзя смешивать. Вода проводит электрический ток и вызывает коррозию. Нарушения в водяном контуре может иметь разрушительные последствия для систем и сооружений. Эти доводы тормозят развитие водного охлаждения в дата-центрах большинства провайдеров.

«У нас уже был ряд эпизодов, связанных с водным охлаждением и имевших последствия для сервиса, − признался Тим Нобл, ИТ-директор и член консультативного совета от ReachIPS Inc., провайдера облачных и ИТ-услуг, из города Купертино (штат Калифорния). − Удаление жидкости из рабочего пространства предотвращает риски, связанные с затоплением или утечкой».

Новый метод заключается в выборе других жидкостей для системы охлаждения. Обычная вода заменяется на другое вещество, непроводящее ток и неагрессивное к покрытиям, например, минеральное масло или различные смеси (такие, как продукт 3М компании Novec или GreenDEF компании Green Revolution Cooling).

Выбранный состав позволяет напрямую погрузить горячие компоненты (или всю систему целиком) для более эффективного охлаждения без повреждения компонентов или изменения электромагнитных характеристик чувствительных электронных схем.

Два подхода

Есть два основных подхода к жидкостному охлаждению методом погружения: простое и двухфазное охлаждение.

Простой охлаждение основано на принципе полного погружения серверов в ванну с охлаждающей жидкостью. Тепло от процессора, элементов памяти, жестких дисков и других устройств поглощается жидкостью, которая циркулирует с помощью обычного чиллера или другого теплообменника и поддерживает температуру на нужном уровне.

Иммерсионные системы (такие как CarnotJet от Green Revolution Cooling) − это простой и эффективный процесс.

Некоторые системы основаны на циркуляции охлаждающей жидкости через индивидуальные защищенные лопасти, а не погружении целой стойки. Один из производителей таких систем, LiquidCool Solutions, прокладывает систему через массив серверных модулей и создает общую петлю циркуляции.

Двухэтапный подход к жидкостному охлаждению используется в таких системах, как Immersion-2 от компании Allied Control. Серверы и другое оборудование находятся в наполненной ванне. Выбранная этим производителем жидкость, неагрессивная и не проводящая ток, имеет гораздо более низкий температурный порог для кипения - обычно близкий к 49’C по Цельсию (около 120’ по Фаренгейту). Тепло от серверного процессора и других компонентов заставляет жидкость кипеть. Температура снижается, когда появившийся пар конденсируется вокруг охлажденной катушки или другого конденсатора для сбора и повторного использования жидкости.

Предполагаемое преимущество двухфазного охлаждения – высокая эффективность. Хладагент не нужно подкачивать дополнительно, поскольку циркуляция идет пассивно. Это означает, что не требуется насос для перемещения массы охлаждающей жидкости, которая остается в защищенном резервуаре. Пар конденсируется на локальном конденсаторе. Необходимый уровень температуры в конденсаторе поддерживается с помощью обычной охлажденной воды. Для поддержки такой системы нужно гораздо меньше энергии, чем в других конструкциях, а цикл с фазами трансформации жидкости-пар-жидкость перерабатывает огромное количество тепла.

Очевидные преимущества

Погружное жидкостное охлаждение гарантирует ряд важных преимуществ для ЦОДов следующего поколения.

Эффективность жидкостного охлаждения состоит в том, что плотность серверов можно наращивать больше, чем в дата-центрах с воздушным охлаждением и избегать риска горячих точек, вызванных неправильным распределением или блокировкой воздушных потоков для обычных стоек.

Хотя современные серверы совместимы с погружным жидкостным охлаждением, технология имеет огромный потенциал для сред высокопроизводительных вычислений (HPC), которые создают крупные блоки оборудования в высокопроизводительных серверах – от 30 кВт до 100 кВт на стойку – там, где воздушное охлаждение непрактично.

Вторым преимуществом является то, что процесс имеет длительный цикл. Неисправность в воздушной системе охлаждения ЦОДа, как правило, вызывает перегрев оборудования за считанные минуты. Большинство дата-центров реагирует на такие ситуации, меняя нагрузки или отключая системы в установленном порядке до тех пор, пока не сработают устройства бесперебойного питания и другие резервные системы.

Погружное жидкостное охлаждение сохраняет нужную температуру среды в течение более длительных периодов в случае поломки насоса. Двухфазное погружное охлаждение пассивно по своей природе, не требут никакого насоса для контейнера с жидкостью.

Снижение затрат часто приводится в качестве третьего и главного преимущества жидкостного охлаждения. Как правило, снижаются расходы на электроэнергию для охлаждения, не нужно приобретать и поддерживать эксплуатацию вентиляторов, а также в серверном зале освобождается место, ранее занимаемое воздушной системой охлаждения. Дата-центру потребуются упрощенные серверные компоненты.

«Поставщики DLC [direct liquid cooling] утверждают, что прямое жидкостное охлаждение снижает затраты до 40% и ниже, − заявляет Эндрю Донохью, научный руководитель европейской аналитической группы отрасли ЦОДов исследовательской компании 451 Research. – Кроме того, из-за отсутствия вентиляторов исчезает шум и вибрации, которые нередко бывают источником сбоев в серверах».

Минусы инновации

Погружное жидкостное охлаждение также имеет ряд недостатков. Возможно, самая большая проблема состоит в том, что большинство современных стоек ЦОДов не загружены настолько и не используют энергию в таких масштабах, чтобы оправдать финансовый вклад и техническое переоборудование дата-центра для перехода от воздушного к жидкостному охлаждению.

 Если в дата-центре уже оборудована и работает система CRAC (computer room air conditioning), то у компании нет мотивации что-то менять, потому что современные серверы работают отлично с воздушным охлаждением. Реальный толчок для перехода на погружное жидкостное охлаждение возникает, когда речь идет о будущих проектах – серверах высокой плотности и высокой производительности, которые трудно обеспечить полностью при помощи воздушного охлаждения.

Погружное жидкостное охлаждение – это технология для ЦОДа, которая требует радикальных перемен. Сегодня масштабируемость ЦОДов основана на вертикальных стойках, но с погружным жидкостным охлаждением стойки должны размещаться горизонтально в резервуарах. Кроме того, наличие жидкости добавляет суеты и «грязи» в работу с сервером, если возникает необходимость что-то поменять или добавить.

«Сложно переоборудовать существующие дата-центры, а погруженное в жидкость оборудование труднее обслуживать», − предупреждает Скотт Горчестер, генеральный директор провайдера облачных услуг VirtualQube в городе Ботелл (штат Вашингтон).

Угроза утечек пока остается главным препятствием для широкого распространения технологии.

Горчестер и Донохью также ссылаются на потенциальные проблемы с обслуживанием новой системы и утилизации жидкости. Даже тогда, когда жидкие ванны плотно закрыты, важно фильтровать или очищать жидкость, удаляя экологические и биологические загрязняющие примеси, которые препятствуют циркуляции и, возможно, даже создают опасность для здоровья персонала.

Лучше всего использовать очищенные охлаждающие жидкости с невысокой степенью вязкости, но значительной тепловой инертностью, которые являются экологически чистыми и нетоксичными, например, минеральное масло, по мнению Дэвида Дж. Каппуччио, вице-президента по исследованиям компании Gartner.

Однако четкие отраслевые стандарты для выбора жидкости, разработки, фильтрации и утилизации пока не существуют.

Погружаясь в тему охлаждения

Иммерсионные жидкостные системы охлаждения уже появились на рынке, но важно рассмотреть некоторые аспекты логистики и адаптации новой технологии.

Системы погружного жидкостного охлаждения могут работать с существующими конструкциями и серверным оборудованием ЦОДов, так что можно включать эти технологии в планы поэтапного развития площадок. Например, если новый шкаф высокой плотности выходит за пределы отведенной зоны для установки, то погружная жидкостная система охлаждения будет разумным решением проблемы.

«Мне кажется, что эта технология особенно подходит для современных жестких условий эксплуатации и суперкомпьютерных приложений»,- считает Горчестер.

Тем не менее, в полной мере преимущество погружного жидкостного охлаждения реализуется только с серверами и стойками, которые вообще не могут использоваться вместе с воздушным охлаждением. По этой причине, многие предприятия откладывают установку погружных систем охлаждения до тех пор, пока не появятся дата-центры нового поколения, где будут установлены системы высокой плотности.

Для модернизации или строительства погружной системы в любом ЦОДе необходимо произвести структурный анализ, чтобы убедиться, что нагрузка на пол выдержит дополнительный вес жидкости в дополнение к стойкам и ИТ-оборудованию.

Установке также требуются насосы, чиллеры, фильтры, трубопроводы и датчики специально для охлаждающей системы для того  чтобы жидкостное охлаждение полностью соответствовало правильным методикам проектирования ЦОДов. Поскольку технология погружения в жидкость используется только в горизонтальных стойках, это влияет на структуру оснащения дата-центра.

Сегодняшние серверы используют вентиляторы, радиаторы и сложные воздуховоды для того, чтобы направить поток воздуха через процессоры и компоненты памяти. Хотя серверы полностью совместимы с жидкостным охлаждением, все элементы системы воздушного охлаждения должны быть удалены перед погружением сервера в охлаждающую жидкость.

Твердотельные дисковые устройства могут быть погружены в жидкость, но такое действие изменит не в лучшую сторону работу обычных магнитных дисков. Для того чтобы устранить это затруднение, эти диски должны быть удалены их зоны погружения и перемещены на внешний (сухой) уровень подсистемы хранения или в сеть хранения данных (если только они специально не были тестированы и не определены как подходящие для непосредственного погружения в жидкость).

Размещение оптического кабеля – еще одна проблема. Электрические кабели (такие, как категории 6A кабелей Ethernet) работают нормально при погружении, но наличие жидкости может изменить показатель преломления в оптическом интерфейсе (там, где совмещаются оптоволоконный кабель и порт). Это может снизить производительность сети - даже небольшое воздействие ухудшит магистральные соединения 10/40/100 GigE, высокопроизводительные соединения волоконно-оптических каналов или другие порты, где используется волоконный кабель.

Используя жидкостную систему, нельзя забывать об угрозе протечек или загрязнения. Конечно, в дата-центрах используется нетоксичная и экологически чистая жидкость, но никто не хочет работать на предприятии, покрытом минеральным маслом. Плохая идея −  вытащить сервер из контейнера, слить жидкость на пол и ковыряться в оборудовании, из которого летят градом капли.

Работникам понадобится защитная одежда и специальные поддоны с поднятыми краями, чтобы сохранить оставшуюся жидкость. Также необходимо предусмотреть меры для очистки пролившейся жидкости. Системам жидкостного охлаждения требуются двойные резервуары, которые предохраняют от утечек, и средства мониторинга, чтобы вовремя обнаружить даже незначительное просачивание хладагента на объекте.

Однако спрос на большие вычислительные мощности при более компактных системах хранения и обработки приведет к увеличению процессорных сокетов и памяти на высокопроизводительных серверах. Сверхнагруженные серверы и стойки станут слишком плотными, чтобы охлаждаться воздухом, поэтому вендоры начнут поставки систем иммерсионного жидкостного охлаждения, по меньшей мере, нескольких вариантов, и это откроет дорогу для широкого проникновения технологии в центры обработки данных.

Прямые иммерсионные системы охлаждения доступны уже сейчас и могут быть интегрированы в существующие дата-центры с серверами, где установлено воздушное охлаждение. Но адаптация технологий идет крайне медленно, учитывая, какие крупные инвестиции сделаны в механические технологии охлаждения и постоянное повышение энергоэффективности современных систем.

Аналитики не спешат комментировать сроки распространения инновации. Но потенциальные выгоды заманчивы. Согласно исследованиям, сделанным в середине 2014 года, в ближайшие 18 месяцев на рынке появится больше вендоров прямого жидкостного охлаждения.

Стефан Биглоу (Stephen J.Bigelow),

редактор отдела технологий портала  http://searchdatacenter.techtarget.com

Дополнительную информацию можно найти на сайте http://searchdatacenter.techtarget.com

Комментарий эксперта:

Об эффективности иммерсионного охлаждения 

Михаил Балкаров, технический эксперт компании Emerson Network Power

Статья достаточно полно объясняет перспективы и проблемы этого типа охлаждения, имеет смысл просто уточнить некоторые положения.

В первую очередь, цифры. До 80 кВт на стойку, без особых проблем, охлаждается воздухом. Решение конечно получается шумным и не слишком энергоэффективным, но работает устойчиво. На границе 30-40 кВт энергоэффективность уже получается очень  хорошая. 20 кВт на стойку на сегодня вообще проблем при сколь-нибудь опытном проектировщике не вызовет. В итоге, если ориентироваться именно на плотность мощности, данные системы имеют смысл только для высокоспециализированных серверов, изначально рассчитанных на них и выделяющих  80+ кВт со стойки.

Для нас наиболее интересно в данном способе охлаждения то, что и масло (скорее всего полидиметилсилоксан), и тяжелые фреоны, не замерзают и почти не увеличивают вязкость при крайне низких температурах. Так что, используя этот принципв нашем климате, создаются системы без механического охлаждения вообще и без промежуточных контуров.  Еще стоит заметить, что двухфазные системы (на кипящих фреонах) лучше также использовать с насосами, во избежание проблем с неравномерной нагрузкой. 

Теги: Иммерсионное жидкостное охлаждение, Михаил Балкаров, Стефан Биглоу