DCExpedition Scandinavia Tour 2014: путевые заметки странствующего технократа

15 января 2015 г. | Басистый Дмитрий Андреевич | Категория: Обсуждаем статью

Проведенный в ноябре 2014 года проект DCExpedition Scandinavia Tour преследовал цель ознакомить участников экспедиции с лучшими образцами цодостроения двух стран:

Швеции и Финляндии. В экспедиции приняли участие 48 человек — представители владельцев и операторов дата-центров, инжиниринговых компаний и фракции независимых экспертов и консультантов.

Маршрут и программа тура были в высшей степени напряженными: прилет в Стокгольм — шведская программа — отправление на пароме в Турку; раннее прибытие в Турку, переезд на автобусе в Хельсинки — посещение DC Finland и завода Eaton — вылет в Каяни с последующим вечерним мероприятием в финском стиле; посещение бизнес-парка Reinforsin Ranta и знакомство с двумя дата-центрами на его территории — вылет в Хельсинки и обратно в Москву. И все это за неполных четыре дня.

Хельсинки, Финляндия

● DATACENTER FINLAND. Это частный дата-центр, разместившийся в пригороде Хельсинки на втором уровне подвала здания, ранее принадлежавшего телекоммуникационной компании. Работы по проектированию и реализации решений выполнены фирмой Coromatic. Дата-центр подключен к внешним электрическим сетям по двум лучам и оснащен системой гарантированного электропитания на базе трех ДГУ по схеме N + 1. Общая подведенная мощность — 1,8 МВт.

Система охлаждения воздуха в машинных залах построена на решениях Carrier по схеме N + 1 с подачей холода из-под фальшпола. Спроектирован дата-центр по классу пожарной безопасности F120. Система пожаротушения централизованная, построена на решении, использующем аргон в качестве огнетушащего вещества, который помещается в баллонах под давлением 300 атмосфер (!). (Стоит специально отметить, что для российской практики применение баллонов с такими характеристиками — крайне редкое явление. К этому надо добавить, что батарея баллонов размещена в одном помещении с оборудованием ИБП и никак от него не изолирована.)

Расчетный коэффициент энергоэффективности дата-центра PUE оценивается как 1,3–1,5. Официальных сертификаций у дата-центра нет, но оператор относит его к классу Tier 3 по классификации стандарта TIA-942.

Смелые и необычные для российского глаза решения:

• дата-центр находится в подвальном помещении. В принципе, учитывая гидрологическую ситуацию в точке размещения объекта, беспокоиться особо не о чем, но все-таки это непривычно;
• ДГУ размещены на пятом этаже здания бизнес-центра над «подвальным» ЦОДом. Проектировщики объясняют это просто: некуда ставить ДГУ;
• но это еще не все: там же, на пятом (!) этаже, размещена емкость для резервного запаса топлива для ДГУ. Всего-то 70 тонн дизтоплива под крышей, всего 70 тонн…;
• редкое и красивое решение — отдельное помещение с банковской
• сейфовой дверью для хранения особо важных отчуждаемых копий данных. Выглядит как самое настоящее банковское хранилище. Что называется, для изысканных клиентов.

ЗАВОД EATON. Компания Eaton — крупная транснациональная корпорация с более чем вековой историей, на российском рынке известная главным образом своими решениями в области электротехники. Сегодня в ней работает свыше 100 тыс. человек по всему миру. Оборот в 22 млрд долл. в 2013 году был достигнут за счет продаж в 175 странах.

Представитель завода образно обрисовал объемы производства ИБП: их можно было бы выставить в линию от завода до границ Хельсинки. Для справки: завод находится в 20 км от города.

Участников экспедиции провели с экскурсией по заводу и продемонстрировали возможности новой технологии Eaton по управлению модулями и две станции сборки ИБП — промежуточной и финальной.

Завод — объект повышенной опасности:

• курить нельзя даже на улице, на территории вне здания;
• на заводе можно находиться только в защитных средствах — всех заставили надеть яркие желтые куртки и застегнуть их на все пуговицы, на ноги — специальные резиновые полугалоши с тяжелыми металлическими вставками, а на глаза — специальные защитные очки;
• перемещаться по цехам разрешается только небольшими группами в сопровождении нескольких сотрудников завода, ступая буквально след в след — по размеченным дорожкам.

Происхождение компонентов, из которых собираются ИБП Eaton, не разглашается. В ответ на подобные вопросы «экскурсоводы» отделывались заученной фразой: мы глобальная компания, работающая по всем миру; мы не знаем, где какой компонент произведен, да это и не важно, все они — Eaton.

Что понравилось и поразило на заводе:

• образцовый порядок — все на местах, все закреплено, все подписано;
• чистота, ровное и комфортное освещение, свежий воздух;
• потрясающая эргономика рабочих мест — все есть, все под рукой: инструменты, приборы, детали, документы;
• детальные и наглядные технологические карты для персонала: на уровне глаз над рабочим столом — стенд с легко переворачиваемыми страницами инструкций; инструкции наглядные — со схемами, фотографиями, пояснениями; в технологических картах есть нормативы времени.

Владимир ДЕМИДОВ, руководитель направления комплексных проектов и ЦОД, Электротехнический сектор компании Eaton

«Экспедиция» в Скандинавию стала отличной возможностью показать участникам завод Eaton по производству ИБП. Фабрика в г. Эспоо по праву называется центром передовых технологий в области производства крупных систем бесперебойного питания - за 50 лет работы завод произвёл для клиентов более 250.000 ИБП. Кроме того, участники смогли подробнее узнать и о других решениях Eaton для сегмента ЦОД, в частности, о распределительных устройствах низкого и среднего напряжения, которые уже зарекомендовали себя в отрасли и отличаются надежностью, компактностью и высокими техническими характеристиками».

Марика СИНИКАРИ, Marketing Communications Manager, Eaton Electrical EMEA, Power Quality and Electronics.

"Eaton’s team of some 20 data center professionals welcomed the Russian customers for a two-hour visit starting with welcome words by Kari Koli, Sales Manager Russia and Central Eastern Europe and continuing to a presentation of the latest paper by Technology Manager Janne Paananen on “The evolution of a resilient power chain in a data center”. Vladimir Demidov, Senior Sales Representative LSG/Data Centers, Eaton Russia and Oleg Tatianin, Sales Supervisor, Electrical Contractors and System Integrators Channel, Eaton Russia introduced the Eaton data center offering in Russia and then took the group into the factory for a tour to showcase the new Power Xpert 9395P product and a live UPS demo".

Каяни, Финляндия

Каяни — это совсем небольшой по российским меркам город: всего-то 30 тыс. населения. Он расположен строго к северу от Хельсинки, порядка 600 км. Но по финским масштабам (при населении страны чуть более пяти миллионов) это вполне себе немаленький город. В Каяни работает Университет прикладных наук, в котором обучается 2000 студентов. Не так давно состоялся первый выпуск магистров со специализацией по дата-центрам.

Поразил и восхитил аэропорт Каяни. Камерный, игрушечный, но чистый-чистый и функциональный — все продумано, все предусмотрено, все на месте. В 1998 и 1999 годах он признавался лучшим аэропортом Финляндии. Безусловно, и чистота, и тишина объясняются, мягко говоря, жидким расписанием и невеликими размерами воздушных судов.

● БИЗНЕС-ПАРК REINFORSIN RANTA. До 2008 года одним из самых заметных предприятий в городе была бумагоделательная фабрика. Ею владела транснациональная компания United Paper Mills (UPM) с оборотом 10 млрд евро и штатом более 20 тыс. сотрудников. В свое время UPM закрыла часть своих ЦБК по всему миру, в том числе три фабрики в Финляндии. В 2008-м на территории закрытой бумагоделательной фабрики открылся бизнес-парк Reinforsin Ranta. Сегодня здесь «прописались» 34 компании, в которых работает более 600 человек. Основные профили компаний — инжиниринг, проектирование, автоматизация и информационные технологии. Размер бизнес-парка — 120 га, он состоит из 18 зданий общей площадью 130 тыс. кв. м. Более 50 тыс. кв. м полезных площадей Reinforsin Ranta арендовано двумя «якорными» компаниями: CSC и IBM/Herman IT, развивающими в бизнес-парке услуги дата-центров.

Площадка Reinforsin Ranta обладает уникальными характеристиками для размещения дата-центров: подведенная электрическая мощность — 240 МВт, которая легко может быть увеличена до 900 (!) МВт. Половина этой мощности генерируется с нулевыми углеродными выбросами, то есть является экологически чистой. Электроэнергия подается на площадку по пяти резервированным лучам — от пяти независимых источников генерации: четырех ТЭС (входят в национальную электрическую сеть FinGrid) и одной местной ГЭС. Часть тепловых станций, снабжающих бизнес-парк, работает на биотопливе.

Совершенно уникальная с точки зрения России ситуация: пять независимых источников электроснабжения — не каналов, а именно источников. Этим и объясняется тот факт, что понятие «система гарантированного электроснабжения», подразумевающая наличие дизель-генераторных установок, для бизнес-парка неприменимо. В ходе общения с представителями владельца бизнес-парка родилась такая, несколько юмористическая, формула: «Питание бизнес-парка осуществляется по четырем лучам и от одной резервной ГЭС». Это одно из главных потрясений от посещения бизнес-парка Reinforsin Ranta.

На территории бизнес-парка есть собственная насосная станция, обеспечивающая подачу воды объемом 3 куб. м в секунду по двум независимым трассам. Количество и характеристики каналов связи не раскрывались, но было заявлено, что есть прямой канал в Россию.

Сергей ФОМИЧЕВ, директор по развитию «Мастертел», Москва

«Месяц назад я разговаривал с одним старым другом не из ИТ и не из телекома, и совершенно случайно разговор зашел о том, сколько новых людей появляется в нашей жизни помимо бизнес-контактов. Как часто мы встречаем интересных людей, с которыми можно поговорить не только «про бизнес», а и обо всем остальном, начиная от квантовой физики и заканчивая чем-то более личным?..Я рад, что благодаря формату DCExpedition в моей жизни появляются по-настоящему интересные, эмоционально, интеллектуально и духовно близкие мне люди».»

Александр ПАШНИН, Руководитель департамента проектирования «Т-Платформы», Москва

«В первую очередь хочется отметить состоявшиеся конструктивные и содержательные диалоги с представителями финского ИКТ-сектора, которые, я надеюсь, приведут к дальнейшему развитию совместного бизнеса нашей компании как с уже состоявшимися, так и с новыми скандинавскими партнерами. Огорчил неконструктивный подход шведской стороны к вопросам развития межличностных отношений. Хочу поблагодарить организаторов тура за высокий уровень, на котором прошла поездка, отметить гостеприимство и радушие финских коллег, а также выразить признательность всем участникам DCExpedition».

Игорь ДОРОФЕЕВ, генеральный директор компании iCord, Москва

«Одной из главных целей подобных поездок является возможность посмотреть на создание ЦОДов другими глазами, понять альтернативные методы и подходы, разрушить штампы и стереотипы. В том числе проследить как отличные от российских исходные данные и возможности трансформируются в практические решения.»

Федор КЛИМЕНКО, генеральный директор GreenMDC, Санкт-Петербург

Экспедиция понравилась. Я давно хотел посмотреть на зарубежные дата-центры и не упустил эту возможность, да еще в такой хорошей компании. Жаль, что политическая ситуация влияет на общение инженеров из разных стран, отказ в посещении дата-центра в Стокгольме — еще одно тому подтверждение. Тем не менее поездка удалась — я увидел много интересного. Спасибо организаторам тура».

● ДАТА-ЦЕНТР CSC — DATACENTER KAJAANI. CSC — это государственная компания, учрежденная финским министерством образования и науки для проведения научных исследований и их обеспечения. В компании работает 260 человек, из них семеро — в Каяни. Дата-центр CSC занимает в бизнес-парке Reinforsin Ranta площадь 3000 кв. м и построен с использованием модульных технологий. Охлаждение оборудования обеспечивается системой на базе free cooling (вода плюс воздух).

Дата-центр был создан в 2012 году, и финны считают его самым экологичным ЦОДом в мире, ссылаясь на PUE 1,06. Здесь предоставляются стандартные услуги размещения оборудования, аренды серверов, IaaS. Облачный сервис построен на базе решений OpenStack. Площадка подключена к финской национальной сети передачи данных FUNET. Безопасность дата-центра CSC подтверждена в 2013 году сертификацией по ISO 27001:2005. Других известныхв России сертификаций инфраструктуры ЦОДа нет и получать их не планируется.

Среди пользователей услуг дата-центра 700 внешних проектов, 4250 хостов. В 2013 году зафиксировано 11 млн входов (логинов) в системы, работающие на его базе. К особо интересным объектам, размещенным в ЦОДе CSC, могут быть отнесены три финских суперкомпьютера: SISU, TAITO и BULL.

Суперкомпьютер SISU («sisu» по-фински означает «сила воли») — это суперкомпьютер Cray XC30 с потрясающими мощностными характеристиками: 40 608 ядер, 3384 процессора Intel Xeon E5-2690v3 на 1692 узлах. На каждый узел приходится по 64 Гбайт памяти, суммарный объем которой — 105 Тбайт. Все модули Cray XC30 связывает высокопроизводительная шина с пропускной способностью 7 Тбит/c.

С такими характеристиками и пиковой производительностью 1,7 Пфлопс SISU занимает 30-е место в мире в рейтинге суперкомпьютеров. Загрузка суперкомпьютера SISU колеблется от 50 до 90 %. График загрузки доступен для всех желающих на сайте CSC в Интернете.

Потребляемая электрическая мощность SISU — 745 кВт. Обслуживание суперкомпьютера проводят два оператора, работающие посменно, но не круглосуточно. Один из операторов — серьезная финская девушка Сусанна с фиолетовыми волосами отвечала на вопросы участников экспедиции. Для того чтобы справляться с такой ответственной задачей, Сусанна специально училась в Cray Inc.

Два других суперкомпьютера не столь потрясают воображение своими характеристиками, но достойны упоминания.

Суперкомпьютер TAITO имеет 9216 ядер на 1153 процессорах в 576 серверах HP Proliant SL230s и 64 Гбайт на один узел.

Суперкомпьютер BULL введен в эксплуатацию в августе 2014 года. Его производительность в пике достигает 270 Тфлопс. Вычислительная подсистема построена на базе процессоров Intel Xeon PLi 7170x и NVidia Tesla. Из инженерного обеспечения BULL примечателен факт, что охлаждение у него водяное с использованием горячей воды.

● ДАТА-ЦЕНТР IBM / HERMAN IT. Второй дата-центр, размещенный в бизнес-парке Reinforsin Ranta, принадлежит компании Herman IT — подразделению KPO Group, которая вот уже более 100 лет занимается телекоммуникационным бизнесом. Herman IT предоставляет услуги размещения оборудования заказчиков на инфраструктуре собственных дата-центров, которых в настоящее время насчитывается ровно четыре.

Дата-центр в Reinforsin Ranta был создан в 2012 году в сотрудничестве с компанией IBM, которая выполнила оценку рисков размещения дата-центра в Каяни, проектирование инфраструктуры и реализовала ее на базе своего решения IBM Enterprise Modular Data Center (EMDC) — традиционного модульного решения для дата-центров.

По заявлению Herman IT, дата-центр имеет коэффициент PUE на уровне 1,1–1,2 и самую надежную в Финляндии инфраструктуру. Общий уровень надежности оценивается в 99,998 %, уровень надежности по электропитанию — 100 % для местных источников, 99,9996 % для остальных.

Построенный дата-центр Herman IT был сертифицирован IBM на соответствие требованиям IBM Level 3+ for Infrastructure, что, по мнению менеджеров компании, даже несколько выше известного уровня Tier 4 по версии стандарта TIA-942.

Особое внимание при проектировании дата-центра уделялось оценке рисков, которые были исследованы с использованием инструментов Ramentor ELMAS — разработок финской софтверной и консалтинговой компании. Риски оценивались на протяжении всего жизненного цикла дата-центра: от проектирования до эксплуатации.

Илмари ВАЛЛО, Исполнительный директор, DataCenter Finland

«We were delighted to receive this significant group of Russian business decision makers as our guests to Helsinki, Finland to DataCenter Finland’s modern and high-technology datacenter. This short visit was more than just a short visit; it created the basis of business relationships with interesting people from interesting companies. It’s our pleasure to continue discussions with these guests and see what future opportunities we might have together».

Яни МОЙЛАНЕН, Business Development Director, Herman IT

«I saw a group of DC professionals that were very interested in exploring the best practices used in different environments and data center solutions. The main discussion topics were reliability, efficient operations and green initiatives. From our company perspective, we see value in this kind of networking where we can collectively discuss with DC professionals and share the best practices».

Карл ВАЙДМАН, директор ИКТ-кластера, DIGITICE

«It was a pleasure to meet the group, it's clear we share common challenges and objectives and we plan to bring solid answers to the key questions we explored, to Moscow in the spring of 2015. We very much hope that DC MAGAZINE will join us to further develop our relationship. Will we guarantee powerdelivery? May be a discussion point…»

Эпилог. Ложка дегтя: “TheRussiansarecoming. They’re right around. I’ve seen Russian soldiers!”

…Более 65 лет назад, в самом начале затяжной «холодной войны», Джеймс Форрестол, министр обороны США, покончил с собой в психиатрическом отделении Национального военно-морского медицинского центра. Ходили слухи, что во время своей психической болезни он бредил, раз за разом повторяя фразу: “The Russians are coming. They’re right around. I’ve seen Russian soldiers!” («Русские идут. Они повсюду. Я видел русских солдат!»). Казалось бы, времена маккартизма и «охоты на ведьм» ушли в прошлое и сложно связать историю Джеймса Форрестола с сегодняшним днем. Отнюдь. Буквально за сутки до запланированного посещения дата-центра Bahnhof в Стокгольме в адрес организаторов тура пришло письмо от менеджера этого ЦОДа г-на Карлунга. Да не просто письмо, а целый пресс-релиз на шведском языке, выдержанный в стилистике процитированной выше истории. Г-н Карлунг, путая красное с квадратным, назвал группу частных лиц, принимающих участие в туре, «высокопоставленными ИТ-менеджерами», до небес превознес технические решения вверенного ему дата-центра, умиляясь их передовому характеру и уникальности, сослался на российскую агрессию и — отказал в посещении.

Дешевый пиар и тщетная попытка сорвать тур. Но такое нервное решение г-на Карлунга нисколько не сломало впечатления от поездки, а только усилило открытость и гостеприимство наших финских коллег, в превосходной степени сделавших все, чтобы доказать: бизнес делают люди, а не компании и не государства, и контакты между людьми не должны зависеть от политики правительств.

А что до г-на Карлунга, то хочется пожелать ему крепкого здоровья и долгих лет жизни в бункере времен «холодной войны», который занимает его дата-центр. Г-н Карлунг «в домике». Мы и не сомневались.  

Теги: DCExpedition Scandinavia Tour 2014