ЦОД ВКонтакте подвело охлаждение

30 июля 2014 г. | Категория: Россия и СНГ

В воскресение 27 июля на сайте vk.com постепенно исчезали картинки, труднее загружались страницы и служба «ВКонтакте» наконец перестала работать. Хотя сбой продолжался всего один день, это вызвало резонанс в сообществе. Участники форумов рассказывали друг другу, что бывший сооснователь социальной сети «ВКонтакте», ныне покинувший ее Павел Дуров написал в блоге «Месть – это блюдо, которое нужно подавать холодным в жаркий летний вечер», но потом запись исчезла.

Ее называли подделкой, фейком. Трудно было представить, что сбои были действительно результатом мести Дурова. Он покинул пост гендиректора «ВКонтакте» в апреле, объявив, что создаст мобильную социальную сеть. Но для такой мести ему нужно было изобрести машину времени и перенестись назад в то время, когда раздоры в «ВКонтакте» были не столь сильны, зато создавался дата-центр в Ленинградской области, в котором размещалась эта социальная сеть. Именно тогда закладывалась истинная причина сбоев.

Представитель «ВКонтакте» Георгий Лобушкин сообщил о происшествии в полночь между 27 и 28 июля следующее: «27 июля из-за аварии в одном из дата-центров «ВКонтакте» несколько часов были недоступны некоторые сервисы сайта: фотографии, сообщения, записи на стенах. Через час после возникновения проблем специалистами компании было принято решение полностью прекратить работу сайта. Это помогло в кратчайшие сроки восстановить работоспособность ресурса без потери пользовательских данных. По предварительным данным неприятности начались в момент выхода из строя охлаждающего оборудования серверной одного из центров обработки данных «ВКонтакте» в Ленинградской области. После этого произошло аварийное отключение части серверов». 

По данным Gismeteo.ru, в Петербурге в воскресенье столбик термометра поднялся до отметки +31◦C. Если сходить на фотоэкскурсию в питерский дата-центр, где размещены серверы соцсети «В контакте»

(см. http://telecombloger.ru/12313 ), картина проясняется. Проблема в том, что система охлаждения серверного зала этого дата-центра основана на применении исключительно технологии фрикулинга, функционирующей за счет притока прохладного воздуха из окружающей среды – на фото хорошо видны элементы приточно-вытяжной вентиляции, но отсутствуют хоть какие-то блоки прецизионных систем кондиционирования. Однако технология фрикулинга хорошо работает, когда температура воздуха «за бортом» не поднимается выше +27◦C.

А вот комментарий к фотоэкскурсии: «При проектировании решили для снижения локального перегрева установить серверы в стойках через один юнит. Из-за жаркого лета 2011 года из строя вышло только три жестких диска, причем по мнению ИТ-сотрудников, это были старое затертые образы. При этом холодильные установки в ЦОДе «ВКонтакте» отсутствуют».

Другими словами, применение вполне уместной в питерском климате технологии фрикулинга не было подстраховано промышленными системами охлаждения, обеспечивающими работу серверов в период продолжительной жары в этом городе. Судя по всему, владельцы ЦОДа, заведомо зная о рисках для пользователей соцсети, просто проигнорировали их, преследуя цель максимально  сэкономить и на этапе капитального строительства ЦОДа, и на этапе его эксплуатации. А в случае падения сервиса можно ведь всегда принести извинения за «невыносимые часы ожидания».

«К сожалению, аварии случаются у всех, – отреагировал на критику Лобушкин. – И «ВКонтакте» не исключение. Ровно четыре года назад (25 июля 2010 г.) vk действительно оказался недоступен при схожих обстоятельствах — из-за жары один из наших дата-центров был обесточен и сайт некоторое время не работал, в то время как специалисты срочно переводили его на резервные источники питания. После этого была проделана огромная работа, чтобы даже полное отключение электричества не вызывало сбоев в работе соц.сети. Наши силы направлены на предотвращение подобного в будущем. Мы приносим свои извинения за эти невыносимые часы ожидания и благодарим за поддержку и понимание. Наша команда будет работать для вас при любой погоде и в любое время суток».

Через час после появления этой проблемы было решено полностью прекратить работу сайта, что позволило восстановить очень быстро его работу без каких-либо потерь. А 28 июля сайт действительно заработал в полном объеме. О том, использовали ли в «ВКонтакте» резервирование и как удалось решить проблему, в компании подробности не рассказывают.  Но, очевидно, меры по решению системной проблемы, связанной с охлаждением, все же придется принимать.  

«ВКонтакте» вошла в десятку крупнейших соцсетей мира и пользователи несколько раз в год отмечали сбои по разным причинам, в том числе зимой, и не только из-за систем охлаждения. Один из последних крупных сбоев произошел в работе соцсети 10 января этого года. «ВКонтакте» была недоступна для пользователей более трех часов. Павел Дуров, занимавший на тот момент должность генерального директора, сообщил о том, что аварию исправляли «на уровне коммутаторов». Проблемы повторились 7 февраля, но были быстро ликвидированы. Георгий Лобушкин пообещал, что в компании принимаются меры, чтобы подобные случаи не повторялись. А теперь вопрос специалистам – как можно с минимальными затратами модернизировать систему охлаждения в дата-центре, где климатические требования обеспечиваются только за счет фрикулинга?

Для знакомства со спецификацией объекта можно посмотреть фоторепортаж на сайте http://telecombloger.ru/12313

Теги: ВКонтакте, охлаждение, Авария