Аварии в ЦОД: новости от NOAA, WebNX и Брауновского университета

30 апреля 2021 г. | Категория: Аварии в ЦОДах, Пожаротушение, Человеческий фактор, Электроснабжение ЦОД

Дата-центр — это сложная система, представляющая собой сочетание технологий и людей, которые ею управляют. Повышение надежности ЦОД – процесс, охватывающий комбинацию многих вещей. В частности, требуется безупречный проект без потенциальных точек отказа.

Также необходимо убедиться в наличии надлежащим образом обученного персонала, чтобы свести к минимуму риск человеческой ошибки. Дополнительно надлежит максимизировать фундаментальную надежность применяемого оборудования.

Тем не менее, добиться идеала крайне сложно, что подтверждают дайджесты об авариях в ЦОД, периодически публикуемые порталом TelecomBloger. В свежей подборке присутствуют новости от NOAA, WebNX и Брауновского университета.

Возгорание генератора привело к длительному отключению дата-центра WebNX

В начале апреля 2021 у американского провайдера веб-хостинга WebNX произошел продолжительный сбой, когда в используемом компанией центре обработки данных в городе Огден, штат Юта (США), загорелся генератор. Инцидент произошел во время перебоев в электроснабжении через центральную распределительную сеть.

Электричество в городе Огден отключилось в полдень католического пасхального воскресенья (4 апреля). В связи с блэкаутом в ЦОД WebNX включилось резервное электропитание на основе нескольких ДГУ, но, к сожалению, один из установленных рядом со зданием дата-центра резервных дизель-генераторов загорелся. Из-за возгорания был инициирован протокол пожаротушения.

К моменту восстановления подачи электричества на городском уровне ЦОД WebNX не смог снова переключиться на центральную электросеть, поскольку пожарные службы отключили подачу электричества на площадке в качестве меры предосторожности. Многочисленные клиенты компании пострадали из-за длительного перебоя в работе ЦОД. Команда WebNX проверяет серверы на предмет повреждений, вызванных водой.

В заявлении на странице WebNX в Facebook говорится, что загоревшийся ДГУ был недавно специально протестирован на случай возможного отключения подачи электричества из центральной сети. Расследование показало, что пожар, возникший в генераторе, не распространился на машзалы внутри здания ЦОД, но некоторые серверы клиентов подверглись воздействию воды в ходе операции по ликвидации возгорания и, возможно, оказались повреждены.

В число клиентов, пострадавших от сбоя, входит администрация города Огден, некоторые сайты которой использовали хостинг WebNX, а также ряд коммерческих компаний, включая Gorilla Servers и Passmore Caviar. В WebNX заявили, что пострадавшим будет предлагаться компенсация в соответствии с соглашениями об уровне обслуживания клиентов.

В распоряжении рассматриваемой компании имеется два центра обработки данных. Здание площадью 9,3 тыс. квадратных метров в Огдене и ЦОД площадью 930 «квадратов» в центре Лос-Анджелеса. Компания в основном предлагает хостинг выделенных серверов.

Инцидент произошел через месяц после того, как серьезный пожар уничтожил центр обработки данных OVHcloud в Страсбурге (Франция). В случае данного инцидента причиной предположительно являются системы бесперебойного питания.

ЦОД Национального управления океанических и атмосферных исследований США ушел в офлайн из-за прорыва трубы

9 марта 2021 в штаб-квартире американской Национальной метеорологической службы (National Weather Service; NSW) в городе Силвер-Спринг, штат Мэриленд (США) произошло серьезное подтопление, повредившее серверное оборудование и системы хранения данных местного ЦОД Silver Spring Metro Complex 2.

Инцидент вызвал перебои в работе служб Национального управления океанических и атмосферных исследований США (National Oceanic and Atmospheric Administration; NOAA), которые полагались на рассматриваемый центр обработки данных. Причем с момента наводнения в дата-центре прошло около месяца, а проблемы все еще не устранены полностью: некоторые сервисы NOAA недоступны, тогда как доступ к другим ограничен.

ЦОД NSW отвечает за обработку метеорологических данных для предоставления прогнозов погоды, предупреждений об опасных климатических явлениях и других услуг, связанных с метеорологией.

Случившееся в прошлом месяце наводнение, вызванное прорывом трубы, привело к значительному и масштабному затоплению помещений внутри первых семи этажей здания. Несмотря на оперативное прекращение подачи воды, жидкость успела вызвать повреждение важнейших систем ЦОД, повредив персональные рабочие места и ценное оборудование, внешние и внутренние стены. Сотрудники не пострадали, поскольку в большинстве своем из-за пандемии они работали удаленно.

После наводнения ряд важных нагрузок был перемещен в резервные ЦОД, но проблемы все еще сохраняются. Согласно официальным комментариям, команда специалистов работает над решением проблем, но эксперты не берутся прогнозировать точную дату полного восстановления услуг.

Брауновский университет в США отключает ЦОД из-за киберугрозы

Брауновский университет в США отключил свой центр обработки данных из-за угрозы кибербезопасности. Согласно предупреждению, опубликованному 30 марта 2021, угроза «технологической инфраструктуре на основе Microsoft Windows» в распоряжении ВУЗа, находящегося в городе Провиденс, штат Род-Айленд (США), вынудила технических специалистов перевести дата-центр университета в режим офлайн.

«Учитывая характер угрозы, администрация предприняла ряд агрессивных шагов для защиты цифровых ресурсов университета, включая приостановку использования интернет-канала, ведущего к нашему центру обработки данных и системам в нем. […] Мы работаем с коллегами по всему университету и стремимся как можно скорее вернуть системы в рабочее состояние», отмечается в пресс-релизе ВУЗа. Точная природа угрозы не разглашается, но отмечается, что эксплойт напрямую затрагивает операционную систему Microsoft Windows.

Теги: WebNX