Авария в ДЦ Ростелеком

Дорогие друзья!

Сегодня, 12 сентября, ориентировочно в 8:40 по времени Екатеринбурга, во время проведения плановых работ по контрольному запуску дизель-генераторной установки (ДГУ) специалистами Ростелекома, произошла внештатная ситуация, в результате которой датацентр на пер.Асбестовском, 4 “а”, оказался полностью обесточен, несмотря на наличие двух независимых вводов и тестировавшейся на тот момент ДГУ. Этот датацентр является для нас основным и в нем базируется подавляющая часть наших сервисов и серверного оборудования. В этом же датацентре размещается портал Госуслуг по Свердловской области и еще ряд значимых ресурсов. Все они в результате оказались без электропитания.

В 9:15 специалисты Ростелеком начали последовательное включение стоек в датацентре, которое заняло еще порядка получаса. Параллельно с этим наши инженеры вели восстановительные работы на вновь включаемом оборудовании.

Около 11:30 все все сервисы, кроме почтовой системы, были восстановлены на 100%.

К 14:00 была восстановлена работа почтовой системы.

Около 21:00 представители Ростелеком внезапно сообщили, что через 2 часа будут проводиться еще одни работы по переводу с резервной системы питания на основную.

Около 22:55 мы сами начали отключение серверов, чтобы избежать повреждения данных при отключении питания в ЦОД.

Примерно в 23:35 работы со стороны Ростелеком были завершены — источники резервного питания и дизель-генератор были вновь подключены. Мы начали включение серверов.

Мы приносим глубочайшие извинения за перебои в работе наших сервисов, с которыми вам пришлось столкнуться. И хотя проведение подобных испытаний находится вне нашего контроля, мы разрабатываем меры по минимизации возможных потерь и простоев от инцидентов подобного рода в будущем.