Инженеры KTS выкатили на Хабре бодрый разбор того, как восстанавливали прод заказчика после атак на

Инженеры KTS выкатили на Хабре бодрый разбор того, как восстанавливали прод заказчика после атак на дата-центры Яндекса.

После сбоя основной площадки команде пришлось перенести инфраструктуру и данные в другое облако, поэтапно запустить сервисы и проверить работу приложений. Что помогло вернуть критичные сервисы менее чем за сутки:

— Проверенные бэкапы. Инженеры ещё до аварии тестили восстановление, поэтому не пришлось проверять работоспособность копий в разгар инцидента;
— Terraform, Ansible и документация. Часть инфраструктуры уже была описана в коде, а известные зависимости и порядок запуска — задокументированы;
— Не всё зависит от DevOps. Можно быстро раскатать окружение, а потом ждать снапшоты от поддержки, выгрузку данных из S3 или свободные мощности у нового провайдера.

Главный вывод: бэкап считается рабочим не тогда, когда он успешно создался, а когда из него удалось восстановить систему.

Сохраняем, чтобы не чинить прод по памяти ☺️