Незначительная ошибка, крупная катастрофа - GitLab отключается на один день

GitLab, стартап, который является альтернативой популярному GitHub, недавно пережил довольно тяжелый день человеческая ошибка привела к тому, что весь сайт не работал целый день.

Проблема GitLab впервые началась, когда веб-сайт испытывал проблемы со временем загрузки и стабильностью. Веб-сайт был переведен в автономный режим для устранения проблем. Тем не менее, во время обслуживания, кто-то невольно совершил ошибку, случайно удалив каталог, содержащий 300 ГБ оперативных производственных данных.

К счастью для GitLab, содержимое, которое было удалено только затронутые проблемы и объединенные запросы. Эта ошибка никак не повлияла на репозитории и вики. Это означает, что ущерб, вызванный этой ошибкой, был не таким серьезным как могло бы быть

После удаления каталога сотрудники GitLab немедленно обращаются к его резервной копии. К сожалению для них, GitLab столкнулся с еще одна проблема. В соответствии с файлом Google Doc, который постоянно обновлялся, когда GitLab изо всех сил пытается вернуться в онлайн, все 5 резервное копирование / репликация методы, которые веб-сайт развернул, не работал надежно, а в некоторых случаях были никогда не настраивать во-первых.

Получение этих потерянных файлов из облака это не вариант для GitLab, так как стартап решил в конце прошлого года создайте дамп облака, чтобы вместо этого создавать и управлять собственными кластерами Ceph. Излишне говорить, что сейчас GitLab пересматривает свою позицию по этой конкретной теме..

@TheRegister @gitlab будет работать над тем, чтобы сделать приложение более производительным и исследовать альтернативных провайдеров облачного хостинга..

- Коннор Ши (@connorjshea) 1 февраля 2017 г.

Несмотря на беспокойный день, который был у GitLab, сайт теперь работает и работает как обычно. Пока сайт сообщил, что некоторые данные были потеряны в течение шестичасового окна, мерзавец хранилища остались невредимыми на протяжении всего испытания. Полный журнал событий всего события можно посмотреть здесь.

В то время как многие уроки можно извлечь из маленькой ошибки GitLab (в основном гордыня), метод GitLab по борьбе с кризисом довольно восхитителен, так как запуск был ясным и прозрачным со своими пользователями. Надеюсь, что GitLab учится на этой ошибке. В противном случае, его пользовательская база, вероятно, будет менее прощающей, если история повторится.

Источник: Регистр