делать, когда ломается рейд.
Нет никаких планов, сроков. И нет запасного места, куда нужно прод выкатывать.
Инженеры как Наполеон, который Москву взял, а что дальше делать?
Нужно развивать репликации и нормально синхронизирование между инстансами.
т.е. при выпадении диска из рейда инженеры не знают что делать, а при выпадении ноды из кластера что будет?
Стикер
тут ко мне пришли люди и просят помочь настроить оушстор на 612 дисков, и они говорят рейд не нужен, давайте сделаем из всех 612 дисков рейд 5, один вылетит и поменяем!🙈
Был свидетелем в 2014 году, как из строя вышла EMC (такой шкаф вроде 1М зелени стоил) и весь казахский Егов остановился на два дня. Рейд даёт ложную уверенность, дорогие шкафы со сложными алгоритмами рейда дают усиленную ложную уверенность. По сути, single point of failure становится рейд. Но бывают случаи, когда рейд падает и падает не предсказуемо. Бывают случаи, когда и ceph падает. Но тут виновата гравитация. Нужно в проекте закладывать опору на репликации и отказоустойчивость. Не ждать, а сразу ориентироваться на несколько баз данных и синхронизацию между ними данных и систему резервного копирования данных. Сразу ориентироваться на режим «летим на одном крыле и одном моторе». Больше советов есть в книге “Database Reliability Engineering”. И я не говорю про обычные ситуации, когда по SNMP приходит сигнал, что диск сломан. Еще больше житейского опыта. Вот идёт планирование. Аналитики что-то там считают и говорят, что нужно 8ТБ. Базисты говорят нам нужно 10ТБ (как тут на этой неделе один казах спрашивал). Ну базисты не дураки же. Берут запас. Серверники дают им 10ТБ. В рейде 10, то есть 40ТБ. Потом начинается эксплуатация, выясняется, что аналитики взяли цифры с воздуха. Например, 5000 запросов в секунду - этот барьер оказался не преодолим для казахского Егова (даже министр давал интервью почему именно так а не иначе в 2020м году. Да и в этом году Ashyq тоже не взял этот барьер. Пришлось банковскому сектору помогать.) И вот база растёт и место кончается, а на дворе только июль месяц. Бюджет на год уже расписан, чуда не будет. Никто не отдаст свои мощности. Нужно срочно формировать бюджет на следующий финансовый год, то есть по факту ждите новых железок только к 4 кварталу следующего года. Что делать? Нужно на Девопс-чате спросить. Там ведь люди добрые и помогут бесплатно.
Старый добрый ао нит🙃
очень захватывающе... а продолжение будет?
По 2014 году уже НДА вышло. А по другим нет.
Нэ, я про "...база ростет и место кончается..", вот с этим что делать 😃
Ничего. Это же не в компетенции инженера. Компетенция инженера довести до ПМ, что место почти нет. А я бы ещё искал бы другое место работы, поработал бы там с годик и вернулся бы обратно на зарплаты 2 раза больше.
как сказал один мой знакомый админ "пойду пока купорос не начался"
Обсуждают сегодня