по потере данных после реализации WAL+fsync в clickhouse?
Повреждение данных на диске после записи (bit rot) или в момент записи (RAID write hole) приводит к потере части данных на одной из реплик. Если реплик более одной, то потеря записанных данных имеет очень небольшую вероятность. Впрочем, если данные реплицированы в разных датацентрах, то включение fsync уже даёт не так много преимуществ.
Спасибо большое за ответ
Подскажите пожалуйста, в случае использования репликации, в каких кейсах возможна потеря данных? (одновременный выход из строя всех реплик или еще в каких-то случаях)
После инсерта парт реплицируется некоторе время 1-5сек. Если сервер упадет в течении этих сек, то возможно парт будет потерян потому что он не записан на диск линуксом.
1. Данные не успели быть отреплицированы и выход из строя реплики, на которую они были записаны (сразу после INSERT) - возможно, если не включен insert_quorum. 2. Отключение всех машин по питанию в течение короткого времени (10 минут) после INSERT - вероятно, если машины в одном ДЦ. 3. Выход из строя или повреждение данных на всех репликах. (Маловероятно, но бывают кореллированные сбои, если SSD из одной партии.)
Обсуждают сегодня