> А что если кто то сделает ALTER DELETE или

Question

> А что если кто то сделает ALTER DELETE или

дроп партиции?
сами виноваты. это будет запрещено

> insert_quorum не работает, если одна реплика недоступна
на время недоступности реплики мы можем остановить вставку, это допустимо. важнее не потерять вход данные

> Ну в кафке и назад заглянуть можно, вы какое окно собираетесь держать?
это не очень удобно:
1. надо понять на какой оффсет откатиться. а как это точно определить?
2. что если между оффсетами N, от которого что-то потерялось и M (текущий) потерялись не все данные, а часть. повторный процессинг всех, начиная от N, создаст дубли, чего хотелось бы избежать.

я в прод clickhouse еще не использовал, поэтому не совсем понимаю при каких условиях могли бы потеряться данные после вставки с insert_quorum=2. возможно кто-то может поделиться печальным опытом

#backend #clickhouse #database #devops #programming #russian

0

21.10.2021

1 ответов

27 просмотров

Dmitry [Altinity] Titov · Accepted Answer

> 1. надо понять на какой оффсет откатиться. а как это точно определить? Хранить оффсеты у строк. > сами виноваты. это будет запрещено Ну так или иначе манипуляции с данными производить нужно. Самое надежное это иметь 2 разных кластера кх с отдельными пайплайнами

184 похожих чатов

> А что если кто то сделает ALTER DELETE или

1 ответов

Похожие вопросы