в реплики с кворумом (когда батч пишется не в одну в реплику, а сразу в несколько, для того чтоб быть более уверенным, что данные не пропадут - примерно как Distributed таблицы пишут с отключенной internal_replication) - и оно, собственно работает и _вроде как_ дупликатов не должно возникать, потому что на реплики записываются идентичные блоки. Однако, есть одно сомнительное место - а будет ли работать дедупликация, если кх на одной из реплик успел помержить блок, который только что прилетел к нему, а в другую реплику этот же блок еще не прилетел?
хешики инсертов хранятся отдельно в зукипере и удаляются через какое-то время
вот это техника, спасибо
replicated_deduplication_window Default value: 100. т.е. хранятся последние 100 инсертов
Обсуждают сегодня