from remote не может происходить дублирования данных ? Наример прошел запрос where date >='2021-06-02' and date <'2021-06-03' и через какое-то время снова такой же запрос.
если вставка идет в ReplicatedMergeTree таблицу то если у вас два блока с одинаковой контрольной суммой (два раза запустили INSERT INTO ... SELECT ... и remote Таблица не менялась за это время) сработает insert_deduplicate и eplicated_deduplication_window https://clickhouse.tech/docs/en/operations/settings/merge-tree-settings/#replicated-deduplication-window https://clickhouse.tech/docs/en/operations/settings/settings/#settings-insert-deduplicate
как это проверить? Перефразирую: каким запросом сравнить выбранные даны локальной таблицы и remote ?
ну SELECT count() FROM db.table WHERE ... сравнить с SELECT count() FROM remote() WHERE ... для начала
Обсуждают сегодня