Вопрос на тему дубликатов. Есть вот такая таблица CREATE TABLE IF

Question

Вопрос на тему дубликатов. Есть вот такая таблица CREATE TABLE IF

NOT EXISTS statistic.requests ON CLUSTER clustername (
...
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/requests', '{replica}')
PARTITION BY toYYYYMM(EventDate)
ORDER BY (EventDate);

Над этой таблице есть dist таблица, вставляю данные через dist таблицу.

И заметил след. при вставки одних и тех же данных через некоторое время перестают попадать в КХ.

В чем причина такого поведения ?

#backend #clickhouse #database #devops #programming #russian

0

06.12.2021

1 ответов

16 просмотров

Denny [Altinity] · Accepted Answer

set insert_deduplicate = 0; https://clickhouse.com/docs/ru/engines/table-engines/mergetree-family/replication/ Блоки данных дедуплицируются. При многократной записи одного и того же блока данных (блоков данных одинакового размера, содержащих одни и те же строчки в одном и том же порядке), блок будет записан только один раз. Это сделано для того, чтобы в случае сбоя в сети, когда клиентское приложение не может понять, были ли данные записаны в БД, можно было просто повторить запрос INSERT. При этом не имеет значения, на какую реплику будут отправлены INSERT-ы с одинаковыми данными. Запрос INSERT идемпотентный. Параметры дедуплицирования регулируются настройками сервера merge_tree

184 похожих чатов

Вопрос на тему дубликатов. Есть вот такая таблица CREATE TABLE IF

1 ответов

Похожие вопросы