Привет! Может кто подсказать сходу какие-то техники, как правильно перелить

Question

Привет! Может кто подсказать сходу какие-то техники, как правильно перелить

данные из одной таблицы MergeTree в Distributed из 4ех шардов?

Делаю insert into select в саму Distributed, все работает, но не сходится количество записей с оригиналом если свериться по датам. Оригинал и Distributed почти не отличаются структурно. Записей где-то 10 млрд плюс минус

#backend #clickhouse #database #devops #programming #russian

0

15.12.2020

9 ответов

14 просмотров

mrAndersen Автор вопроса

Причем если вставлять сразу на шард — работает норм

0

15.12.2020

mrAndersen Автор вопроса

Denny [Altinity]
наверное они лежат в Distributed

Неа, таблица из которой делается select — обычный MergeTree на одном сервере. Если из неё делать селект и вставлять на один из шардов кластера — то всё ок, а если вставлять сразу в distributed — то терятся часть данных причем непонятно по какой логике, например 1 2 3 и 6 месяцы — норм, а 5ый 4ый пропадает до 10% строк

0

15.12.2020

Denny [Altinity]

mrAndersen
Неа, таблица из которой делается select — обычный ...

неа. >данные из одной таблицы MergeTree в Distributed из 4ех шардов? вы вставляете в Distributed. Distributed по дефолту пишет себе на диск инсерты и ретранслирует их асинхронно в шарды. Инсерты могут не пролезать в шарды (по различным причинам) и вы об этом не узнаете

0

15.12.2020

Denny [Altinity]

mrAndersen
Неа, таблица из которой делается select — обычный ...

какие таблицы за Distributed ? ReplacingMT или MergeTree ?

0

15.12.2020

mrAndersen Автор вопроса

Denny [Altinity]
какие таблицы за Distributed ? ReplacingMT или Mer...

4 x MergeTree по одной на каждый шард, шард без реплик, ошибок на шардах нет (err.log)

0

15.12.2020