Подскажите, я создаю таблицу вот с таким движком ENGINE = ReplicatedMergeTree('/clickhouse_prod/tables/akonyaev/akonyaev_test_1',

Question

Подскажите, я создаю таблицу вот с таким движком ENGINE = ReplicatedMergeTree('/clickhouse_prod/tables/akonyaev/akonyaev_test_1',

'{replica}-{shard}') PARTITION BY date ORDER BY (debit_finish_time, purchase_reportable_time, purchase_id, debit_id) SETTINGS index_granularity = 8192Коэффициент репликации в моём случае получается 4.
Я пытаюсь сделать insert файла на 3 млн строк (1.7 GB в tsv) через консольную утилиту, и через 10 минут получаю отлуп. Он не смог сделать и 2 млн записей.

потом я создаю таблицу без репликации
MergeTree() PARTITION BY date ORDER BY (debit_finish_time, purchase_reportable_time, purchase_id, debit_id) SETTINGS index_granularity = 8192и вся информация заливается в течении 30 секунд.

Я проверил что insert_quorum = 0
т.е. я не должен ждать реплики при записи.

Вопрос, куда вообще можно ковырнуть и что посмотреть для решения данной проблемы?

#backend #clickhouse #database #devops #programming #russian

0

20.11.2018

1 ответов

14 просмотров

Kirill Shvakov · Accepted Answer

Kirill Shvakov

А сколько смог? Для реплицируемых таблиц каждый вставленный блок надо в Зукипере зарегистрировать, если блоки идут мелкие, то вставка будет долгой.

0

20.11.2018

184 похожих чатов

Подскажите, я создаю таблицу вот с таким движком ENGINE = ReplicatedMergeTree('/clickhouse_prod/tables/akonyaev/akonyaev_test_1',

1 ответов

Похожие вопросы