Всем привет, у меня вопрос по сочетанию шардинга с ReplicatedMergeTree

Question

Всем привет, у меня вопрос по сочетанию шардинга с ReplicatedMergeTree

таблицами.

Если я правильно понял, в случае если Distributed таблица смотрит в Replicated таблицы - нужно выставлять ключ internal_replication в true, и в этом случае Distributed таблица будет вставлять данные только в первую живую реплику.

Правильно ли я понимаю, что для того чтобы и репликация работала, и шардинг - нужно указать несколько реплик в каждом из шардов, а также вручную потом сходить и объявить реплики для ReplicatedMergeTree именно на тех же серверах кластера, которые указаны в качестве реплики в remote_servers ?

#backend #clickhouse #database #devops #programming #russian

0

26.10.2020

6 ответов

8 просмотров

Denny [Altinity]

никакого кластера нет. Replicated и Distributed не знают друг про друга. Поэтому делаем репликацию через Replicated. А запросы делаем через Distributed, собирая с шардов, Distributed необходимо знать про несколько (все) реплики чтобы сходить в живую. Если шард один у какой-то маленькой таблицы - дименшина и она например среплицирована 75 раз, то Distributed вообще не нужна

0

26.10.2020

Nick Автор вопроса

Slach [altinity]
в целом вы правильно поняли 1) шарды и реплики вну...

Спасибо за быстрый ответ, все же непонятно как мапить реплики из ReplicationMergeTree таблиц на шарды

0

26.10.2020

Nick Автор вопроса

Denny [Altinity]
никакого кластера нет. Replicated и Distributed н...

Получается что реплики в шардировании должны накладываться на те же сервера, где есть реплики с ReplicatedMergeTree?

0

26.10.2020

Denny [Altinity]

Nick
Получается что реплики в шардировании должны накла...

да, Distributed ничего не знает о том где какие данные лежат. Вы должны описать шарды и внутри шардов реплики, именно так как у вас лежат данные

0

26.10.2020

Nick Автор вопроса

Denny [Altinity]
да, Distributed ничего не знает о том где какие да...

Алилуйя, спасибо. Получается, что я могу иметь реплику в ReplicatedMergeTree, но если она будет не на том сервере что указан в remote_servers в реплике - Distributed таблица о ней ничего не будет знать, и хоть данные где-то будут - прочитать через Distributed их не получится

0

26.10.2020

Slach [altinity] · Accepted Answer

в целом вы правильно поняли 1) шарды и реплики внутри шардов указываются через <remove_servers> секции в XML конфигах, чтобы данные из одного сервера реплициировались в другой надо выставлять internal_replication 2) для того чтобы проще было создавать ReplicatedMergeTree таблицы есть CREATE TABLE ... ON CLUSTER, который реплицирует DDL statements через Zookeeper 3) Distributed таблица может работать и на чтение и на запись, запись в distributed сначала разбивает данные на куски в соответствии с ключом шардирования и складывает на том сервере на котором вы INSERT запрос выполнили, а потом отсылает это все в одну из конечных реплик 4) если есть возможность разбивать данные самостоятельно, и вставлять в нужную реплику самостоятельно, то будет быстрее вставляться

184 похожих чатов

Всем привет, у меня вопрос по сочетанию шардинга с ReplicatedMergeTree

6 ответов

Похожие вопросы