Всем привет, столкнулся с проблемой, не могу понять, почему так

Question

Всем привет, столкнулся с проблемой, не могу понять, почему так

происходит.
В общем, есть вот такая вот схема https://fiddle.clickhouse.com/35f8c18a-4865-4146-8807-7147796bcecd
Сам кластер - 2 шарда и у каждого по 1 реплике
Есть цепочка матвьюх, причем первая читает кафку и пишет в распределенную таблицу, второе уже с локальной на локальную таблицу. Делаю один небольшой инсерт на 9 значений.
В аггрегирующей таблице вижу, что значения, которые попадают на второй шард дублируются.
Если убираю реплику на втором шарде, то начинают дублироваться значения первого шарда. Версия клика 23.1

В чем может быть загвоздка?

#backend #clickhouse #database #devops #programming #russian

0

13.09.2023

5 ответов

14 просмотров

Алексей  Автор вопроса

Ilya Golshtein
Еще раз опишите топологию кластера. В нем два или ...

Топология следующая: <remote_servers> <clickhouse> <shard> <replica> <host>clickhouse1</host> <port>9000</port> </replica> <replica> <host>clickhouse2</host> <port>9000</port> </replica> </shard> <shard> <replica> <host>clickhouse3</host> <port>9000</port> </replica> <replica> <host>clickhouse4</host> <port>9000</port> </replica> </shard> </clickhouse> </remote_servers> То есть 2 шарда и у каждого по реплике. Не очень понимаю вопрос про реплики, а почему их не должно быть?

0

13.09.2023

Slach [altinity]

итоговая схема kafka -> mv -> Distributed -> ReplicatedReplacingMergeTree -> mv -> ReplicatedSummingMergeTree скорее всего дело в этом https://clickhouse.com/docs/en/operations/settings/settings#settings-deduplicate-blocks-in-dependent-materialized-views

0

13.09.2023

Алексей  Автор вопроса

Блин, причем эта страницу и читал, но, видимо прям совсем между строчек, пропустил самое важное. Спасибо!

0

13.09.2023

Алексей  Автор вопроса

Slach [altinity]
итоговая схема kafka -> mv -> Distributed -> Repl...

И об этой настройке почитаю, спасибо)

0

13.09.2023