184 похожих чатов

Имеет ли смысл создавать таблицу с Engine=Kafka и MV в

Distributed таблицу на каждом хосте кластера (на каждой реплике каждого шарда)?

8 ответов

19 просмотров

лучше не надо писать в Distributed (если у вас используется Replicated и не нужен шардинг по ключу) Engine=Kafka и MV конечно надо создавать на всех репликах

Vik-Kin Автор вопроса
Denny [Altinity]
лучше не надо писать в Distributed (если у вас исп...

как тогда размазывать данные по шардам? в MV прописывать условие выборки (аналог ключа шардирования)?

Vik Kin
как тогда размазывать данные по шардам? в MV пропи...

если нужен шардинг по ключу тогда конечно Distributed

Vik-Kin Автор вопроса
Denny [Altinity]
если нужен шардинг по ключу тогда конечно Distribu...

Вот, отсюда вопрос. Distributed таблица по логике одна на весь кластер, если на каждой реплике каждого шарда будет Engine=Kafka и MV TO Distributed, не будет ли дубликатов данных или еще каких проблем? Как я понимаю, каждая реплика с таблицой Engine=Kafka читает кафку под своим консьюмером, то есть каждая реплика достает из кафки свою копию данных, или это не так?

Vik Kin
Вот, отсюда вопрос. Distributed таблица по логике ...

Distributed конечно не одна на весь кластер. Каждая нода КХ независима, и таблицы Distributed на них независимы. >не будет ли дубликатов данных или еще каких проблем не будет. Просто создавайте все одинаково, на каждом ноде все 3 Kafka + MV + Distributed >каждая реплика с таблицой Engine=Kafka читает кафку под своим консьюмером, >то есть каждая реплика достает из кафки свою копию данных, или это не так это так, поэтому все ОК

Vik-Kin Автор вопроса
Denny [Altinity]
Distributed конечно не одна на весь кластер. Кажда...

спасибо большое :)) а internal_replication оставлять по умолчанию (false)?

Vik Kin
спасибо большое :)) а internal_replication оставля...

конечно он должен быть true при ReplicatedMergeTree иначе будут дубликаты internal_replication=true значит что внизу Replicated и она сама internally будет делать репликацию при internal_replication=false — репликацию делает Distributed (она пишет копию во все реплики)

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта