184 похожих чатов

Имеет ли смысл создавать таблицу с Engine=Kafka и MV в

Distributed таблицу на каждом хосте кластера (на каждой реплике каждого шарда)?

8 ответов

9 просмотров

лучше не надо писать в Distributed (если у вас используется Replicated и не нужен шардинг по ключу) Engine=Kafka и MV конечно надо создавать на всех репликах

Vik-Kin Автор вопроса
Denny [Altinity]
лучше не надо писать в Distributed (если у вас исп...

как тогда размазывать данные по шардам? в MV прописывать условие выборки (аналог ключа шардирования)?

Vik Kin
как тогда размазывать данные по шардам? в MV пропи...

если нужен шардинг по ключу тогда конечно Distributed

Vik-Kin Автор вопроса
Denny [Altinity]
если нужен шардинг по ключу тогда конечно Distribu...

Вот, отсюда вопрос. Distributed таблица по логике одна на весь кластер, если на каждой реплике каждого шарда будет Engine=Kafka и MV TO Distributed, не будет ли дубликатов данных или еще каких проблем? Как я понимаю, каждая реплика с таблицой Engine=Kafka читает кафку под своим консьюмером, то есть каждая реплика достает из кафки свою копию данных, или это не так?

Vik Kin
Вот, отсюда вопрос. Distributed таблица по логике ...

Distributed конечно не одна на весь кластер. Каждая нода КХ независима, и таблицы Distributed на них независимы. >не будет ли дубликатов данных или еще каких проблем не будет. Просто создавайте все одинаково, на каждом ноде все 3 Kafka + MV + Distributed >каждая реплика с таблицой Engine=Kafka читает кафку под своим консьюмером, >то есть каждая реплика достает из кафки свою копию данных, или это не так это так, поэтому все ОК

Vik-Kin Автор вопроса
Denny [Altinity]
Distributed конечно не одна на весь кластер. Кажда...

спасибо большое :)) а internal_replication оставлять по умолчанию (false)?

Vik Kin
спасибо большое :)) а internal_replication оставля...

конечно он должен быть true при ReplicatedMergeTree иначе будут дубликаты internal_replication=true значит что внизу Replicated и она сама internally будет делать репликацию при internal_replication=false — репликацию делает Distributed (она пишет копию во все реплики)

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Привет, запускаю werf в dind в k8s, получаю ошибку на этапе build/beforeSetup: /.werf/stapel/embedded/bin/bash: /.werf/scripts/5898bdfe5214357d3706b879cc8d3d78460fb379607cbd...
florius0
6
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Подскажите, можно ведь комбинировать запись данных в один и тот же Stream через TFileStream и через TCompressionStream поочерёдно? Ну т.е. часть данных мне нужно сжать, часть ...
notme
4
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Ребят, кто сталкивался с тем, что Electron.js не разворачивает билд React.js-приложения? Голый body в чёрном цвете, как и должно быть, но остального - нет. Билд работает исп...
..
6
Карта сайта