Привет! Вопрос по шардам - мы живем на репликах, сейчас

Question

Привет! Вопрос по шардам - мы живем на репликах, сейчас

переезжаем на шарды и у нас есть несколько мест где мы в ReplacingMergeTree обновляем данные (insert строки с большим значением в версии) - есть ли какой-то механизм таких “апдейтов” на шарде (вставлять в дистрибутед таблицу) при условии что изначально в шарды пишется рандомом (мы не знаем на каком шарде данные). При выборке из distributed таблицы строки с более актуальными версиями будут ли правильно мержится?

#backend #clickhouse #database #devops #programming #russian

0

21.02.2022

9 ответов

32 просмотра

Alexey Petrunyaka

А вы не можете использовать хэш функцию от ключа вместо настоящего рандома? С ней вы и равномерно раскидаете и гарантируете попадание обновляемых данных на один и тот же шард.

0

21.02.2022

rasstroen Автор вопроса

Константин
Прочитайте, что тако Distibuted таблица и скорей в...

For example, for a query with GROUP BY, data will be aggregated on remote servers, and the intermediate states of aggregate functions will be sent to the requestor server. Then data will be further aggregated.

0

21.02.2022

Константин

rasstroen
For example, for a query with GROUP BY, data will ...

Ну по факту, дистрибьютед таблица кидает запрос на все шарды, а какие там данные, она не знает

0

21.02.2022

Konstantin Ilchenko

подбирайте детерминированный ключ шардирования, обычно cityHas64(uuid column) может быть хорошим вариантом или что-то из доменной области

0

21.02.2022

rasstroen Автор вопроса