Привет! Есть кластер, ноды которого не одинаковы по размеру дисков.

Question

Привет! Есть кластер, ноды которого не одинаковы по размеру дисков.

Есть кафка. из топика которой льются данные через queue->mat. view->local tables на каждой ноде. Я попытался распределить потоки данных через количество consumers в queue-tables, с целью накопления бОльшего обьема данных на нодах с большим обьемом дисков, но кафка распределяет то количество партиций, которое есть в топике не пропорционально количеству consumers, которое я указал. Кто нибудь сталкивался с подобной проблемой?

#backend #clickhouse #database #devops #programming #russian

0

24.05.2023

8 ответов

13 просмотров

Andrey Kolesnikov Автор вопроса

Denny [Altinity]
я бы делал через дистрибьютид таблицу и веса. вы ...

по сути это одна большая таблица. А заливка через distributed с round() и весами на шардах сильно увеличивает нагрузку?

0

24.05.2023

Denny [Altinity]

Andrey Kolesnikov
по сути это одна большая таблица. А заливка через ...

round ? rand() ? >А заливка через distributed с round() и весами на шардах сильно увеличивает нагрузку? нагрузку создаваемую инсертами ну зависит от того сколько лить, увеличивает на сеть процентов на 30, на cpu тоже типа процентов на 20

0

24.05.2023

Andrey Kolesnikov Автор вопроса

Denny [Altinity]
round ? rand() ? >А заливка через distributed с r...

Ясно. Спасибо. А насколько плохая идея делать attach/detach queue-table в зависимости от заполненности диска на ноде внешним скриптом?

0

24.05.2023

Denny [Altinity]

Andrey Kolesnikov
Ясно. Спасибо. А насколько плохая идея делать atta...

нормальная идея. я вопрос спрашивал, потому что я ничего не понял из первого сообщения, повторю вы пытались количеством kafka таблиц регулировать?

0

24.05.2023

Andrey Kolesnikov Автор вопроса

Denny [Altinity]
нормальная идея. я вопрос спрашивал, потому что ...

Я не понял вопрос, видимо. Сейчас на каждой ноде есть одна кафка-таблица для этого топика. Вы имеете ввиду, что можно создать несколько кафка-таблиц на одной ноде для одного топика и лить данные в одну local несколькими mat.view ?

0

24.05.2023

Denny [Altinity]

Andrey Kolesnikov
Я не понял вопрос, видимо. Сейчас на каждой ноде е...

что такое кол-во consumers ? Я попытался распределить потоки данных через количество consumers в queue-tables

0

24.05.2023

Andrey Kolesnikov Автор вопроса

Denny [Altinity]
что такое кол-во consumers ? Я попытался распред...

kafka_num_consumers

0

24.05.2023