Привет. А куда смотреть если у нас в кафку пишется

Question

Привет. А куда смотреть если у нас в кафку пишется

примерно 100 тысяч строчек в секунду а кликхаус тормозит и не успевает их читать и отстает на 2 часа (ретеншн данных в кафке) от текущих данных и в итоге просто теряет большую часть данных потому что они по ретеншну успевают отвалиться? max_block_size поставили 1000000 что еще посмотреть? На сервере процессор нагружен процента на 2, оперативки свободной больше сотни Гб, диски быстрые.

#backend #clickhouse #database #devops #programming #russian

0

06.11.2020

9 ответов

21 просмотр

hamper 𓅝 Автор вопроса

Gleb
пропускной способности сети не хватет мб?

Да не похоже, там вроде как тоже относительно запас есть еще, подумали что надо бы обновить хотя бы до 20.10 а то там в 20.9 какие-то оптимизации движка кафки были.

0

06.11.2020

Gleb

hamper 𓅝
Да не похоже, там вроде как тоже относительно запа...

а сколько партиций кафки?

0

06.11.2020

hamper 𓅝 Автор вопроса

Gleb
а сколько партиций кафки?

1 а это влияет на чтение из нее? Потому что вставляться данные в нее успевают.

0

06.11.2020

Gleb

hamper 𓅝
1 а это влияет на чтение из нее? Потому что вставл...

добавь еще 9 партиций, посмотрим)

0

06.11.2020

hamper 𓅝 Автор вопроса

Gleb
добавь еще 9 партиций, посмотрим)

Ага попробуем.

0

06.11.2020

hamper 𓅝 Автор вопроса

Gleb
добавь еще 9 партиций, посмотрим)

Обновили кх, сделали 30 партиций в кафке, вроде ускорилось чтение процентов на 20, но все же не так уж много, пока будем наблюдать за сколько он их каждой партиции по десятку миллионов записей прочитает и увеличится или уменьшится отставание.

0

06.11.2020

Gleb

hamper 𓅝
Обновили кх, сделали 30 партиций в кафке, вроде ус...

А какое у вас распределение по партициям равномерное?

0

06.11.2020

hamper 𓅝 Автор вопроса

Gleb
А какое у вас распределение по партициям равномерн...

Да, равномерное.

0

06.11.2020