Кликхаус clickhouse/clickhouse-server:23.10.1 в кубере. Когда резко в моменте растет нагрузка

Question

Кликхаус clickhouse/clickhouse-server:23.10.1 в кубере. Когда резко в моменте растет нагрузка

(например, в 40 клиентов какие-то запросы кидаются), кликхаус начинает есть ~0 CPU и все запросы просто зависают и потом отваливаются по таймауту, клиентом тоже не подключиться. При этом вроде как процесс не стопается (иначе бы перезагрузился под). Спасает только ручная перезагрузка. Подскажите, пожалуйста, куда можно посмотреть, какие настройки поменять?

В логах вроде как ничего сверхъестественного нет. На скрине пример просадки CPU, после ребута все возвращается в норму.

#backend #clickhouse #database #devops #programming #russian

0

07.11.2023

20 ответов

41 просмотр

Andrey Tvorozhkov Автор вопроса

Denny [Altinity]
вообще такое в гитхаб надо спрашивать но https://...

Понял, спасибо

0

5 месяцев назад

Slach [altinity]

limits / requests на pod стоят по CPU? если в limits упираетесь, тогда будет тротлинг

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
limits / requests на pod стоят по CPU? если в lim...

Нет, не стоят

0

5 месяцев назад

Slach [altinity]

Andrey Tvorozhkov
Нет, не стоят

как clickhouse в кубах развернут? через clickhouse-operator ? или какой то кастомный helm chart а-ля bitnami?

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
как clickhouse в кубах развернут? через clickhouse...

Через helm чарт, но не уверен чей. Стейтфул сет выглядит вот так: https://gist.github.com/tvorogme/042954f5ecb7e24c930e40667aefc58f

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
limits / requests на pod стоят по CPU? если в lim...

Стикер

0

5 месяцев назад

Slach [altinity]

поставьте 90%

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
поставьте 90%

А так падает

0

5 месяцев назад

Slach [altinity]

Andrey Tvorozhkov
А так падает

логи контейнера есть? что падает с каким сообщением? или просто pod в Pending переходит?

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
логи контейнера есть? что падает с каким сообщени...

Логи могу сдампить, сек. Нет, под Running, но никак не подключиться к кх. Даже если захожу в контейнер и использую clickhouse-client. Падает с timeout

0

5 месяцев назад

Slach [altinity]

а wget http://127.0.0.1:8123/ping внутри контейнера с clickhouse что показывает?

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
а wget http://127.0.0.1:8123/ping внутри контейнер...

root@clickhouse-0:/# cat ping Ok.

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса

Вот это спасает, т.е. действительно после запуска нагрузки оно отрабатывает и не скатывается в это странное состояние (вроде как, я заметил это совсем недавно)

0

5 месяцев назад

Denny [Altinity]

Andrey Tvorozhkov
Вот это спасает, т.е. действительно после запуска ...

for i in $(ls -1 /proc/$(pidof clickhouse-server)/task/); do kill -TSTP $i; done

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса

Denny [Altinity]
for i in $(ls -1 /proc/$(pidof clickhouse-server)/...

Не помогает ^Croot@clickhouse-0:/# for i in $(ls -1 /proc/$(pidof clickhouse-server)/task/); do kill -TSTP $i; done root@clickhouse-0:/# clickhouse-client -u ... --password "...." ClickHouse client version 23.10.1.1976 (official build). Connecting to localhost:9000 as user mega. Connected to ClickHouse server version 23.10.1 revision 54466.

0

5 месяцев назад

Denny [Altinity]

Andrey Tvorozhkov
Не помогает ^Croot@clickhouse-0:/# for i in $(ls...

в логе КХ что-то остается?

0

5 месяцев назад

Denny [Altinity]

а сервер один? или воспроизводится? я бы проверил что в 23.8.5

0

5 месяцев назад

Andrey Tvorozhkov Автор вопроса