Кликхаус clickhouse/clickhouse-server:23.10.1 в кубере. Когда резко в моменте растет нагрузка

Question

Кликхаус clickhouse/clickhouse-server:23.10.1 в кубере. Когда резко в моменте растет нагрузка

(например, в 40 клиентов какие-то запросы кидаются), кликхаус начинает есть ~0 CPU и все запросы просто зависают и потом отваливаются по таймауту, клиентом тоже не подключиться. При этом вроде как процесс не стопается (иначе бы перезагрузился под). Спасает только ручная перезагрузка. Подскажите, пожалуйста, куда можно посмотреть, какие настройки поменять?

В логах вроде как ничего сверхъестественного нет. На скрине пример просадки CPU, после ребута все возвращается в норму.

#backend #clickhouse #database #devops #programming #russian

0

07.11.2023

20 ответов

104 просмотра

Andrey Tvorozhkov Автор вопроса

Denny [Altinity]
вообще такое в гитхаб надо спрашивать но https://...

Понял, спасибо

0

07.11.2023

Slach [altinity]

limits / requests на pod стоят по CPU? если в limits упираетесь, тогда будет тротлинг

0

07.11.2023

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
limits / requests на pod стоят по CPU? если в lim...

Нет, не стоят

0

07.11.2023

Slach [altinity]

Andrey Tvorozhkov
Нет, не стоят

как clickhouse в кубах развернут? через clickhouse-operator ? или какой то кастомный helm chart а-ля bitnami?

0

07.11.2023

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
как clickhouse в кубах развернут? через clickhouse...

Через helm чарт, но не уверен чей. Стейтфул сет выглядит вот так: https://gist.github.com/tvorogme/042954f5ecb7e24c930e40667aefc58f

0

07.11.2023

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
limits / requests на pod стоят по CPU? если в lim...

Стикер

0

07.11.2023

Slach [altinity]

поставьте 90%

0

07.11.2023

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
поставьте 90%

А так падает

0

07.11.2023

Slach [altinity]

Andrey Tvorozhkov
А так падает

логи контейнера есть? что падает с каким сообщением? или просто pod в Pending переходит?

0

07.11.2023

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
логи контейнера есть? что падает с каким сообщени...

Логи могу сдампить, сек. Нет, под Running, но никак не подключиться к кх. Даже если захожу в контейнер и использую clickhouse-client. Падает с timeout

0

07.11.2023

Slach [altinity]

а wget http://127.0.0.1:8123/ping внутри контейнера с clickhouse что показывает?

0

07.11.2023

Andrey Tvorozhkov Автор вопроса

Slach [altinity]
а wget http://127.0.0.1:8123/ping внутри контейнер...

root@clickhouse-0:/# cat ping Ok.

0

07.11.2023

Andrey Tvorozhkov Автор вопроса

Вот это спасает, т.е. действительно после запуска нагрузки оно отрабатывает и не скатывается в это странное состояние (вроде как, я заметил это совсем недавно)

0

07.11.2023

Denny [Altinity]

Andrey Tvorozhkov
Вот это спасает, т.е. действительно после запуска ...

for i in $(ls -1 /proc/$(pidof clickhouse-server)/task/); do kill -TSTP $i; done

0

07.11.2023

Andrey Tvorozhkov Автор вопроса

Denny [Altinity]
for i in $(ls -1 /proc/$(pidof clickhouse-server)/...

Не помогает ^Croot@clickhouse-0:/# for i in $(ls -1 /proc/$(pidof clickhouse-server)/task/); do kill -TSTP $i; done root@clickhouse-0:/# clickhouse-client -u ... --password "...." ClickHouse client version 23.10.1.1976 (official build). Connecting to localhost:9000 as user mega. Connected to ClickHouse server version 23.10.1 revision 54466.

0

07.11.2023

Denny [Altinity]

Andrey Tvorozhkov
Не помогает ^Croot@clickhouse-0:/# for i in $(ls...

в логе КХ что-то остается?

0

07.11.2023

Denny [Altinity]

а сервер один? или воспроизводится? я бы проверил что в 23.8.5

0

07.11.2023

Andrey Tvorozhkov Автор вопроса