Подскажите, из-за чего может у КХ (22.8.5.29) в кубере умирать

Question

Подскажите, из-за чего может у КХ (22.8.5.29) в кубере умирать

HTTP интерфейс? после рестарта контейнера какое то время http работает, потом запросы уходят в бесконечное выполнение, при этом через clickhouse-client всё отлично продолжает работать

#backend #clickhouse #database #devops #programming #russian

0

28.09.2022

13 ответов

11 просмотров

Konstantin Sevastianov Автор вопроса

Slach [altinity]
кто-то жрет диск например и все текущие query вста...

А клиент почему продолжает работать?

0

28.09.2022

Slach [altinity]

Konstantin Sevastianov
А клиент почему продолжает работать?

какой именно? clickhouse-client? то есть прямо норм работает? SELECT version() выдает? тогда не знаю... смотрите логи в /var/log/clickhouse-server/

0

28.09.2022

Konstantin Sevastianov Автор вопроса

Slach [altinity]
какой именно? clickhouse-client? то есть прямо н...

Да, запросы через clickhouse-client работают идеально, не только version но и любые агрегации на данных. Встаёт колом http интерфейс. В логах тишина

0

28.09.2022

Slach [altinity]

Konstantin Sevastianov
Да, запросы через clickhouse-client работают идеал...

kubectl exec -n <namespace> <clickhouse-pod-name> -- curl http://127.0.0.1:8123/ping точно интерфейс не работает? или сервис куберовский может просто endpoint потерял через который конектитесь? kubectl describe для пода сделайте или у вас просто docker?

0

28.09.2022

Konstantin Sevastianov Автор вопроса

Slach [altinity]
kubectl exec -n <namespace> <clickhouse-pod-name> ...

внутри контейнера можно сделать curl https://ch11.stat/ping, но запрос curl http://127.0.0.1:8123/?query\=select%201 уже падает по таймауту

0

28.09.2022

Slach [altinity]

Konstantin Sevastianov
внутри контейнера можно сделать curl https://ch11....

:8123/ping имеется ввиду? или что? curl -vvv http://127.0.0.1:8123/ping пробуйте внутри контейнера ch11.stat на 80й порт пойдет если порт не указать по хосту вообще непонятно куда

0

28.09.2022

Alexander Ivanov

Slach [altinity]
:8123/ping имеется ввиду? или что? curl -vvv http...

Именно так и делали. curl http://127.0.0.1:8123/ping работает, а curl http://127.0.0.1:8123/?query\=select%201 - таймаут.

0

28.09.2022

Slach [altinity]

Alexander Ivanov
Именно так и делали. curl http://127.0.0.1:8123/p...

ну остается снять трафик через tcpdump -i any port 8123 на curl "http://127.0.0.1:8123/?query=SELECT+1" и посмотреть есть ли SYN ACK и передается ли вообще HTTP запрос в сокет

0

28.09.2022

Denny [Altinity]

Slach [altinity]
кто-то жрет диск например и все текущие query вста...

Да баг это конечно

0

28.09.2022

Konstantin Sevastianov Автор вопроса

Denny [Altinity]
Да баг это конечно

Мы переехали на него 5 дней назад, а http интерфейс начал отваливаться только сегодня. Не понятно где что пошло не так(

0

28.09.2022

Alexander Ivanov

Slach [altinity]
ну остается снять трафик через tcpdump -i any port...

запросы идут trace снимали даже, но получаем таймаут: https://pastila.nl/?019e4699/060bd4b8cdbd09693f158c1127cb559c

0

28.09.2022

ivan

Konstantin Sevastianov
Мы переехали на него 5 дней назад, а http интерфей...

как разберетесь (или вдруг пофиксите какой-нибудь следующей версией), сообщите сюда пожалуйста у нас тоже после вчерашнего обновления на эту версию http соединения от Superset приказали долго жить

0

28.09.2022

Slach [altinity] · Accepted Answer

Slach [altinity]

кто-то жрет диск например и все текущие query встают колом... ожидая iops и даже /ping не работает точнее работает но таймаут 10 секунд лучше выставить на liveness пробу

0

28.09.2022

184 похожих чатов

Подскажите, из-за чего может у КХ (22.8.5.29) в кубере умирать

13 ответов

Похожие вопросы