Привет! Имеется кластер Clickhouse с тремя шардами по две реплики

Question

Привет! Имеется кластер Clickhouse с тремя шардами по две реплики

на каждом. При запросе к Distributed таблице первого шарда по query_log видно, что на второй шард запрос отправляется только на одну реплику, а на третий на обе. В итоге запрос на одной из реплик третего шарда падает с ошибкой Code: 210. DB::NetException: I/O error: Broken pipe, while writing to socket. Но в целом запрос корректно отрабатывает. Подскажите, это нормальное поведение? Либо что-то не то в настройках?

#backend #clickhouse #database #devops #programming #russian

0

01.11.2023

6 ответов

17 просмотров

Denny [Altinity]

Это делает hedged_request. Их можно отключит

0

01.11.2023

Alex Bezverkhikh Автор вопроса

Slach [altinity]
да это нормальное поведение есть переменная conn...

У нас connect_timeout_with_failover_ms = 1000, max_parallel_replicas = 1. Из порядка 600 тыс однотипных запросов в сутки только порядка 1000 с такой ошибкой. В этом случае что может является причиной запуска запроса на вторую реплику?

0

02.11.2023

Slach [altinity]

Alex Bezverkhikh
У нас connect_timeout_with_failover_ms = 1000, max...

ну вон вам там про hedged denny уже писал да может...

0

02.11.2023

Alex Bezverkhikh Автор вопроса

Slach [altinity]
ну вон вам там про hedged denny уже писал да може...

Да, use_hedged_requests = 1. Но почему одни запросы дублируются, а другие нет?

0

02.11.2023

Slach [altinity]

Alex Bezverkhikh
Да, use_hedged_requests = 1. Но почему одни запрос...

потому что в одних таймаут срабатывает в других нет

0

02.11.2023

Slach [altinity] · Accepted Answer

да это нормальное поведение есть переменная connect_timeout_with_failover_ms https://clickhouse.com/docs/en/operations/settings/settings#connect-timeout-with-failover-ms посмотрите какое у вас выставлено значение, раньше она 100ms была. и если нет ответа на коннект к реплике. то спрашивается следующая живая в шарде, в итоге когда ответ появляется distributed клиент нода инициатор сокет со своей стороны закрыла и вы получаете broken pipe еще есть max_parallel_replicas https://clickhouse.com/docs/en/operations/settings/settings#max_parallel_replicas ее не рекомендуют с sub queries использовать...

184 похожих чатов

Привет! Имеется кластер Clickhouse с тремя шардами по две реплики

6 ответов

Похожие вопросы