Есть словарь, строящийся на тяжёлом запросе к локальной базе (source(clickhouse(query(...)))).

Question

Есть словарь, строящийся на тяжёлом запросе к локальной базе (source(clickhouse(query(...)))).

Уже во второй раз столкнулся с ситуацией, что загрузка этого словаря надолго подвисает и это совпадает с прекращением чтения самого тяжёлого кафка-топика средствами КХ (kafka -> mv -> mt).

Это совпадение или одно может влиять на другое? Например, там словарь использует пул процессов, выделенных под чтение из кафки, или что-нибудь в этом роде.

КХ 21.11

#backend #clickhouse #database #devops #programming #russian

0

14.11.2023

4 ответов

21 просмотр

Alexey Sokolov Автор вопроса

Slach [altinity]
ну пул тредов в целом общий... но скорее может быт...

И это всё в кубере, да. А есть какие-нибудь рецепты на этот случай кроме отказа от кубера, больших словарей и чтения кафки средствами КХ?)

0

14.11.2023

Slach [altinity]

Alexey Sokolov
И это всё в кубере, да. А есть какие-нибудь рецеп...

ну вы сначала убедитесь что именно происходит ... у вас метрики снимаются? для тротлинга там метрика для контейнера есть container_cpu_cfs_throttled_periods_total sum(increase(container_cpu_cfs_throttled_periods_total{container!="metrics-server-nanny"}[5m])) by (container, pod, namespace) / sum(increase(container_cpu_cfs_periods_total{container!="metrics-server-nanny"}[5m])) by (container, pod, namespace) * 100 by разные бывают, смотрите какие label у вас в вашем кубе для метрик

0

14.11.2023

Slach [altinity]

Alexey Sokolov
И это всё в кубере, да. А есть какие-нибудь рецеп...

запрос для словаря с SETTINGS max_threads=2 например сделать ... правда загрузка будет еще дольше словаря... но CPU для kafka останется

0

14.11.2023

Slach [altinity] · Accepted Answer

Slach [altinity]

ну пул тредов в целом общий... но скорее может быть CPU просто не могут поделить... и если у вас еще контейнеры и кубы то сверху может оркестратор приходить и cpu thorttling устраивать...

0

14.11.2023

184 похожих чатов

Есть словарь, строящийся на тяжёлом запросе к локальной базе (source(clickhouse(query(...)))).

4 ответов

Похожие вопросы