А в clickhouse есть какие нибудь специальные костыли для long

Question

А в clickhouse есть какие нибудь специальные костыли для long

running запросов? Представьте у вас табличка с логами сервисов за год и вам нужно найти в ней пару строк. Пусть запрос будет бежать хоть целый час (фулскан), но eventually добежит

#backend #clickhouse #database #devops #programming #russian

0

23.06.2022

5 ответов

30 просмотров

Boris

а какая проблема с запросом в час? Что не так? Если не хочется настраивать разные таймауты, то просто запускаете в clickhouse-client - он со своим прогресс-баром не обрывается сколько угодно.

0

23.06.2022

Ilya Golshtein

Честно говоря, не могу себе представить такие костыли ;) Кажется, что вам нужно просто перезапускать запрос при ошибке. Ну и поставить max_threads=1, возможно. Ну а если хочется этот запрос поделить на части, а потом объединить результаты, то тем более сложно представить, как СУБД может с этим помочь. Вы знаете такие механизмы в других системах?

0

23.06.2022

Boris

Ilya Golshtein
Честно говоря, не могу себе представить такие кост...

не по теме изначального вопроса, но clickhouse как раз та самая субд, которая может помочь разделить любой запрос на части, а потом смерджить результаты. Тут собственно все так работает - как между ядрами, так и серверами. За это и любим.

0

23.06.2022

Ilya Golshtein

Boris
не по теме изначального вопроса, но clickhouse как...

Да, конечно, но чтобы материализовать промежуточные результаты и продолжить после сбоя или перезагрузки, или сделать перерыв на время максимальной загрузки, нужны дополнительные усилия ;)

0

23.06.2022

Ilya ℝusin · Accepted Answer

Ilya ℝusin

Мы не нашли, написали на job scheduler свой движок для очереди и истории запросов.

0

23.06.2022

184 похожих чатов

А в clickhouse есть какие нибудь специальные костыли для long

5 ответов

Похожие вопросы