running запросов? Представьте у вас табличка с логами сервисов за год и вам нужно найти в ней пару строк. Пусть запрос будет бежать хоть целый час (фулскан), но eventually добежит
Мы не нашли, написали на job scheduler свой движок для очереди и истории запросов.
а какая проблема с запросом в час? Что не так? Если не хочется настраивать разные таймауты, то просто запускаете в clickhouse-client - он со своим прогресс-баром не обрывается сколько угодно.
Честно говоря, не могу себе представить такие костыли ;) Кажется, что вам нужно просто перезапускать запрос при ошибке. Ну и поставить max_threads=1, возможно. Ну а если хочется этот запрос поделить на части, а потом объединить результаты, то тем более сложно представить, как СУБД может с этим помочь. Вы знаете такие механизмы в других системах?
не по теме изначального вопроса, но clickhouse как раз та самая субд, которая может помочь разделить любой запрос на части, а потом смерджить результаты. Тут собственно все так работает - как между ядрами, так и серверами. За это и любим.
Да, конечно, но чтобы материализовать промежуточные результаты и продолжить после сбоя или перезагрузки, или сделать перерыв на время максимальной загрузки, нужны дополнительные усилия ;)
Обсуждают сегодня