Добрый день, подскажите почему может такое происходить: 1. Есть запрос, возвращает

Question

Добрый день, подскажите почему может такое происходить: 1. Есть запрос, возвращает

5000 строк, 10 столбцов (внутри запроса суммирование, и другие обработки данных), в исходной таблице использующейся в запросе 100+ млн строк 80+ столбцов. Не кластер
2. Запрос отрабатывает за 30 секунд (это пока устраивает)
3. Если сделать таблицу и в неё произвести insert строк из запроса - работает 6+ минут.
3.1. Если сделать Live View то обновление её происходит за 6+ минут
3.2. Если сделать create table ... as select ... то те же 6+ минут
3.3. Если запрос за кинуть в словарь - те же 6+ минут

В чем может быть проблема?

#backend #clickhouse #database #devops #programming #russian

0

29.09.2022

5 ответов

22 просмотра

Роман Болдырев Автор вопроса

Slach [altinity]
ну смотря что за таблица конечная... какой движок?...

Конечная таблица MergeTree (делал Memory то же самое), без партиций и с order by прикидывал по разному, итог 1 = 6+ минут

0

29.09.2022

Роман Болдырев Автор вопроса

Slach [altinity]
ну смотря что за таблица конечная... какой движок?...

Посмотрел, когда создаю таблицу из select* from view - не используется MergeTreeInOrderSelectProcessor, если вытащить из view запрос - то все ок, ожидаемые 30 сек.

0

29.09.2022

Slach [altinity]

Роман Болдырев
Посмотрел, когда создаю таблицу из select* from vi...

значит какая то бага в процессинге view судя по тому что тут https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aissue+MergeTreeInOrderSelectProcessor ничего похожего на ваш баг не находится советую сделать issue в котором сделать простейший пример с одним полем и view и без view в котором сравнить скорость и использование MergeTreeInOrderSelectProcessor

0

29.09.2022

Роман Болдырев Автор вопроса

Slach [altinity]
значит какая то бага в процессинге view судя по т...

Спасибо, уже делаю тестовый пример

0

29.09.2022

Slach [altinity] · Accepted Answer

ну смотря что за таблица конечная... какой движок? какой PARTITION BY ? но видимо у вас где то threadpool сдувается при трансформации ... попробуйте в clickhouse-client SET send_logs_level='trace'; SELECT ... ; CREATE TABLE ... AS SELECT... и посмотреть по логам в чем разница между SELECT и CREATE TABLE ... AS SELECT ...

184 похожих чатов

Добрый день, подскажите почему может такое происходить: 1. Есть запрос, возвращает

5 ответов

Похожие вопросы