Доброе тро, подскажите плз по возможному варианту устранения ошибки ClickHouse

Question

Доброе тро, подскажите плз по возможному варианту устранения ошибки ClickHouse

exception, code: 241, возникает при довольно простом запросе к таблице в 40млн записей с джойном справочников, при добавлении сортировки order by.
в настройках профиля пользователя выставлено
<max_memory_usage>10737418240</max_memory_usage>
<max_bytes_before_external_group_by>3221225472</max_bytes_before_external_group_by>
<max_bytes_before_external_sort>3221225472</max_bytes_before_external_sort>
<distributed_aggregation_memory_efficient>1</distributed_aggregation_memory_efficient>
при таких раскладах разве не должен использоваться диск при недостатке памяти? как только сортировку убираю - все норм

#backend #clickhouse #database #devops #programming #russian

0

11.05.2021

8 ответов

23 просмотра

SvPupok Автор вопроса

Slach [altinity]
сколько записей без ORDER BY выдается? сколько пам...

сколько записей наверное не смогу сказать, гуй использует лимитацию вывода

0

11.05.2021

Slach [altinity]

SvPupok
сколько записей наверное не смогу сказать, гуй исп...

то есть сделать SELECT count() ... вместо SELECT field1, field2 религия не позволяет? ;) ну в общем ORDER BY будет выделять вам 3 гигабайта и потом делать сортировку слиянием на диске GROUP BY который будет ДО ORDER BY тоже после 3 гигабайт, будет сливать данные на диск. но потом ему как то в итоге придется прочитать все данные чтобы передать в сортировку... то есть где то 6 гигабайт у вас должно быть аллоцировано минимум что показывает SELECT event_time, type memory_usage FROM system.query_log WHERE query_id='UUID из сообщения об ошибке ? доступ на сервер есть чтобы сразу в /var/log/clickhouse-server/*.err.log смотреть?

0

11.05.2021

SvPupok Автор вопроса

Slach [altinity]
то есть сделать SELECT count() ... вместо SELECT f...

сорь не понял сразу вопроса) сейчас запрошу доступ на сервер

0

11.05.2021

SvPupok Автор вопроса

Slach [altinity]
то есть сделать SELECT count() ... вместо SELECT f...

0

11.05.2021

Slach [altinity]

SvPupok

ну то есть аллоцировало 10 положенных гигабайт и сдохло сколько записей то после GROUP BY получается? попробуйте уменьшить через параметры сортировки до гигабайта SETTINGS max_bytes_before_external_sort=1073741824

0

11.05.2021

SvPupok Автор вопроса

Slach [altinity]
ну то есть аллоцировало 10 положенных гигабайт и с...

у меня нет группировки, только сортировка

0

11.05.2021

SvPupok Автор вопроса

Slach [altinity]
ну то есть аллоцировало 10 положенных гигабайт и с...

уменьшение помогло

0

11.05.2021