Товарищи, добрый день. Такой вопрос возник. Есть таблица log_table engine=Log(), 3

Question

Товарищи, добрый день. Такой вопрос возник. Есть таблица log_table engine=Log(), 3

млрд. строк.
Я хочу сделать добавить несколько столбцов и сделать MergeTree, т.е. я делаю такую вещь:

CREATE TABLE new_table engine = MergeTree() ORDER BY user_id AS
SELECT *, <пара простых вычислений> from log_table.

И эта штука выжирает огромное количество памяти (>128 Гб), если я делаю CREATE TABLE new_table engine = Log(), то всё логично, используется < 1 Гб. Вопрос такой: можно ли как-то это решить? Автоматический пагинатор селекта??

#backend #clickhouse #database #devops #programming #russian

0

31.03.2022

9 ответов

29 просмотров

Evgeniy Sergeev

в SELECT есть группировка или сортировка?

0

31.03.2022

Evgeniy Sergeev

Evgeniy Sergeev
в SELECT есть группировка или сортировка?

Если да, то можно ограничить max_bytes_before_external_group_by max_bytes_before_external_sort

0

31.03.2022

Ilya Fiks Автор вопроса

Evgeniy Sergeev
в SELECT есть группировка или сортировка?

Нет

0

31.03.2022

Evgeniy Sergeev

Ilya Fiks
Нет

Попробуйте это https://clickhouse.com/docs/ru/sql-reference/statements/select/#implementation-details

0

31.03.2022

Ilya Fiks Автор вопроса

Evgeniy Sergeev
Попробуйте это https://clickhouse.com/docs/ru/sql-...

да, понял

0

31.03.2022

Константин

Ilya Fiks
Нет

Как я вижу, проблема в том, что это разные движки и кликхаус хочет всю таблицу в расжатом виде положить в оперативную память. Попробуйте сначала создать таблицу, а потом в неё вставить, проблема должна уйти

0

31.03.2022

Ilya Fiks Автор вопроса

Константин
Как я вижу, проблема в том, что это разные движки ...

да, я тоже понимаю, что он сначала весь select пытается в оперативку засунуть, а потом создает таблицу

0

31.03.2022

Ilya Fiks Автор вопроса

решилось SETTINGS max_memory_usage = 1000000000

0

31.03.2022