Всем привет, у мен отчасти выходит очень неприятная ситуация. Я

Question

Всем привет, у мен отчасти выходит очень неприятная ситуация. Я

провожу r'n'd в плане перевода данных на новый движок (в сетапе сервака ssd и hdd), и при перекачке данных из старой тааблицы в новую:

INSERT INTO rnd.summing_table SELECT min(mindt), max(maxdt), name, type, value, sum(counter) FROM old_db.merge_table GROUP BY name, type, value

изначально возникала ошибка следующего рода:

memory limit (total) exceeded While executing AggregationTransform

окей, мне пришлось вывернуть настройки max_bytes_before_external_group_by = 10000000000, min_bytes_to_use_mmap_io=0 (чисто из любопытства), но у меня вышло следующее:

Cannot write to file /var/lib/clickhouse/tmp/tmp32301zwraaa, errno: 28, strerror: No space left on device: While executing AggregatingTransform.

В общем, как порешать проблему кроме как обновления сервачков? Я понимаю, что это идеальное решение, но это гиблая затея. Возможно, я упускаю какую-то настройку (снова), а мошт просто мудак и ткните пжл куда смотреть

#backend #clickhouse #database #devops #programming #russian

0

09.07.2021

3 ответов

27 просмотров

critskiy Автор вопроса

Piotr Katvitski
кусками вставляй. если упрёшься по итогу в место н...

Кусками u mean делить по периодам, я не помню шоп в клике такое было, но посмотрю, спс

0

09.07.2021

Piotr Katvitski

critskiy
Кусками u mean делить по периодам, я не помню шоп ...

use WHERE Luke

0

09.07.2021

Piotr Katvitski · Accepted Answer

Piotr Katvitski

кусками вставляй. если упрёшься по итогу в место на диске, надо почистить лишнее и потом вставлять. Если лишнего нет... се ля ви. Хотя мб кодеки помогут на новой таблице, можно до несколько десятков % места сэкономить

0

09.07.2021

184 похожих чатов

Всем привет, у мен отчасти выходит очень неприятная ситуация. Я

3 ответов

Похожие вопросы