Доброго утра. Подскажите как правильно мигрировать большие таблицы из MergeTree

Question

Доброго утра. Подскажите как правильно мигрировать большие таблицы из MergeTree

в ReplicatedMergeTree.

Есть 2MergeTree таблицы 4.32B записей 34 поля, и 8.85B записей 38 полей записей.
Создали 2 таблицы НО:
1. поменяли Order by
2. Добавили одно поле, которое вычисляется из уже существующих.

Запустили insert select на той что меньше, выполнялась больше 12 часов, потом упало вот так:
↑ Progress: 4.07 billion rows, 957.16 GB (95.72 thousand rows/s., 22.51 MB/s.) █████████████████████████████████████████▋ 93%
Received exception from server (version 19.15.3):
Code: 252. DB::Exception: Received from XXX.XXX.XXX.XXX:YYYY. DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts..

0 rows in set. Elapsed: 42527.668 sec. Processed 4.07 billion rows, 957.16 GB (95.72 thousand rows/s., 22.51 MB/s.)

1. Почему так медленно может копировать?
2. Можно ли как-то продолжить оттуда, где упало?
3. Может, можно это провернуть как-то элегантнее?

#backend #clickhouse #database #devops #programming #russian

0

13.11.2020

8 ответов

21 просмотр

Oleksandr Ryzhenko Автор вопроса

Илья Шадрин
а вы прямо колонка в колонку переливаете и меняли ...

струкутуру меняли. Добавили одно вычисляемое поле + поменяли ORDER BY ключ

0

13.11.2020

Илья Шадрин

Oleksandr Ryzhenko
струкутуру меняли. Добавили одно вычисляемое поле ...

а это в рамках одного сервера?

0

13.11.2020

Oleksandr Ryzhenko Автор вопроса

Илья Шадрин
а это в рамках одного сервера?

да, сервер тот же

0

13.11.2020

Gleb

Много партиций наверное, в одном инсерте

0

13.11.2020

Denny [Altinity]

1. потому что надо отсортировать вставляемый парт. 100тыс. строк в сек. это отличная скорость. Есть параллелизация max_insert_threads = 5 но вам это только хуже сделает. 2. продолжить нельзя. 3. делаем кусочками, по одному дню. День скопировали, ждем пока помержится, дальше еще один день.

0

13.11.2020

Slach [altinity]

ну у вас при вставке блоки по миллиону записей в отдельный part вставляются попробуйте поиграться с block_size константами https://clickhouse.tech/docs/en/operations/settings/settings/ и https://clickhouse.tech/docs/en/operations/settings/settings/#settings-max-insert-threads

0

14.11.2020

Oleksandr Ryzhenko Автор вопроса

Slach [altinity]
ну у вас при вставке блоки по миллиону записей в о...

Спасибо, изучу. По совету Дена перенёс частями. Отлично вышло

0

14.11.2020

Илья Шадрин · Accepted Answer

Илья Шадрин

а вы прямо колонка в колонку переливаете и меняли только движок? или структуру тоже меняли?

0

13.11.2020

184 похожих чатов

Доброго утра. Подскажите как правильно мигрировать большие таблицы из MergeTree

8 ответов

Похожие вопросы