184 похожих чатов

Доброго утра. Подскажите как правильно мигрировать большие таблицы из MergeTree

в ReplicatedMergeTree.

Есть 2MergeTree таблицы 4.32B записей 34 поля, и 8.85B записей 38 полей записей.
Создали 2 таблицы НО:
1. поменяли Order by
2. Добавили одно поле, которое вычисляется из уже существующих.

Запустили insert select на той что меньше, выполнялась больше 12 часов, потом упало вот так:
↑ Progress: 4.07 billion rows, 957.16 GB (95.72 thousand rows/s., 22.51 MB/s.) █████████████████████████████████████████▋ 93%
Received exception from server (version 19.15.3):
Code: 252. DB::Exception: Received from XXX.XXX.XXX.XXX:YYYY. DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts..

0 rows in set. Elapsed: 42527.668 sec. Processed 4.07 billion rows, 957.16 GB (95.72 thousand rows/s., 22.51 MB/s.)

1. Почему так медленно может копировать?
2. Можно ли как-то продолжить оттуда, где упало?
3. Может, можно это провернуть как-то элегантнее?

8 ответов

19 просмотров

а вы прямо колонка в колонку переливаете и меняли только движок? или структуру тоже меняли?

Oleksandr-Ryzhenko Автор вопроса
Илья Шадрин
а вы прямо колонка в колонку переливаете и меняли ...

струкутуру меняли. Добавили одно вычисляемое поле + поменяли ORDER BY ключ

Oleksandr-Ryzhenko Автор вопроса

Много партиций наверное, в одном инсерте

1. потому что надо отсортировать вставляемый парт. 100тыс. строк в сек. это отличная скорость. Есть параллелизация max_insert_threads = 5 но вам это только хуже сделает. 2. продолжить нельзя. 3. делаем кусочками, по одному дню. День скопировали, ждем пока помержится, дальше еще один день.

ну у вас при вставке блоки по миллиону записей в отдельный part вставляются попробуйте поиграться с block_size константами https://clickhouse.tech/docs/en/operations/settings/settings/ и https://clickhouse.tech/docs/en/operations/settings/settings/#settings-max-insert-threads

Oleksandr-Ryzhenko Автор вопроса
Slach [altinity]
ну у вас при вставке блоки по миллиону записей в о...

Спасибо, изучу. По совету Дена перенёс частями. Отлично вышло

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Мужики. привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных элементов...
Kraszx
2
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Всем привет! Кто пользуется DevExpress, подскажите пожалуйста, реализован ли в TcxGrid в новых версиях поиск по датам как в Экселе (ну т.е. не просто список чекбоксов со значе...
A Z
4
Карта сайта