184 похожих чатов

Привет. Есть проблема со вставкой в дистрибьютед таблу,смотрящую на mergeTree

,больших обьемов из csv через КХ клиент. Вставляю через cat file.csv | clichhouse-client --query=«insert into…». Через 1-2 млрд строк кластер ведет себя оч странно, некоторые ноды перестают реплицировать совсем, данные неравномерно начинают ложиться на ноды. Некоторые ноды вообще залипают, к ним невозможно подключиться, в логах безумное кол-во разных ошибок итп. Мердж явно не успевает пройти. Если делать sleep в 5-10мин, с интервалами между вставками в неск сот млн - мердж успевает пройти и проблемы нет. 19.3.3. Есть какие то best practiсe как грузить большие обьемы батчем, без остановки?

2 ответов

16 просмотров

Нужно выбрать размер блока и скорость вставки такую чтобы успевал фоновые слияения делать. Блоки примерно по 100-200К строк раз в секунду - обычно нормально, больше - может не успевать.

>в логах безумное кол-во разных ошибок каких? например too many parts там есть? дефолтные параметры про кол-во партов меняли?

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
> Копаем глубже > Следующий момент был, когда я спросил его, знает ли он JavaScript. Он ответил, что его учили работать с C#. Я тоже в университете писал на C#, но даже там мн...
Oleg Volkov
4
И никого не интересует какие пакеты кто использует. ((% Заходишь на сайт симфони и видишь поддержку Украины - по законам РФ это ж экстремизм. Только никто не отказывается от с...
Am Ambrion
11
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
Чтобы перехватить все нажимания буков на форме, надо хук ставить? Пробовал на форме ОнКейДаун, оно ловит клаву если фокус не на компоненте с вводом текста
Serjone
15
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
7
Народ! Впервые клиенту пришло письмо от РКН, у вас, дескать, есть яндекс метрика, а нигде не написано, что вы ее юзаете. Никто не сталкивался?
Sasha Beep
14
Всем привет! вывожу на общей стр дочерние ресурсыв каждом ресурсе галерея, и первая фотка должна выводиться на общей [!DocLister? &prepare=photo !]
Alekso
12
А можно вопрос? Мне сегодня сказали что у меня функция (которая просто заполняет массив значениями) не правильная void Full(double * arr, int n) { for (int i = 0; i < n; i...
† C E †
7
Добрый вечер. Хочу чтобы у меня в классе поле было функцией, которая возвращает строку. Делаю так: interface ... TGetOutPath = function : String of object; ... protec...
Kirill Filippenok
12
Карта сайта