184 похожих чатов

Привет. Есть проблема со вставкой в дистрибьютед таблу,смотрящую на mergeTree

,больших обьемов из csv через КХ клиент. Вставляю через cat file.csv | clichhouse-client --query=«insert into…». Через 1-2 млрд строк кластер ведет себя оч странно, некоторые ноды перестают реплицировать совсем, данные неравномерно начинают ложиться на ноды. Некоторые ноды вообще залипают, к ним невозможно подключиться, в логах безумное кол-во разных ошибок итп. Мердж явно не успевает пройти. Если делать sleep в 5-10мин, с интервалами между вставками в неск сот млн - мердж успевает пройти и проблемы нет. 19.3.3. Есть какие то best practiсe как грузить большие обьемы батчем, без остановки?

2 ответов

8 просмотров

Нужно выбрать размер блока и скорость вставки такую чтобы успевал фоновые слияения делать. Блоки примерно по 100-200К строк раз в секунду - обычно нормально, больше - может не успевать.

>в логах безумное кол-во разных ошибок каких? например too many parts там есть? дефолтные параметры про кол-во партов меняли?

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
70
Здравствуйте. Задача состоит в том, чтобы сделать real-time чат в мобильном приложении. После передачи сообщения пользователем через веб-сокеты, для основного и долговременног...
🐾
5
Всем доброго дня, ребят подскажите пожалуйста, если в курсе по ассемблеру используется MASM32, могу ли я использовать FASM? В чем явная разница и будет ли у меня все работать?
Botsman
17
падает джоба хотя уже была собрана на соседнем namespace, куда капать? │ │ Copying blob sha256:2fa066caddb8f09a71082b03aa43046f79346a01d9c89e06a1f508bb1207dba5 427 │ │ Copyin...
Andrei St
2
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
Люди добрые, помогите с идеями, потому что свои закончились. У клиента падает софтина в момент инициализации модуля OtlEventMonitor на RegisterWindowMessage('Gp/OtlTaskEvents/...
Михаил Усков
7
Тут просто дело в том, что я не могу сейчас дать такие подробности из за того что рассчитать это всё нереально. Этого проекта который я хочу сделать ещё даже не существует) И ...
🐾
8
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
2
Карта сайта