,больших обьемов из csv через КХ клиент. Вставляю через cat file.csv | clichhouse-client --query=«insert into…». Через 1-2 млрд строк кластер ведет себя оч странно, некоторые ноды перестают реплицировать совсем, данные неравномерно начинают ложиться на ноды. Некоторые ноды вообще залипают, к ним невозможно подключиться, в логах безумное кол-во разных ошибок итп. Мердж явно не успевает пройти. Если делать sleep в 5-10мин, с интервалами между вставками в неск сот млн - мердж успевает пройти и проблемы нет. 19.3.3. Есть какие то best practiсe как грузить большие обьемы батчем, без остановки?
Нужно выбрать размер блока и скорость вставки такую чтобы успевал фоновые слияения делать. Блоки примерно по 100-200К строк раз в секунду - обычно нормально, больше - может не успевать.
>в логах безумное кол-во разных ошибок каких? например too many parts там есть? дефолтные параметры про кол-во партов меняли?
Обсуждают сегодня