184 похожих чатов

Спасибо, так и оказалось. Одно ядро сортирует и на новых

серверах ядер больше, но они чуть медленнее старых. Если дробить на 40 потоков (файлов) вставляемые данные, то вставляет веселее (до 30 ядер грузит), но ошибка потом выскакивает to many parts... пока решили подробить данные на число нод кластера.
Ждать стабилизации 20 версии с многопоточной вставкой или есть идеи получше?
Кстати, нам такая большая вставка потребовалась для миграции с одного кластера на другой с минимизацией простоя, в прод условиях объем меньше вставляется (инкрементально), но clickhouse-copier не умеет реплицировать со стедалон в реплейктед таблицы. Может быть есть утилиты для лайф миграции со стендалон на кластер?

1 ответов

14 просмотров

>to many parts... ну так временно можно сделать не 300 а например 3000 партов. >Ждать стабилизации 20 версии с многопоточной вставкой Да не вставка там многопоточная, а парсинг входного файла. >но clickhouse-copier не умеет реплицировать со стедалон в реплейктед таблицы ????????? ему вообще-то пофиг Зачем вам инсерты вообще? Не проще готовые парты переложить? Январь со стенделона на первый шард, февраль на второй шард и т.д.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта