серверах ядер больше, но они чуть медленнее старых. Если дробить на 40 потоков (файлов) вставляемые данные, то вставляет веселее (до 30 ядер грузит), но ошибка потом выскакивает to many parts... пока решили подробить данные на число нод кластера.
Ждать стабилизации 20 версии с многопоточной вставкой или есть идеи получше?
Кстати, нам такая большая вставка потребовалась для миграции с одного кластера на другой с минимизацией простоя, в прод условиях объем меньше вставляется (инкрементально), но clickhouse-copier не умеет реплицировать со стедалон в реплейктед таблицы. Может быть есть утилиты для лайф миграции со стендалон на кластер?
>to many parts... ну так временно можно сделать не 300 а например 3000 партов. >Ждать стабилизации 20 версии с многопоточной вставкой Да не вставка там многопоточная, а парсинг входного файла. >но clickhouse-copier не умеет реплицировать со стедалон в реплейктед таблицы ????????? ему вообще-то пофиг Зачем вам инсерты вообще? Не проще готовые парты переложить? Январь со стенделона на первый шард, февраль на второй шард и т.д.
Обсуждают сегодня