Так а что мешает вставить в TinyLog, а потом по

Question

Так а что мешает вставить в TinyLog, а потом по

партициям вставить в приемник на MergeTree? Вы же понимаете что лимит max_partitions_per_insert_block = 100 нифига не просто так? Что найдя способ вставить в КХ за раз кучу партиций вы в итоге выстрелите себе в ногу? Например перезапустите КХ и он будет стартовать два часа

#backend #clickhouse #database #devops #programming #russian

0

03.08.2020

2 ответов

15 просмотров

Sergey Lossev

Да, я отлично понимаю все эти последствия. Но таблица уже исторически сложилось, и мне лишь нужно закинуть в неё данные, чтобы коллеги могли начать с ней работать, а уж потом буду думать на тему, что как оптимизировать. Да, перезапуск занимает минуты, но меня это не беспокоит, т.к. на скорость основной работы это не влияет, а если и влияет, то этого пока не заметно - всё летает Поэтому, собственно, и возник вопрос - то ли есть способ быстро обойти это ограничение, то ли нужно ещё делать обёртку на стороне, чтобы всё впихнуть по частям

0

03.08.2020

Slach [altinity] · Accepted Answer

стартовать 2 часа он не будет, но просто сработает другой триггер когда слишком много будет партов для мержа то есть если у вас 100 партиций и у вас вставка 100 партов (кусков) по 1 в кажду партицию, то вы получаете засирание при мерже в бакграунде, на сортировке слиянием, потому что вам надо будет как минимум 200 партов прочитать чтобы смержить туда по 1 куску... в каждую из 100 партиций

184 похожих чатов

Так а что мешает вставить в TinyLog, а потом по

2 ответов

Похожие вопросы