и с разной периодичностью(от 1 до 5 секунд рекомендовали). Я так понимаю чтобы CH успевал сортировать, кодировать, сжимать и вставлять батч.
Правильно ли я понимаю, что нужно сделдать insert, дождаться ответа, а только после слать новый? Или по 1 сек между началом инсерта?
Мне нужно вставить несколько ТБ данных. И есть вставлять по 1М записей в 5 секунд, то это будет очень долго. Как вставлять данные быстрее? Увеличить размер батча?
insert не вернется (синхронный), но можете слать в несколько потоков можно сколько угодно вставлять если есть понимание, что каждый новый инсерт создаст отдельный кусок с Н-файлов (колонки, индексы, засечки), которые будут мерджится в фоне большой инсерт лучше - потому что он уже сортирует все заранее во вставляемом батче —- как часто вам надо вставить эти несколько ТБ один раз? раз в минуту? раз в день? есть ли ограничение на скорость? вставлять параллельно большими батчами - быстрее всего - оптимальный размер определять методом проб и ошибок
Можно в параллель, типа 8 ядер, 8 инсертов одновременно
Обсуждают сегодня