184 похожих чатов

Всем привет. Подскажите, плиз, нам нужно выполнять по запросу порядка 2к

запросов типа

insert into table select col1,col2,sum(col4) from table where ... group by col1,col2

Если начинаем подряд слать 2к штук, то взлетает количество кусков, и начинает идти дым.

Как это можно оптимизировать? Понимаю, что в КХ слать батчем, но тут практически нереально объединить эти 2к запросов в один большой.
Если мы их отправим через ; эти чем-то поможет? т.е. будет одна отправка в КХ, а не несколько.

2 ответов

16 просмотров

Сгруппировать по таргетам и аплоадом через файл (дескриптор / сокет)

Можно сначала сделать много мелких INSERT-ов в таблицу типа StripeLog (или TinyLog или Log), а потом уже из неё INSERT SELECT в MergeTree. Простые таблицы StripeLog/TinyLog/Log как раз подходят для временных данных.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта