запросов типа
insert into table select col1,col2,sum(col4) from table where ... group by col1,col2
Если начинаем подряд слать 2к штук, то взлетает количество кусков, и начинает идти дым.
Как это можно оптимизировать? Понимаю, что в КХ слать батчем, но тут практически нереально объединить эти 2к запросов в один большой.
Если мы их отправим через ; эти чем-то поможет? т.е. будет одна отправка в КХ, а не несколько.
Сгруппировать по таргетам и аплоадом через файл (дескриптор / сокет)
Можно сначала сделать много мелких INSERT-ов в таблицу типа StripeLog (или TinyLog или Log), а потом уже из неё INSERT SELECT в MergeTree. Простые таблицы StripeLog/TinyLog/Log как раз подходят для временных данных.
Обсуждают сегодня