slower for SELECT but with the 10 MB threshould you will have only a small portion of data in compact parts and the difference will be neglible. At the same time, compact parts are much faster for INSERT and as INSERTs generate small parts, they will benefit from compact format."
Можно ли из этого сделать вывод, что нужно стараться вставлять такими батчами, чтобы создавались парты типа compact? Я, честно говоря, предполагал, что для максимизации скорости вставка должна идти максимально возможными батчами. Это заблуждение?
Скорее компактные парты это оптимизация для тех, кто не может вставлять большими батчами
тут надо отметить, мы например используем вообще полностью только компактные парты для таблиц с 1000-ми колонок на больших схемах (иначе КХ просто не стартанет). особого замедления на селектах не замечено...
Насколько я знаю, вставки только до ~1 млн строк атомарны, так что прямо совсем огромные вставки делать тоже нет смысла. ИМХО оптимально вставлять такими батчами, чтобы не больше ~1 инсерта в секунду делать на весь сервер, т.е. если например есть 30 таблиц, то в каждую вставлять не чаще раза в 30 секунд, ну или пока не накопите ~несколько сотен тысяч строк.
круто и сколько строк в таблицах?
все несколько сложнее, (до ~1 млн строк атомарны) -- если соблюдается несколько условий, тут в чатике есть люди которые вынуждены вставлять по 20млн.(тоже атомарно), и у них триллионы узких строк в таблице.
не особо, любой запрос без partitionkey 'умирает', это форсится =) а в многострочной где то по 312 млн в день, где то 9 млрд в месяц набежит... просто их много же... поэтому то что пару запросов чуток медленно - это не страшно
причем сейчас заметил ещё парты что-то без пинка не мерджатся, по 15 активных в партишне... придется ещё и принудительный optimize делать
Обсуждают сегодня