184 похожих чатов

Доброй ночи, вот здесь https://github.com/ClickHouse/ClickHouse/issues/14764 пишут "Compact parts are slightly

slower for SELECT but with the 10 MB threshould you will have only a small portion of data in compact parts and the difference will be neglible. At the same time, compact parts are much faster for INSERT and as INSERTs generate small parts, they will benefit from compact format."
Можно ли из этого сделать вывод, что нужно стараться вставлять такими батчами, чтобы создавались парты типа compact? Я, честно говоря, предполагал, что для максимизации скорости вставка должна идти максимально возможными батчами. Это заблуждение?

7 ответов

15 просмотров

Скорее компактные парты это оптимизация для тех, кто не может вставлять большими батчами

тут надо отметить, мы например используем вообще полностью только компактные парты для таблиц с 1000-ми колонок на больших схемах (иначе КХ просто не стартанет). особого замедления на селектах не замечено...

Насколько я знаю, вставки только до ~1 млн строк атомарны, так что прямо совсем огромные вставки делать тоже нет смысла. ИМХО оптимально вставлять такими батчами, чтобы не больше ~1 инсерта в секунду делать на весь сервер, т.е. если например есть 30 таблиц, то в каждую вставлять не чаще раза в 30 секунд, ну или пока не накопите ~несколько сотен тысяч строк.

Yuran
Насколько я знаю, вставки только до ~1 млн строк а...

все несколько сложнее, (до ~1 млн строк атомарны) -- если соблюдается несколько условий, тут в чатике есть люди которые вынуждены вставлять по 20млн.(тоже атомарно), и у них триллионы узких строк в таблице.

Denny [Altinity]
круто и сколько строк в таблицах?

не особо, любой запрос без partitionkey 'умирает', это форсится =) а в многострочной где то по 312 млн в день, где то 9 млрд в месяц набежит... просто их много же... поэтому то что пару запросов чуток медленно - это не страшно

Denny [Altinity]
круто и сколько строк в таблицах?

причем сейчас заметил ещё парты что-то без пинка не мерджатся, по 15 активных в партишне... придется ещё и принудительный optimize делать

Похожие вопросы

Обсуждают сегодня

Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Коллеги, добрый вечер. Создаю коллекцию от TFPGMap, ключ - перечисление, значение - целое. Нужно отсортировать коллекцию по значению. Как это можно сделать?
Kirill Filippenok
11
Скажи а ты когда этот канал создавал ты уже дельфи не любил, или это со временем пришло?
Роман Лях (rgreat)
18
Привет, такой вопросик появился кажется ли вам что Rust слишком сложный/строгий для высокоуровневого программирования и слишком "безопасный"/строгий для низкоуровневого?
Крокант
10
Всем привет! Использую кастомное модальное диалоговое окошко, все по классике - mrOK, mrCancel как ModalResult. Однако есть нюанс - в главной форме есть универсальный обработч...
Олег Гранишевский
20
Карта сайта