Здравствуйте! Хотел бы актуализировать для себя тему сторонних дата-коллекторов, таких

Question

Здравствуйте! Хотел бы актуализировать для себя тему сторонних дата-коллекторов, таких

как:
- https://github.com/nikepan/clickhouse-bulk
- https://github.com/bytadaniel/clickcache

актуальны ли эти пакеты, и существует ли необходимость в сортировке и группировке строк в чанки вне кх, если учитывать существование фичи aync_insert?
https://clickhouse.com/docs/en/cloud/bestpractices/asynchronous-inserts

#backend #clickhouse #database #devops #programming #russian

0

15.10.2023

5 ответов

16 просмотров

Daniel Byta Автор вопроса

Slach [altinity]
Умеете в async_insert используйте его Самый л сущ...

Понял, получается, актуальны Получается, что async_insert медленнее работает, что ли?

0

15.10.2023

Slach [altinity]

Daniel Byta
Понял, получается, актуальны Получается, что async...

Нет Не медленней Просто если у вас скажем 200 вставок в секунду по одной записи То получите в async_insert все равно мелкие парты которые потом merge background должны пройти И плюс ещё все равно надо тюнить настройки чтобы не упираться в 100 одновременныхзапросов

0

15.10.2023

Daniel Byta Автор вопроса

Slach [altinity]
Нет Не медленней Просто если у вас скажем 200 вс...

Понял, спасибо

0

15.10.2023

Denny [Altinity]

Daniel Byta
Понял, получается, актуальны Получается, что async...

async_insert же ждет пока вставится (по умолчанию 200мс), если у вас 100 (1000) источников инсертят, то это ок, если 1 то придется мутит многпоточность, т.е. проще батчи делать и не использовать async_insert

0

15.10.2023

Slach [altinity] · Accepted Answer

Slach [altinity]

Умеете в async_insert используйте его Самый л сущий вариант с самого начала буфер на стороне приложения и вставки батчами от 100k или не чаще раза в секунду

0

15.10.2023

184 похожих чатов

Здравствуйте! Хотел бы актуализировать для себя тему сторонних дата-коллекторов, таких

5 ответов

Похожие вопросы