Всем привет! Подскажите пожалуйста (киньте докой, статьями) возможно ли в

Question

Всем привет! Подскажите пожалуйста (киньте докой, статьями) возможно ли в

КХ настроить запись в одну таблицу с нескольких источников?
Например с нескольких сервисов собирать данные и писать в одну таблицу?
Непонятно что с блокировками, транзакции в КХ не поддерживаются.

Сходу кажется что лучше сделать запись в разные таблицы а потом собрать поверх агрегат.

#backend #clickhouse #database #devops #programming #russian

0

28.04.2021

7 ответов

10 просмотров

Олес Vasina Автор вопроса

Vladimir Goncharov
если запросов в секунду на запись очень много, то ...

и то есть если из разных источников идет одновременная запись то она будет происходить последовательно ?

0

28.04.2021

Vladimir Goncharov

Олес Vasina
и то есть если из разных источников идет одновреме...

если слоёв у буфера несколько, то попадать строки из разных слоёв могут не в порядке попадения этих строк в кликхаус. если слой один, то данные из буфера в таблицы попадают в том же порядке, что и в буфер https://clickhouse.tech/docs/ru/engines/table-engines/special/buffer/

0

28.04.2021

Олес Vasina Автор вопроса

Vladimir Goncharov
если слоёв у буфера несколько, то попадать строки ...

Спасибо!

0

28.04.2021

Slach [altinity]

Олес Vasina
и то есть если из разных источников идет одновреме...

если из разных источников одновременно идет запись в MergeTree таблицу 1) пишите большими батчами а не одиночными строками 2) каждый INSERT запрос разбивается на блоки по миллиону записей (если записей в INSERT меньше миллиона, то блок один, см. https://clickhouse.tech/docs/en/operations/settings/settings/#min-insert-block-size-rows) дальше в зависимости от вашего PARTITION BY и данных в блоке этот блок бьется по кол-ву партиций (обычно так и остается один блок), дальше для каждой партиции создается "кусок данных" (см. system.parts) в котором данные уже сжаты и отсортированы в .bin файлы по ORDER BY \ и созданы .mrk* файлы по PRIMARY KEY \ *.idx по data skip indexes 3) каждый новый system.parts "имутабелен" сразу доступен для чтения после создания без всяких блокировок 4) после этого идет фоновый процесс background merge который сливает более мелкие parts внутри partition в более крупные

0

28.04.2021

Олес Vasina Автор вопроса

Slach [altinity]
если из разных источников одновременно идет запись...

Спасибо! То есть я правильно понимаю что какие-то дополнительные настройки не требуются кроме батчей?

0

28.04.2021

Slach [altinity]

Олес Vasina
Спасибо! То есть я правильно понимаю что какие-то ...

да, нужна только вставка батчами ну у вас должно хватать пропускной способности чтобы эти батчи сжатые последовательно писать на диск то есть если вы запустите 100 паралельных INSERT а диска \ RAM и CPU хватает только на 10 то будет боль clickhouse при вставке аллоцирует буфера под каждую колонку около 2 мегабайт 100 колонок - 2 гигабайта памяти на 1 INSERT

0

28.04.2021

Vladimir Goncharov · Accepted Answer

Vladimir Goncharov

если запросов в секунду на запись очень много, то можно использовать таблицу с движком буфер.

0

28.04.2021

184 похожих чатов

Всем привет! Подскажите пожалуйста (киньте докой, статьями) возможно ли в

7 ответов

Похожие вопросы