А есть что почитать по буферным таблицам? В доке как

Question

А есть что почитать по буферным таблицам? В доке как

то скудно. Туда можно постоянно писать что то? Как часто она синкается с основной? Есть данные которые приходят по ~2000 штук в минуту, надо куда то их в риалтайме записывать, вторую реляционную базу не очень хочется поднимать.

#backend #clickhouse #database #devops #programming #russian

0

30.07.2020

1 ответов

9 просмотров

【D】【J】 · Accepted Answer

>А есть что почитать по буферным таблицам? куда уж детальней https://clickhouse.tech/docs/ru/engines/table-engines/special/buffer/ > Туда можно постоянно писать что то? можно. > Как часто она синкается с основной? она не синкается. она "флашится" по условиям. Условия по ссылке. > Есть данные которые приходят по ~2000 штук в минуту, надо куда то их в риалтайме записывать, вторую реляционную базу не очень хочется поднимать. пишите в буфер, либо в кафку, либо сами в аппе аггрегируйте, либо возьмите батчер типа киттенхаус/clickhouse-bulk. 2000 штук в минуту - непонятный термин. 2000 строк одной вставкой? 2000 вставок? если 2000 вставок и число будет сильно расти (например до 20000), httpapi может тупо не справится, не зависимо от того используется буфер или нет. buffer лучше не использовать с replicatedMT, из-за механизма дедупликации в нем. buffer потеряет не записанные на диск данные при падении КХ.

184 похожих чатов

А есть что почитать по буферным таблицам? В доке как

1 ответов

Похожие вопросы