Всем привет! Сейчас столкнулся с ошибкой "Merges are processing significantly

Question

Всем привет! Сейчас столкнулся с ошибкой "Merges are processing significantly

slower than inserts" на таблице, куда данные попадуют из кафки чере mv. Один из путей решение "Регулируйте количстве insert'ов в таблицу, вставляйте батчами". Так вот, возник вопрос, а как вообще реализована вставка из кафки? Как я понял, это должно регулироваться двумя параметрами: max_insert_block_size (который по дефолту > 1kk) и таймаутом на flush, который также стоит дефолтный - 7.5 сек.
Так вот, этого должно хватать, чтобя вставка у нас происходила батчами или все-таки нужно по-хорошему делать через буффер?

#backend #clickhouse #database #devops #programming #russian

0

06.05.2023