Добрый день, можете подсказать, у нас есть много витрин с

Question

Добрый день, можете подсказать, у нас есть много витрин с

данными, которые могут меняться каждый час (парсится статистика от партнеров). В кластере у нас 2 реплики, для этих таблиц используем движок ReplicatedMergeTree. Так вот после получения новых данных они пишутся во временную таблицу и потом через REPLACE PARTITION мы подменяем данные из временной таблицы в итоговую таблицу. Когда таких витрин стало много, стали замечать что запись в кластер начала притормаживаться, и запросы могут висеть по 100 секунд. Если зайти в show processlist когда все плохо то там в основном висят запросы с ALTER TABLE по REPLACE PARTITION.

Хочется понять правильный ли это юзкейс для КХ и какие здесь слабые места? ZK на отдельных серверах в кластере из 3-х реплик. Лимитов у него нет, JVM выделено 3Gb heapSize

#backend #clickhouse #database #devops #programming #russian

0

17.05.2023

2 ответов

22 просмотра

Evgeniy Kuts Автор вопроса

Ilya Golshtein
По идее у вас не должно быть записи в тот момент, ...

Вот в это место и думаю, что возможно все. Там порядка 50 парсеров, в какой момент там все записывается и когда было инициировано перемещение партиции не понятно.

0

17.05.2023

Ilya Golshtein · Accepted Answer

Ilya Golshtein

По идее у вас не должно быть записи в тот момент, когда из временной таблицы делается replace partition. Это так?

0

17.05.2023

184 похожих чатов

Добрый день, можете подсказать, у нас есть много витрин с

2 ответов

Похожие вопросы