Здравствуйте) Вопрос такого плана. Есть продукт, рассылает вайбер сообщения клиентам, то-есть: Рассылка/ —

Question

Здравствуйте) Вопрос такого плана. Есть продукт, рассылает вайбер сообщения клиентам, то-есть: Рассылка/ —

Аудитория рассылки: контакт, телефон, json отправляеемый провайдеру/ ID от провайдера / последний статус от провайдера
На текущий момент на классическом стеке стала проблема даже инсерта аудитории, потому что рассылки могут быть по 200к за раз, а обновления статусов при потоке 10к Update в секунду тоже дает нагрузку постоянно, лоча таблицу.

Вопрос глобально в переделке всей архитектуры, и я подумываю о Clickhouse, куда выноситься аудитория и отдельно обновления статусов сообщений и возникшие вопросы такие:
1. Партиционирование таблицы аудитория рассылки по рассылке - а если внезапно рассылок овер 64к? Скушает файловая система?
2. Обновление статусов отдельного сообщения - по факту нужно хранить последнее значение - может ли таблица в дальнейшем "сжиматься" на основе "timestamp" до вида Рассылка/IDсообщения/последний статус/timestamp

#backend #clickhouse #database #devops #programming #russian

0

12.02.2020