appId и timestamp в ключе и надо будет удалять данные то как лучше поступить
1. Партицирование по дням и удалять потом данные как delete from table where appId in () and timestamp < XXX
2. Или все таки партицировать по дням и по appId и удалять целыми партициями?
Первый варинт дает меньшую общую нагрузку тк количество партиции сильно меньше а мы обнаружили что при относительно большом кол-ве партиции (20К) и больше процессора надо и на диск в разы интенсивнее запись идет (если кому надо могу подробности выложить). Но этот вариант приемлем если удаление будет относительно легковесное и не положит кластер.
Второй вариант жрет больше ресурсов тк кол-во партиции вырастает с 100 до 20К, но удаление относительно бесплатное.
Господа кто знаком с тем как будет реализрванно удаление подскажите какой путь выбрать?
Если у вас так много партиций возможно вы выбрали неправильный ключ.
Обсуждают сегодня