разным аккаунтам в системе, кол-во строк на данный момент ~10 млрд. Сделать обычное партицирование по месяцу или добавить еще разбиение по аккаунту (знаю что большое кол-во партиций плохо) или по аккаунту но уже не по месяцу а по кварталу наример?
все варианты хорошие, выбирать вам. если аккаунтов больше 100, то добавлять их в партиции плохая идея. Ну инсерты надо делать так, чтобы инсерт затрагивал как можно меньше партиций, т.е. инсертилка должна аккамулировать записи в разрезе аккаунта и не делать очень маленькие инсерты, когда вставляется 3 строки.
Все инсерты из Кафки через МВ
ну тогда партиции по toYYYYMM
Обсуждают сегодня