вытягивать около 5000 запросов в минуту.
Запросы простые и выграбают только данные за последние 2-3 минуты.
Основная таблица (где даннные храняться за месяцы) вытягивает эти 5000 как раз за 40-50 сек что многовато (получаеться 50 сек из 60 каждую минуту мы грузим основную таблицу).
Появилась идея завести отдельную табличку, скорее всего Memory движок в которую будем писать то же что и в основную. Партицирование сделаем каждую минуту и будем держать только последние 5 мин в этой табличке.
Рабочии вариант или есть проще? (ну чтобы самим с партицирование не возиться и удалением, может есть готовый движок который "окно" держит?)
Если вы вдруг какие-нибудь метрики храните, то можете посмотреть на GraphiteMergeTree. Там можно настроить так, что данные старше N минут будут аггрерироваться в одну строку.
Обсуждают сегодня