Здравствуйте. Посоветуйте плиз. Есть статистика посещений, храним ее в Elasticsearch

(но полнотекстовый поиск не используется). 1 день = 1 индекс,параметров около 20, потом клиенты и менеджеры смотрят графики и диаграммы через нашу панель в разных разрезах, но трафика на чтение мало. Записи же больше, по 10 гб в день индексы. Из-за этого некоторые запросы на чтение довольно долгие, так как смотрят за периоды большие + hdd места отжирается нормально и удалять старое нельзя, что быстро растущие финансовые потери.
Предложили рассмотреть переезд на другую БД, но какие альтернативы есть? Так же предложили Apache Doris, так как по показателям чтения/записи, места - выигрывает неплохо. Вроде как раз под логи хорошая БД.

1) Ну, кликхаус. В принцыпе, очень для этого. Но... 2) 2023. 4TB в год. HDD. Это просто нелепо.

2) Ну под hdd я имел ввиду место просто :)

А-а.

Кликхаус Эластик тоже можно потюнить и подразогнать, скорее всего, но по эффективности использования диска он всё равно не дотнет сильно. По скорости будет сильно зависеть от конкретных запросов В общем, сперва постройте систему нагрузочного тестирования для сравнения разных решений

Ну пока что основная причина перехода именно место. Спасибо :)

У вас какой эластик и как настроена компрессия?

7.4, с вопросом компрессии сложно, так как администратор не я. Я провожу анализ и изучение БД по предложенным вариантам под флоу, которое подойдет нашему приложению. Спасибо за направление, уточню и предложу

В 7.4 можно включить best_compression. Места на диске будет жрать меньше (эффект зависит от данных и может быть от 5 до 40 процентов). Iops на запись упадут, но на чтение вырастут. Ну и, естественно, загрузка CPU тоже вырастет. Скорость выборок может вырасти, а может и просесть. Всё это надо очень аккуратно мерять.

А индексы используются ?

Не согласен. с чего бы? поводов нет.

Не совсем понял, в эластике индекс грубо говоря и есть "табличка".

Ну там отдельно же прописываются индексируемые поля , нет ?

С чем именно не согласен? Основной пойнт был в необходимости сначала выстроить систему для проведения измерений.

Ну там есть маппинг, каждое поле может быть в разных представлениях и типах для тех или иных выборок. Отдельных навешиваний индексов как в мускуле, например, вроде как нет, но мб я ошибаюсь.

С этим согласен. Не согласен с но по эффективности использования диска он всё равно не дотнет сильно.

Ну, у нас есть внутри богатый опыт сравнения. Не буду спорить, но останусь при своём мнении

Ну, это вот что ? https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-create-index.html

Ну это грубо говоря таблица как в mysql

Ну просто , если рассуждать... "Колоночное" сжатие в ES есть ? Есть. Индексы есть ? Есть. Может быть, нет того, что называется PROJECTION - разве что изза этого...

Ну, так они у вас есть? Созданы ?