Подскажите, пожалуйста, вот по такой ситуации и проектированию инлексов. Есть

Question

Подскажите, пожалуйста, вот по такой ситуации и проектированию инлексов. Есть

много данных, терабайты и мы пишем в условно один индекс для которого происходит постоянно rollover и уходит в warm и cold tiers.
Но когда мы ищем по всему индексу но по датам то еластик все равно будет бежать по всему индексу и хоть там данные и дефрагментированы (forcemerge) но так как там обычные диски то поиск все равно медленно.
Я вот думаю как организовать индексы и возможно добавить алиасы по типу - aliasFrom2022 aliasFrom2023 или даже aliasFrom202201 aliasFrom202202 чтобы когда ищем с датой то еластик не все индексы шерстил.
Может есть еще какие-то подходы как улучшить быстродействие запросов в части чтобы не по всем индексам искал еластик?

0

15.11.2023

14 ответов

43 просмотра

Olga Tomakhina 💛 💙 Автор вопроса

Andrey TOkareV
Руководство говорит, что шарды не должны превышать...

Мы в GCP , в документации рекомендовано 25-50 на шарду… не подскажете где про 10 есть инфо?

0

15.11.2023

Andrey TOkareV

Olga Tomakhina 💛 💙
Мы в GCP , в документации рекомендовано 25-50 на ш...

Сейчас не могу ссылку кинуть, в закрытом контуре нахожусь. Есть на официальном сайте в руководстве, в разделе, если память не подводит how to.

0

15.11.2023

Alex Tkachuk

Andrey TOkareV
Сейчас не могу ссылку кинуть, в закрытом контуре н...

На официальном сайте тоже до 50

0

15.11.2023

Andrey TOkareV

Alex Tkachuk
На официальном сайте тоже до 50

Странно. Я там читал пару месяцев назад 10. Может чего поменялось. Вечером сам гляну.

0

15.11.2023

Олег Rash

Andrey TOkareV
Странно. Я там читал пару месяцев назад 10. Может ...

Стикер

0

15.11.2023

Andrey TOkareV

Ок. Спасибо, видимо раньше было по-другому.

0

15.11.2023

Михаил Хлуднев

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-multiple-indices.html можно явно указать по каким индексам искать.

0

15.11.2023

Olga Tomakhina 💛 💙 Автор вопроса

та их много будет... алиасы прийдется делать

0

17.11.2023

Михаил Хлуднев

Olga Tomakhina 💛 💙
та их много будет... алиасы прийдется делать

wildcard *-ами подхватывайте пачки индексов.

0

17.11.2023

Olga Tomakhina 💛 💙 Автор вопроса

Михаил Хлуднев
wildcard *-ами подхватывайте пачки индексов.

ну или так...

0

17.11.2023

Alex Tkachuk

Olga Tomakhina 💛 💙
та их много будет... алиасы прийдется делать

Elasticsearch is quite efficient when it comes to filtering out shards that do not have any data within a time range Вы уверены что это та проблема которую Вы ищите? Там на древних версиях действительно вопросы были и баги по этому поводу, конечно, но...

0

17.11.2023

Михаил Хлуднев

Alex Tkachuk
Elasticsearch is quite efficient when it comes to ...

Соу тру. Ну хоть какие-нибудь безобидные реакции включите то. Как тут тусить то можно без реакций то?

0

17.11.2023

Alex Tkachuk

Михаил Хлуднев
Соу тру. Ну хоть какие-нибудь безобидные реакции ...

Боты влетают и на миллионы сообщений реакции ставят

0

17.11.2023

Andrey TOkareV · Accepted Answer

Руководство говорит, что шарды не должны превышать размера 10гб. Если индекс спроектирован правильно, то должно работать хорошо. Где-то видел еще цифру 40 ГБ на шард. Также следует использовать по возможности nvme накопители. И использовать raid0

Похожие чаты

Подскажите, пожалуйста, вот по такой ситуации и проектированию инлексов. Есть

14 ответов

Похожие вопросы