Всем привет! У меня вопрос.. Есть кластер elasticsearch с 150к шардов, 75к

Question

Всем привет! У меня вопрос.. Есть кластер elasticsearch с 150к шардов, 75к

прайм-шардов - версия эластика 6.5.4.
В нём есть проблемы с большим кол-во индексов (Архитектура не правильная) - но выжить как-то нужно....
Состав кластера: 24 дата+ингест ноды, 3 координатора, 6 мастеров.
Значения кластера:
cluster.routing.allocation.cluster_concurrent_rebalance 8 было, теперь 24 - буду делать по 1
cluster.routing.allocation.node_concurrent_recoveries 8 было, теперь 24 - буду делать по 1
Кластер используется как хранилище данных.

Проблема в следующем:

Кластер расширил только на 3 ноды - 6 нод в exclude - буду скоро 6 нод оставшихся подключать в кластер.
После включения 3 нод в кластер пошла релокация:

Но уже почти сутки висит релокация шардов, доходит до 1 шарда в релокации и снова 24 шарда пытаются разъехаться.
При этом в кластере растет кол-во пендинг тасков, было сначала 10-20.
Спусти почти сутки их теперь 1830, и растет.

Подскажите пожалуйста, в какую сторону посмотреть/подтюнить? - чувствую, что таски так и будут расти.
Ребутать не хочется, так как дольше будет собирать все шарды вместе.

0

19.07.2023

1 ответов

26 просмотров

Iwan · Answer 1

Iwan Автор вопроса

сделал шарды по 1 - пединги убрало + все 6 нод ввел, посмотрю, что в итоге будет.

0

19.07.2023

Похожие чаты

Всем привет! У меня вопрос.. Есть кластер elasticsearch с 150к шардов, 75к

1 ответов

Похожие вопросы