Коллеги, привет. Подскажите best practice по сайзингу шардов. На данный

Question

Коллеги, привет. Подскажите best practice по сайзингу шардов. На данный

момент имею 6 hot нод с парой десятков относительно небольших дневных индексов (до 40гб/день), у каждого из них по 6 шардов и один индекс 4тб (3ккк документов), у него 12 шардов. На тачках по 24cpu, при этом load average стабильно днем >30, есть ощущение недостаточности производительности. Необходимо ли стремиться к <50gb/shard согласно доке ?

0

07.08.2023

3 ответов

21 просмотр

Alex Tkachuk

Есть ненулевая вероятность что в вашем случае проблема не в размере шардов. Размер шардов обычно стреляет немного в других случаях. Скорее всего - неоптимальные запросы или проблемы с дисковой подсистемой

0

07.08.2023

Артём

Советую последовать документации сделать <50гб/шард. Занимаюсь эксплуатацией кластера на несколько петабайт, у нас стоит такое ограничение на шард.

0

07.08.2023

Den Schmitz · Accepted Answer

Den Schmitz

Все зависит от типа данных. Если там логи, то наверное можно стремиться, но не сильно. Первое, я бы перестал делать дневные индексы и делал бы ролловер по размеру шарда.

0

07.08.2023

Похожие чаты

Коллеги, привет. Подскажите best practice по сайзингу шардов. На данный

3 ответов

Похожие вопросы