Коллеги, добрый вечер. Столкнулись сегодня с такой ситуацией: обновляли конфигурацию кластерной

виктории в кубере, в частности vm-storage
У нас развернуто по 2 pod’а каждого из компонентов
При этом получили следующую картину: поднимается новый pod vmstorage, стартует, начинает рестартовать второй
При этом первый, кажется, еще не успел проиндексировать данные/прогнать мерджи(?) или что-то в этом роде, то есть был еще неработоспособен.
В итоге получили минут 15 простоя сервиса, хотя казалось бы его тут быть не должно
в vminsert была повышенная нагрузка в этот период и сообщения вида
error in \"/insert/0/prometheus\": cannot handle more than 8 concurrent inserts during 1m0s; possible solutions: increase -insert.maxQueueDuration, increase -maxConcurrentInserts, increase server capacity

На самом vmstorage в этот момент не было заметно, что оно как-то упирается в лимиты по ресурсам, да и vminsert не сказал бы что прямо под 100% загружен был
Соответственно, хотел поинтересоваться, что делать с этим? Когда у тебя 2 реплики каждого компонента, ожидаешь что такие операции должны происходить бесшовно для клиентов.

Версия компонентов vmcluster - 1.60
объем данных - 634Gb
датапоинтов ~1,2Tri
индексов ~7,5 Bil

добавлю, что по графикам vminsert действительно упирался в -maxConcurrentInserts, но непонятно что спровоцировало это, и решит ли увеличение этого параметра мою проблему

вероятно, vminsert не мог писать в один сторадж достаточно быстро, чтобы справится с поступающими данными. Вот и упирался в -maxConcurrentInserts. Поднятие этого параметра может помочь только на краткий промежуток вермени.

В vmagent можем регулировать скорость же?