Хотел уточнить такой момент - допустим есть кластер из 6

нод vmstorage. фактор репликации 2. Допустим одна из нод была выведена на некоторое время в maintenance, в него не писались и из него не читались данные. Дыр на графиках не было.

maintenance закончился, для ноды были разрешены запись и чтение. Но на графиках повились дыры, хотя данные присутствуют на какой-то другой реплике в силу числа репликации.

Так и задумано или я что-то пропустил?

4 ответов

23 просмотра

Уберите параметр -replicationFactor из настроек vmselect. Это наиболее вероятная причина появления пропусков на графиках в данной ситуации. При установленном параметре -replicationFactor=N на vmselect, он не дожидается ответа от N-1 самых медленных vmstorage нод, перед отдачей ответа на запрос. Такое поведение позволяет ускорить отдачу ответа, когда на vmstorage нодах хранятся ровно по N копий всех данных. Если же часть данных хранится с меньшим количеством копий, то данное поведение может вернуть неполные данные. В этом случае нужно убрать параметр -replicationFactor из настроек vmselect, чтобы он дожидался ответа от всех vmstorage нод перед отправкой ответа на запрос. Vminsert пытается сделать по -replicationFactor копий для поступающих данных на разных vmstorage нодах, даже если в какой-то момент времени часть vmstorage нод недоступна. Но он может сделать меньше копий данных, если в какой-то момент времени доступно меньше, чем -replicationFactor vmstorage нод. При этом vminsert запишет сообщение в лог об этом. Может, это ваш случай. Крому того, что нужно убрать -replicationFactor из настроек vmselect нод, желательно также сбросить кэш ответов на vmselect нодах. См. https://docs.victoriametrics.com/#cache-removal и https://docs.victoriametrics.com/#backfilling

Aleksey Shirokikh
Звучит как баг :(

Да, это багофича - https://github.com/VictoriaMetrics/VictoriaMetrics/issues/1207

Похожие вопросы

Обсуждают сегодня

Всем привет) Я попробовал турбо роутер октябрьский. Вроде доволен, но возникла проблемка) Бутстраповские модалки плодят .modal-backdrop элементы Если модалка открыта, должне...
Виталий
3
Так а кто может спарсить всех участников чата? Идишники
Magic
18
да пофиг на капчу зашел в чат и молчишь при этом ты нонейм? пошел вон
Magic
17
Я тебе про общие вопросы, а не про узконаправленные . Ты че будешь в чате спрашивать как хтмл разметку сделать?!
rusteg
3
Как удалить health check в Consul? Казалось бы, это должно быть не сложно, но я не могу найти в документации ничего про это, только про добавление service с health check "в н...
Roman
2
Привет, кто может сделать юзербота с апи? Задачи: - создавать группы - создавать каналы - задавать для созданных каналов аватарку или эмоджи, имя группы - добавлять в группы...
Lencore
13
Privet! Mozhet jesti ideji - nemogu sdelatj upload backup s filestore cerez WEB. Fail okolo 450mb, eto mozhet bitj prichinoi? Nemogu ponjatj..kak zagruzitj backup... Poluchaju...
Matiss 🤘 Black Oak IT 🌳 Batumi 🌴 Latvija
5
Всем доброго вечера! Хочу поделиться своим злоключением с человеком, который, как оказалось сюда тоже скидывал свое резюме. Жаль, что я вашу группу не нашел раньше… человек ки...
Роман Ахмедзянов
4
Хотя вроде админка показывает удаленные модели, да? @dblackCat
Виталий
2
Нужно магазин с тильды на опен кат перенести Есть кто умеет? В лс
Magic
8
Карта сайта