У вас кластерная версия вм или single-node? если кластерная, то

убедитесь, что в логах vmselect и vmstorage нод нет ошибок на интервале времени, когда обновлялся второй график

3 ответов

15 просмотров

кластерная, вот я могу связать это с тем, что у меня 3 узла, на всех я установил -replicationFactor=3 флаг для vminsert и для vmselect (+-dedup.minScrapeInterval=1ms как в доке), потом остановил весь стек контейнеров кластера ВМ (docker-compose down), чуть подождал и вновь запустил, ошибки, конечно, были в vmselect и vmstorage на этот период времени.

Aliaksandr-Valialkin Автор вопроса

можете посмотреть, какие ошибки были в vminsert, когда был недоступен один узел?

2021-08-03T17:22:09.320+0300 info VictoriaMetrics/app/vminsert/netstorage/netstorage.go:210 successfully dialed -storageNode="192.168.3.52:8400" 2021-08-03T17:22:09.321+0300 info VictoriaMetrics/app/vminsert/netstorage/netstorage.go:210 successfully dialed -storageNode="192.168.3.53:8400" 2021-08-03T17:22:09.323+0300 info VictoriaMetrics/app/vminsert/netstorage/netstorage.go:210 successfully dialed -storageNode="192.168.3.51:8400" 2021-08-04T09:37:40.320+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:236 cannot send 77530 bytes with 417 rows to -storageNode="192.168.3.52:8400": cannot read ack from vmstorage: cannot read data in 0.000 seconds: EOF; closing the connection to storageNode and re-routing this data to healthy storage nodes 2021-08-04T09:37:40.322+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:167 cannot make a copy #3 out of 3 copies according to -replicationFactor=3 for 83624 bytes with 450 rows, since a part of storage nodes is temporarily unavailable 2021-08-04T09:37:40.322+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:167 cannot make a copy #3 out of 3 copies according to -replicationFactor=3 for 75144 bytes with 412 rows, since a part of storage nodes is temporarily unavailable 2021-08-04T09:37:40.323+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:167 cannot make a copy #3 out of 3 copies according to -replicationFactor=3 for 77530 bytes with 417 rows, since a part of storage nodes is temporarily unavailable 2021-08-04T09:37:40.520+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:206 cannot dial storageNode "192.168.3.52:8400": dial tcp4 192.168.3.52:8400: connect: connection refused 2021-08-04T09:37:41.320+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:167 cannot make a copy #3 out of 3 copies according to -replicationFactor=3 for 77668 bytes with 381 rows, since a part of storage nodes is temporarily unavailable 2021-08-04T09:37:41.320+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:167 cannot make a copy #3 out of 3 copies according to -replicationFactor=3 for 56118 bytes with 280 rows, since a part of storage nodes is temporarily unavailable 2021-08-04T09:37:41.321+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:167 cannot make a copy #3 out of 3 copies according to -replicationFactor=3 for 30140 bytes with 145 rows, since a part of storage nodes is temporarily unavailable 2021-08-04T09:37:42.320+0300 warn VictoriaMetrics/app/vminsert/netstorage/netstorage.go:167 cannot make a copy #3 out of 3 copies according to -replicationFactor=3 for 33861 bytes with 223 rows, since a part of storage nodes is temporarily unavailable и тд и тд Имитировал отказ узла с ip 192.168.3.52

Похожие вопросы

Обсуждают сегодня

вопрос: кто как решает вопрос с динамической подгрузкой скриптов для отдельных страниц с включенным turbo router?
Sergei Toroptsev
25
Почему Telegram пишет, что объект media не найден, хотя на самом деле я его передаю? Делаю на urllib, без зависимостей, так надо. Вызываю метод sendMediaGroup с таким JSON: ...
Alexey S
1
Сonst magicTgHTML = (text, entities) => { let processedText = text; let offsetShift = 0; entities.forEach(entity => { const { offset, length, type, url, ...
Андрей
1
Чет мне ссыкотно опять Rainlab.User в проект ставить. Кто знает, опять наотъебись все сделали или после обнов пользоваться можно?
Black Cat
10
коллеги привет. уже второй день бьемся об заклад с одной ошибкой, может вы сталкивались с таки странным поведением? есть тестовый сервер, на который паблишим релизную версию W...
Magzhan
11
это группа токсиков или тех кто помогает?
Ибрагим
9
ребят, привет есть ли возможность мигрировать Policies + Auth Methods из нескольких Vault в один? пытаюсь сократить Vault кластера, немного не удобно что для каждой тестовой ...
azadevlab
2
В смысле более затратная? Общая стоимость владения лошадью меньше, чем автомобиля. В среднем.
Sergej R
10
Кстати, раз про скачивание файлов разговор зашел) Сделал бота для себя (транскрибирующего и суммаризирующего встречи) но не ожидал что за 2 месяца 10к пользователей набежит😅...
Andrey Obolenskiy
8
Всем привет. Кто подскажет, как сделать авто обновление стороннего модуля при запуске контейнера. Мб есть команда при запуске контенера или в докер файле нужно приписать настр...
Trum_t Malyuzhenets
1
Карта сайта