Господа, вечер добрый хелпаните сложить всё в кучу, пожалуйста в кубере работает

Question

Господа, вечер добрый хелпаните сложить всё в кучу, пожалуйста в кубере работает

11 сервисов, мониторяться прометеем, темплейт с офф репозитория, по http делает проверку , 1 сервис(для пуш уведомлений на мессенджеры, стороннее API) с регулярной периодичностью шлёт алерты, что не верное тело ответа согласно регулярке, но резолвится само в течении 3-5 минут, и так за день может 1-2 раза, а может и 20+, дергал curl ом постоянно ответ 201 result:true , в логи пишет, я понять не могу , ошибка со стороны API стороннего, приложения, или девопсов косяк? разрабы меня убеждают что мониторинг не верен, хотя по логике другие сервисы норм работают
куда копать? посоветуйте

#devops #programming #russian

0

23.10.2023

13 ответов

23 просмотра

Pasha Shredder Автор вопроса

Dmitry D
Не верить никому, достать и вдумчиво прочитать лог...

меня уже укачало от них, там кроме запросов и ответов ничего, и по ошибке которую я ищу тоже голяк, всё что было уже перелопатил

0

23.10.2023

Elenhil

Залезь в пром да посмотри

0

23.10.2023

Pasha Shredder Автор вопроса

Dmitry D
Не верить никому, достать и вдумчиво прочитать лог...

я бы ещё понял если бы курл через раз работал, а так 10+ закинул, всё в логи лягло, неделю назад ещё 1 сервис мозги делал, но как выяснилось косяк разрабов был, запрос кривой , а тут я прям завис

0

23.10.2023

Nick Kritsky 🇺🇦

Мониторинг врать не будет - он тупой. Значит раз в сколько-то запросов отдаётся неверный ответ. Если есть доступ к логам сервиса - грепай их по хелсчеку и ищи ошибку. Если нет доступа к логам - включай на проме полный дамп запросов и ответов для этого сервиса (гугли как это делать). С дампом и таймстемпами иди к хозяину сервиса.

0

23.10.2023

Pasha Shredder Автор вопроса

Ну в целом я так и сделал, вытянул всё из логов и мониторинга в отдельные файлы, и отдал клиенту, меня поражает что в это происходит в 90% случаях предсказуемо, раз в пол часа, час, и резрлвится с таким же процентом через 3-5 минут, хоть часы сверяй

0

23.10.2023

Nick Kritsky 🇺🇦

Pasha Shredder
Ну в целом я так и сделал, вытянул всё из логов и ...

Это как раз нормально. Большинство процессов внутри компьютера происходят регулярно. Потомушто у ней внутре часики.

0

23.10.2023

Andrey Kartashov

Nick Kritsky 🇺🇦
Мониторинг врать не будет - он тупой. Значит раз в...

пром разве такое умеет? слать http запросы произвольные и проверять тело ответа регекспом? Зачем на проме дам смотреть

0

24.10.2023

Pasha Shredder Автор вопроса

Andrey Kartashov
пром разве такое умеет? слать http запросы произво...

Он проверяет на result:true/false, то есть если тело ответа пустое или ещё что-то , кидает алерт, я так себе думаю

0

24.10.2023

Andrey Kartashov

Pasha Shredder
Он проверяет на result:true/false, то есть если те...

не надо "себе думать", надо взять и сделать, и посмотреть. Если действительно сервис сбоит, ты увидишь разницу в теле ответа. А так твои думы разрабу не аргумент, он по прежнему будет говорить что твой мониторинг говно, а с сервисом всё в порядке, и будет прав

0

24.10.2023

Pasha Shredder Автор вопроса

Да

0

24.10.2023

Andrey Kartashov

Pasha Shredder
Да

https://t.me/devops_ru/1064277

0

24.10.2023

Pasha Shredder Автор вопроса