Кто-То сталкивался с тем, что liveness probe httpGet спотыкается ?

Question

Кто-То сталкивался с тем, что liveness probe httpGet спотыкается ?

самый прикол, что начало это проявляться, когда начал использовать gunicorn и hpa, до этого было просто manage.py был и hpa отключен

#devops #kubernetes #programming #russian

0

06.06.2023

24 ответов

9 просмотров

Oleg Kamikaze Автор вопроса

зачем придумана liveness проба? :) обработчик сразу возвращает хттп 200, ничего не делая. проба спотыкается, говоря, что не получила ответа. и убивает контейнер

0

11 месяцев назад

Andrey

Oleg Kamikaze
зачем придумана liveness проба? :) обработчик сраз...

что по лимитам\реквестам?

0

11 месяцев назад

Oleg Kamikaze Автор вопроса

Andrey
что по лимитам\реквестам?

всё прилично. никто не прижат, нагрузка смешная. при этом раньше всё работало одним подом без проблем.

0

11 месяцев назад

Andrey

Oleg Kamikaze
всё прилично. никто не прижат, нагрузка смешная. п...

цифры плз

0

11 месяцев назад

Oleg Kamikaze Автор вопроса

Andrey
цифры плз

похоже на это: https://github.com/kubernetes/kubernetes/issues/89898 цифры: resources: limits: cpu: 500m memory: 1280Mi requests: cpu: 250m memory: 512Mi

0

11 месяцев назад

Andrey

Oleg Kamikaze
похоже на это: https://github.com/kubernetes/kub...

ну я примерно на это тебе и намекаю. дев-сервер который ты запускаешь через manage.py однопоточный. твой gunicorn - вряд ли. лучше всего вообще убрать лимиты по cpu

0

11 месяцев назад

George Gaál

Andrey
ну я примерно на это тебе и намекаю. дев-сервер ко...

И потерять qos guaranteed класс, ну ну

0

11 месяцев назад

Andrey

George Gaál
И потерять qos guaranteed класс, ну ну

чаще всего это разумная цена

0

11 месяцев назад

Dmitry Sergeev 🇺🇦

Oleg Kamikaze
похоже на это: https://github.com/kubernetes/kub...

Для однопооточников в целом рекомендую отключать liveness. Для той же nodejs event loop застрял, и приехали. Рестарт

0

11 месяцев назад

Oleg Kamikaze Автор вопроса

Dmitry Sergeev 🇺🇦
Для однопооточников в целом рекомендую отключать l...

да, но... причём тут они? оно же отвечает шустро всем 🤔 для того их и сочинили же ж 🤔 попробую добавить тредов для теста

0

11 месяцев назад

Dmitry Sergeev 🇺🇦

Oleg Kamikaze
да, но... причём тут они? оно же отвечает шустро в...

Значит не отвечает шустро иногда

0

11 месяцев назад

Oleg Kamikaze Автор вопроса

Dmitry Sergeev 🇺🇦
Значит не отвечает шустро иногда

в гитхабе люди переключают httpGet на exec curl и у них всё ок

0

11 месяцев назад

Dmitry Sergeev 🇺🇦

У тебя что часто gunicorn зависал? В чем смысл его рестарта непонятно

0

11 месяцев назад

Dmitry Sergeev 🇺🇦

Oleg Kamikaze
в гитхабе люди переключают httpGet на exec curl и ...

exec ещё тяжелее

0

11 месяцев назад

George Gaál

Oleg Kamikaze
в гитхабе люди переключают httpGet на exec curl и ...

Миллион мух …

0

11 месяцев назад

Oleg Kamikaze Автор вопроса

Dmitry Sergeev 🇺🇦
У тебя что часто gunicorn зависал? В чем смысл его...

я скорее за приложение парюсь, шоб оно всегда было готово к бою

0

11 месяцев назад

Dmitry Sergeev 🇺🇦

Oleg Kamikaze
я скорее за приложение парюсь, шоб оно всегда было...

Ну лайвнесс проба делает его явно не готовым к бою )))

0

11 месяцев назад

Oleg Kamikaze Автор вопроса

а зубной врач причина удаления зуба ))

0

11 месяцев назад

Andrey

Oleg Kamikaze
а зубной врач причина удаления зуба ))

Нет, livenessProbe - это при больном зубе держать что-нибудь 40-градусное, чтобы его попустило. В общем случае, livenessProbe не нужно использовать примерно никогда, а особенно в случае с api сервисами - там уместнее readinessProbe и алерты

0

11 месяцев назад

Oleg Kamikaze Автор вопроса

Andrey
Нет, livenessProbe - это при больном зубе держать ...

так readiness же даже тяжелее 🤔 ну будет отключать от траффика... суть та же, с рестартом я хотя бы вижу, что что-то было. алерты... толку, если никто не поможет

0

11 месяцев назад

Andrey

Нет, не тяжелее, с чего бы? Нет, суть несколько иная - у тебя запросы перестают попадать на зависшую реплику (а если это что-то внешнее, то зависнут все, как и с livenessProbe уйдут в crashloopbackoff, никакой разницы). Бонусом, возможность дебага по горячим следам, перезапуск тебе ее не оставит. Толку от алертов? А как без них в продакшен идти и без того, кто будет на них реагировать?

0

11 месяцев назад

Oleg Kamikaze Автор вопроса

Andrey
Нет, не тяжелее, с чего бы? Нет, суть несколько ин...

есть нюансы... я один и иногда сплю ))) а остальные 6 "айтишников" нихх не понимают

0

11 месяцев назад

Andrey

Oleg Kamikaze
есть нюансы... я один и иногда сплю ))) а остальны...

Это и есть проблема, которую надо решать. Опять же, ок - ну хочешь ее оставить, поставь хотя бы частоту пониже и пороги повыше, в комментах к той issues говорится про исчерпание коннектов из-за time_wait на 60с дефолтных + по коннекту на запрос

0

11 месяцев назад

Andrey · Accepted Answer

Andrey

как именно спотыкается, что делает обработчик запроса, в чем нужда вообще вешать liveness-пробу...

0

11 месяцев назад

172 похожих чатов

Кто-То сталкивался с тем, что liveness probe httpGet спотыкается ?

24 ответов

Похожие вопросы