Господа, как Вы отлавливаете и боретесь с OOM на нодах?

Question

Господа, как Вы отлавливаете и боретесь с OOM на нодах?

Речь про managed кластера.

Что вообще рекомендуется предпринимать на этот счёт сразу после развёртывания очередного k8s-кластера и добавления пустых нод (например в моём случае Ubuntu LTS) на него?

Разумеется, грамотно настроенный мониторинг мне в помощь, но что делать, пока его нет?
Постоянно бегать по /var/log/*, dmesg, syslog etc. - не комильфо, поэтому интересует, есть ли какая-то best practice, как настроить OOM дабы максимально оперативно предотвращать hang.
Больше всего упоминаний нашёл про nohang, ну вроде чё-то делает, мониторит и т.д.

#devops #kubernetes #programming #russian

0

07.02.2022

10 ответов

34 просмотра

• Mokhnatkin Автор вопроса

🦠 ₿∅𝚒z
Healthcheck на liveness probах

Благодарю, но поясни, пожалуйста. health checks performed by the kubelet: - Startup Probe - Liveness Probe - Readiness Probe Это вроде только к контейнерам относится? Напрвь мысль, плз :)

0

07.02.2022

Andrey Klimentyev

Я дописал eBPF exporter и мы начали использовать его в deckhouse. Можно взять себе на вооружение приём. Без оверхеда мониторим OOM'ы. cgroup'ные и глобальные. https://github.com/cloudflare/ebpf_exporter/pull/102 https://github.com/deckhouse/deckhouse/tree/main/modules/340-monitoring-kubernetes/templates/ebpf-exporter

0

07.02.2022

Andrey Klimentyev

А чтобы предотвращать зависания нод, когда ядро не хочет делать OOM. Просто посмотри на это чудо инженерной мысли! https://github.com/deckhouse/deckhouse/blob/main/modules/040-node-manager/templates/early-oom/daemonset.yaml#L61-L65

0

07.02.2022

Andrey Klimentyev

Что будет, когда кубелет его преодолеет? Или crontab? Или containerd?

0

07.02.2022

Alexander

Andrey Klimentyev
Что будет, когда кубелет его преодолеет? Или cront...

Я чёт не видел что бы crontab много памяти занимал, как и сам демон containerd.

0

07.02.2022

Andrey Klimentyev