😐гопода кубернетесоводы вот вам интересный кейс и челендж есть 1200 рест

Question

😐гопода кубернетесоводы вот вам интересный кейс и челендж есть 1200 рест

апи\просто апи
сейчас это монолиты по 6-12 апи в контейнере, суммарное их потребление на 16 нодах 35 vcpu(60%) максимум и 240 гб рам.
если мы делаем по современному и правильному, выносим все в отдельные контейнеры получаем 1200 контейнеров, нод под k8s будет 6, потом ещё 3, максимум 9, ресурсов будет завались, тк ноды по 120 vcpu и 1005 gb ram, по дискам больше 140к iops и пропускная 6 гб в сек. сеть 40 гбит бонд на 4 интерфейса
помимо этих мало потребляющих сервисов будет несколько хорошо кушающих, например кликхаус с оператором, опендистро, виктория метрикс в стейтфуллсетах, а так же будут apache fkink которые будут грузить cpu+disk.
какой container runtime сможет выжить, если всё разносить в отдельные контейнеры и убирать монолиты?

#devops #kubernetes #programming #russian

0

13.02.2021

18 ответов

14 просмотров

Старый Хрыч Автор вопроса

Aleksey Lazarev
Ну ты почтай как засунуть больше 100 подов на ноду...

но сейчас tomcat спокойно обслуживает по 120 рестов scala/java и есть не просит, что-то уже в докерах, что-то на голом томкате

0

13.02.2021

Aleksey Lazarev

Старый Хрыч
но сейчас tomcat спокойно обслуживает по 120 ресто...

А куб просит

0

13.02.2021

Старый Хрыч Автор вопроса

Aleksey Lazarev
А куб просит

ну вот и возникает вопрос, а как это в куб переносить, если будет по 120 рестов в контейнере, деплой станет даже сложнее

0

13.02.2021

Aleksey Lazarev

Старый Хрыч
ну вот и возникает вопрос, а как это в куб перенос...

Вполне допускаю что так и есть

0

13.02.2021

Aleksey Lazarev

Вообщем и целом ответ - любой практически)

0

13.02.2021

Shved

Старый Хрыч
ну вот и возникает вопрос, а как это в куб перенос...

Не вижу проблем. Да первое время все это перетащить в отдельные будет сложно, наладить выкатку версии итд. Но зато ты сможешь спокойно катать обновления на отдельные апи, а не как сейчас... Тебе надо обновить 1 из 16, а ты все 16 хреначишь.... Я не очень понимаю твой вопрос.

0

13.02.2021

Старый Хрыч Автор вопроса

Shved
Не вижу проблем. Да первое время все это перетащ...

😐ты пробовал запускать 250 подов на ноду кубера?

0

13.02.2021

Shved

Старый Хрыч
😐ты пробовал запускать 250 подов на ноду кубера?

С этим есть вопросики, надо тюнить. А что тебе мешает разбить эти ресурсы между большим количеством ворекров?

0

13.02.2021

Старый Хрыч Автор вопроса

Shved
С этим есть вопросики, надо тюнить. А что тебе меш...

нод столько нет

0

13.02.2021

Shved

Старый Хрыч
нод столько нет

Сделать? :)

0

13.02.2021

Aleksey Lazarev

Старый Хрыч
😐ты пробовал запускать 250 подов на ноду кубера?

Где то видел статейку

0

13.02.2021

Старый Хрыч Автор вопроса

Aleksey Lazarev
Где то видел статейку

😂🤣я сам на сворме делал по 350+ контейнеров на ноду, но там часто больше 100 были в ауте и только числились работающими

0

13.02.2021

Shved

Старый Хрыч
😂🤣я сам на сворме делал по 350+ контейнеров на нод...

Ну значит пробуй, потом на хабр статью:)

0

13.02.2021

George Gaál

Aleksey Lazarev
Ну ты почтай как засунуть больше 100 подов на ноду...

До 250 можно стабильно

0

13.02.2021

Mikhail Sheldyakov

Старый Хрыч
😐ты пробовал запускать 250 подов на ноду кубера?

я пробовал. okd crio. поднял лимит подов на ноду с 250 до 500. память на сам crio и kubelet нужна, 2G на них не хватает. cillium без kube proxy. тоже железные ноды. в остальном пока без проблем. реальная загрузка под 250-300 подов. 15 нод по 96vcpu

0

13.02.2021

George Gaál

Mikhail Sheldyakov
я пробовал. okd crio. поднял лимит подов на ноду с...

Подскажи точные параметры узлов

0

13.02.2021

Mikhail Sheldyakov

George Gaál
Подскажи точные параметры узлов

Intel(R) Xeon(R) Gold 5220R CPU @ 2.20GHz MemTotal: 196645300 kB еще точнее давай в личку

0

13.02.2021