Доброго вечера, коллеги. Есть инсталляция k8s, 8 нод под workload,

Question

Доброго вечера, коллеги. Есть инсталляция k8s, 8 нод под workload,

nginx ingress, сервис за ним. Перед k8s внешний балансер. Идем в сервис за данными - тот отдает их за 2мс вне зависимости от количества реквестов (по сути, если идешь с однотипным запросом, он один раз берет данные из базы, а остальное время отдает из кэша). Идем в k8s - держит 550 rps, дальше начинает терять пакеты, чем дальше, тем больше. На балансере нагрузка около 40% по CPU при этом (разворачиваем https), на сервисе нагрузка минимальна, на ингрессе, судя по всему, теряем запросы, но нагрузка на нем тоже невысокая. Стандартная инсталляция прометеуса несильно помогает понять, в чем дело. Есть предположения, куда и как копать, если есть желание получить на сервисе, скажем, 10k rps?

#devops #kubernetes #programming #russian

0

13.10.2018

3 ответов

23 просмотра

Serega K

нжинкс-ингресс в дефолтной конфигруации тысячи запросов не напрягаясь пережовывает. Я бы начал с того, что снимал бы метрики с кластера и ингресс контролера (особенно удобно это делать с последними версиями nginx-ingress где даже графана дашборда из коробки вполне вменяемая, там используется lua вместо vts для метрик). Далее можно делать лоадтест как самого нжинкса (какой-нибудь статус ендпоинт дергать) так и лоадтест “эхо” сервиса, после этого лоадтесты уже рабочего сервиса. Ну и для лоад тестов брать нормальные приблуды, например, wrk,tank,vegeta.

0

14.10.2018

Dmytro Zavalkin

Вы сначала разберитесь где пакеты теряются - в ингрессе или в оверлей сети

0

14.10.2018

Stas · Accepted Answer

Stas

а ингресс нодпортом торчит к балансеру?

0

13.10.2018

172 похожих чатов

Доброго вечера, коллеги. Есть инсталляция k8s, 8 нод под workload,

3 ответов

Похожие вопросы