nginx ingress, сервис за ним. Перед k8s внешний балансер. Идем в сервис за данными - тот отдает их за 2мс вне зависимости от количества реквестов (по сути, если идешь с однотипным запросом, он один раз берет данные из базы, а остальное время отдает из кэша). Идем в k8s - держит 550 rps, дальше начинает терять пакеты, чем дальше, тем больше. На балансере нагрузка около 40% по CPU при этом (разворачиваем https), на сервисе нагрузка минимальна, на ингрессе, судя по всему, теряем запросы, но нагрузка на нем тоже невысокая. Стандартная инсталляция прометеуса несильно помогает понять, в чем дело. Есть предположения, куда и как копать, если есть желание получить на сервисе, скажем, 10k rps?
а ингресс нодпортом торчит к балансеру?
нжинкс-ингресс в дефолтной конфигруации тысячи запросов не напрягаясь пережовывает. Я бы начал с того, что снимал бы метрики с кластера и ингресс контролера (особенно удобно это делать с последними версиями nginx-ingress где даже графана дашборда из коробки вполне вменяемая, там используется lua вместо vts для метрик). Далее можно делать лоадтест как самого нжинкса (какой-нибудь статус ендпоинт дергать) так и лоадтест “эхо” сервиса, после этого лоадтесты уже рабочего сервиса. Ну и для лоад тестов брать нормальные приблуды, например, wrk,tank,vegeta.
Вы сначала разберитесь где пакеты теряются - в ингрессе или в оверлей сети
Обсуждают сегодня