Господа, доброго вечера Есть LEMP проект средней нагруженности, около 1.2 млн

Question

Господа, доброго вечера Есть LEMP проект средней нагруженности, около 1.2 млн

запросов за 5 минут.

Основная архитектура у него 4 app сервера + 1 db (балансеры, waf и все такое не важно).
Узким местом является php-fpm. Как только начинается более менее умная ddos атака, с тонной разных ip адресов, пулы забиваются под ноль, с учетом того, что max_children установлено 4500. В рабочем состоянии php-fpm выжирает около 3200к процессов.

Пока все действия по смягчению атаки пройдут, это минут 5-10. То есть N пользователей страдает от 5ХХ ошибок.

В связи с этим есть вопрос, вообще такое количество max_children - это нормальная практика? Я ничего похожего в гуглах не нашел. Есть ли какие то советы, кроме как сменить тип пула с динамики на статику и автоскейлинг настроить?

#devops #programming #russian

0

21.09.2023

14 ответов

23 просмотра

Pavel Zheltouhov

а кто сказал что "php-fpm узкое место" ? узкое место тут код на php.

0

21.09.2023

Elenhil

автоскейлинг - отличный деньгожор вам нормальный WAF видимо нужен

0

21.09.2023

Alexander Автор вопроса

Artiom
И зачем 3200к процессов? Сколько у тебя ядер проц?

К сожалению я тоже только вчера увидел эти цифры. Со вчерашнего дня 32 ядра, модель процессора не помню. Aws 6x что то там, чуть позже точный тариф могу сказать

0

21.09.2023

Alexander Автор вопроса

Elenhil
автоскейлинг - отличный деньгожор вам нормальный W...

С этим проблема. Он как бы есть, но из за некоторых причин временно недоступен. Подключён awa shield advanced

0

21.09.2023

Elenhil

Alexander
С этим проблема. Он как бы есть, но из за некоторы...

Значит надо искать аналоги

0

21.09.2023

Alexander Автор вопроса

Elenhil
Значит надо искать аналоги

Он будет, просто чуть позже, когда инфраструктура будет готова

0

21.09.2023

Artiom

Alexander
Он будет, просто чуть позже, когда инфраструктура ...

max_children = (average PHP script execution time) * (PHP requests per second)

0

21.09.2023

Elenhil

Alexander
Он будет, просто чуть позже, когда инфраструктура ...

Ну раз ддос это проблема, то пора

0

21.09.2023

Alexander Автор вопроса

Это факт, но на данный момент я хочу разобраться с php fpm

0

21.09.2023

Alexander Автор вопроса

Изучу, спасибо

0

21.09.2023

Alexander Автор вопроса

Прочитайте всю ветку, я на все эти вопросы ответил с избытком

0

21.09.2023

Mentat

Alexander
Прочитайте всю ветку, я на все эти вопросы ответил...

Прочитал. Бороться с атакой на исчерпание ресурсов ресурсами - это интересная идея, но практически бесполезная. Вам нужен waf, а не тюнинг пхп. Как разница, сколько вы набьете потоков пхп, если у атакующего масса ресурсов и ему их дешево выбивать? Трафик вообще не должен до вас доходить. Увеличение очереди и числа потоков - ведет к увеличению латенси и отвалу юзеров по нему. Это не говоря о последствиях, ну разошьете вы пхп, ок - база упадет. Или коннекты кончатся. Или сокеты.

0

21.09.2023

Alexander Автор вопроса

Mentat
Прочитал. Бороться с атакой на исчерпание ресурсов...

Вы все верно подметили, но все же я хочу изначально разобраться, что происходит с php fpm, почему такое дикое количество дочерних процессов и почему без них он не работает. Исходя из реальных формул, выставлять нужно max_children * memory_limit исходя из RAM сервера. К сожалению я никак не могу сейчас повлиять на WAF. Вообще. Совсем. Так что пытаюсь начать фиксить то, с чем можно работать.

0

21.09.2023

Artiom · Accepted Answer

Artiom

И зачем 3200к процессов? Сколько у тебя ядер проц?

0

21.09.2023

172 похожих чатов

Господа, доброго вечера Есть LEMP проект средней нагруженности, около 1.2 млн

14 ответов

Похожие вопросы