По аксес логам это бывает с 1-го динамического ip, а бывает используют прокси, но не большое количество. При большом количестве разных запросов, забивается редис, после чего веб-проект уходит в 500 ошибку. Редис поднастроили и в веб проекте исправили косяки с редисом, убрали отттуда много лишнего. Но вопрос не к этому. Возможно ли против парсинга настраивать fail2ban, есть ли смысл мониторить 80 или 443 порты? Стоит ли в конфиге nginx сделать limit_conn? И самое коварное, при определение, что это парсер, есть ли возможность отдавать на любой запрос ему закешированную главную страницу (ее хоть 1000 раз в секунду отдай - сервер особой нагрузки не испытает). Что посоветуете, в какую сторону копать?
А если не парсинг, а реальный поток посетителей, часть из которых будет отрезана?
Обсуждают сегодня