171 похожих чатов

Всем привет, есть проблема я тем что яндекс грузит своим

сканированием сервак. дело в том что на сайте 500 поддоменов и много товаров. чтобы понимали дневной лог посетителей 5-7мб, лог роботов там где он представился 50-70мб. и иногда яндекс приходит сканировать все домены сразу, что роняет сервер и в результате яндекс получает страницу с ошибкой 502, и выкидывает ее из поиска.
Это прилюдия. Какое решение нашел.
Оказывается в php фция sys_getloadavg. которая дает параметр la. Есть идея в самом начале index.php поставить проверку, если la > 15( у меня при большем значении страницы не открываются) и юзер агент == один из яндексов. то выдавать либо ошибку 429 или 304. тем самым уже не будет грузится процессор в дальнейшем тк , ответ будет на чистом php без модыкса.(именно поэтому не хочу обертывать в плагин).
Хотел поделится решением, может кто нибудь с подобной проблемой сталкивался и решал ее? понятно что можно настроить nginx, но это решение нравится тем что отдача контента завитит от параметра la. Спасибо, жду комментарии!

6 ответов

21 просмотр

в яндексе еще можно настроить кол-во запросов в секунду для каждого домена минимальное. Это хоть как-то снизит скорость обхода.

Evgeny-Grishin Автор вопроса
Алексей Смирнов
в яндексе еще можно настроить кол-во запросов в се...

непрокатит, я написал что 500 поддоменов. параметр понизили, но заходят реже но вместе сразу 500

Меняй сервер. Для seo смерть. У меня рекорд 26к обход Яндексом за сутки

Evgeny-Grishin Автор вопроса
Алексей
Меняй сервер. Для seo смерть. У меня рекорд 26к об...

Посоветуйте сервер с нормальным процессором

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Я вот подумал. SSE выполняет операции максимум с 64-битной точностью. А FPU - всегда с 80-битной. Разве не должно быть FPU точнее тогда?
The Bird of Hermes
13
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
как быть с принтером? такой подход прокатит?
zamtmn
12
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
This is a big issue. Just by being a citizen of a country, you are denied to contribute to Open Source software: https://youtu.be/L5Ec5jrpLVk?si=1iIuHnMPbCB4anV-
Sharuzzaman Ahmat Raslan
72
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Карта сайта