google smartphone - скорость парсинга сайта в лягушке - это реальная скорость как смотрит гугл бот?
Если подключена api google page speed, то да. Но насчёт юзер агента точно не знаю, проверь на одной странице и сравни. А так лучше посмотри в документации лягушки, там быстро можно найти ответ на вопрос
Так странно, что по Пейдж все отлично, да и страницы норм. А вот лягушка странно парсит медленно. По настройкам все дефолт
Это имитация парсинга
Может сервер не вывозит?
Вполне вероятно, но думаю что не прям критично. Смотрел по логам загрузки цп и баз данных
Сервер может по разному отдавать юсер агентам скорость и запрет/разрешение.
Обычно не делают такую настройку. Быстрей отдал, быстрей освободился.
У меня на сервере оказывается по умолчанию были заблочены с двадцаток ботов. В том числе и лягушка.
Обсуждают сегодня