товара?
Потому что если у страницы новая дата в lastmod, GoogleBot просканирует её заново. Пока стоит старая - он её пропускает. И чем чаще обновляется контент, тем чаще в целом боты заходят. Предположим, что в ИМ 10к товаров. Цены каждого товара как на карточке, так и на листинге меняются каждый день/неделю, потому что зависят от курса/инфляции/хотелок поставщика/чего угодно. GoogleBot за ручку с BingBot будут сканировать заново все эти 10к товаров, а также листинги с ними (категории, фильтры если индексируются, теги) при каждом обновлении даты в lastmod. А без настроек скорости и частоты сканирования, боты это будут ооочень рьяно делать. Вот тебе и ддос практически. Настройка частоты сканирования именно поэтому и существует как бы, чтоб боты сайт не роняли случайно. Можно ещё вспомнить такое понятие, как краулинговый бюджет... Который нерезиновый. Вообще тогда печальбеда с этим last-modified. Мб поэтому никто и не ответил челу, потому что если делать, то нормально, а не тупо сегодняшнюю дату ставить на все товары каждый день.
ну завалить сервак пауками ПС на 10000 страниц - 🤔
Обсуждают сегодня