у нее есть: pagination и получается когда переходишь по pagination получается ссылка /catalog/test?page=1 /catalog/test?page=2 и т.д.Как правильно прописать ограничение в Robots.txt, чтобы бот обходил страницы добавлял товары в поиск, но /catalog/test?page=1 /catalog/test?page=2 и т.д не добавлял, а только корневую /catalog/test
google?
Обсуждают сегодня