кто-нибудь с подобной ошибкой? 403 выдает
попробуй поменять юзер-агента, можно попытаться сканивраоть как браузер. у них на сайте подробнее https://www.screamingfrog.co.uk/seo-spider/faq/#why-do-i-get-a-403-forbidden-error-response
Да это не помогло. Там только запрос делать, чтобы айпишник исключили
form-based авторизацию делал?
Ну да, похоже только так If both of the above fail, you will need to add your IP address and the 'Screaming Frog SEO Spider' user-agent to an allowlist in the website's CDN security settings to be able to crawl it. Your CDN provider will be able to advise on how to do this.
Обсуждают сегодня