Всем привет, подскажите пожалуйста, я пытаюсь спарсить все данные товаров

Question

Всем привет, подскажите пожалуйста, я пытаюсь спарсить все данные товаров

по ссылке https://www.wildberries.ru/catalog/igrushki/dlya-malyshey/bizibordy, там чуть больше 10000 товаров, для этого я соответственно формирую валидные json ссылки и оттуда достаю информацию по каждому товару, чтобы не использовать selenium https://catalog.wb.ru/catalog/toys1/catalog?appType=1&cat=15302&curr=rub&dest=-1257786&page=1&regions=80,38,83,4,64,33,68,70,30,40,86,75,69,1,31,66,22,110,48,71,114&sort=popular&spp=0

Однако я столкнулся с такой проблемой, что проанализировав таким способом примерно 5000 товаров из 10000, я начинаю получать ошибку 429, что говорит о том, что я делаю запросы слишком часто. Я попытался парсить более, медленно, одну ссылку раз в 20-30 секунд, а если я получаю ошибку 429, то парсю главную страницу ВБ и ожидаю 60-120 секунд, но далее все равно получаю ошибку 429 и перебрать товары не получается. Если конечно я подожду минут 5-10, то потом могу снова запустить парсер, но это прям слишком долго. Возможно кто-то знает способы, как можно обойти эту защиту на ВБ не используя прокси, тор соединения и т.п.? Буду очень благодарен тем, кто подскажет!

#backend #programming #python #russian

0

03.09.2023

1 ответов

18 просмотров

Роман · Accepted Answer

Роман

@Tishka17 че там по обходу защиты вб?

0

03.09.2023

170 похожих чатов

Всем привет, подскажите пожалуйста, я пытаюсь спарсить все данные товаров

1 ответов

Похожие вопросы