Всем привет! Подскажите пожалуйста. Хочу спарсить большую категорию, предположим “обувь

Question

Всем привет! Подскажите пожалуйста. Хочу спарсить большую категорию, предположим “обувь

мужская”, там ≈150к товаров. Я прохожу по всем страницам собираю все id товаров и через wb api батчами (≈800 товаров) делаю запросы. Рационален ли такой подход?

При этом показывает всего 100 страниц по 100 элементов (так по всем товарам). Где искать остальные товары (140к)?

0

03.10.2023

5 ответов

16 просмотров

Maxim Borisov Автор вопроса

Иван Батурин
Эта тема обсуждалась тут раз 10 наверное. wb в люб...

Спасибо большое. Как я понял, это частая проблема, и не только wb не отдает листинг больше определенного значения.

0

03.10.2023

Иван Батурин

Maxim Borisov
Спасибо большое. Как я понял, это частая проблема,...

Это и с точки зрения пользователя(не парсера) не имеет смысла и с точки зрения нагрузки на сервер.

0

03.10.2023

Andrey@inotoxic

Maxim Borisov
Спасибо большое. Как я понял, это частая проблема,...

это НЕ проблема это особенность разработки

0

03.10.2023

parser.market

Maxim Borisov
Спасибо большое. Как я понял, это частая проблема,...

Если бы только это. Они все, не только ВБ, начинают повторяться на больших выборках. Даже меньше определенного значения.

0

04.10.2023

Иван Батурин · Accepted Answer

Иван Батурин

Эта тема обсуждалась тут раз 10 наверное. wb в любом листинге не отдает более 10 k кажется товаров. Фильтруйте до тех пор, пока не станет меньше и забирайте. Затем меняйте фильтр и забирайте заново и т.п.

0

03.10.2023

Похожие чаты

Всем привет! Подскажите пожалуйста. Хочу спарсить большую категорию, предположим “обувь

5 ответов

Похожие вопросы