Всем привет! Подскажите, пожалуйста, сколько примерно уникальных товаров листится на

Question

Про парсинг

Maxim Borisov

Всем привет! Подскажите, пожалуйста, сколько примерно уникальных товаров листится на

WB?

0

03.11.2023

17 ответов

66 просмотров

Maxim Borisov Автор вопроса

Андрей Чебунин
я чуть больше 38 млн собираю с учетом размеров

Спасибо за ответ! Мне казалось, что там побольше товаров (порядка 70 млн) А за какое время собираешь такой объем?

0

03.11.2023

Андрей Чебунин

Maxim Borisov
Спасибо за ответ! Мне казалось, что там побольше т...

Мне тоже кажется, что там больше. Но нужно тестировать подходы с разных сторон, что бы обходить лимиты на выдачу товаров. Хз, может быть за часов 15

0

03.11.2023

Erdeni

Андрей Чебунин
Мне тоже кажется, что там больше. Но нужно тестиро...

Офигеть. Не банят? Сколько прокси или задержка?

0

03.11.2023

Андрей Чебунин

Erdeni
Офигеть. Не банят? Сколько прокси или задержка?

ВБ не сложный в плане парсинга, но свои нюансы есть)

0

03.11.2023

Андрей Чебунин

Maxim Borisov
Спасибо за ответ! Мне казалось, что там побольше т...

Кстати там один товар может быть в разных категориях, поэтому общее количество всех товаро-размеров больше 92млн у меня выходит.

0

03.11.2023

Erdeni

Андрей Чебунин
Кстати там один товар может быть в разных категори...

По ID они совпадают?

0

03.11.2023

Maxim Borisov Автор вопроса

Андрей Чебунин
Кстати там один товар может быть в разных категори...

Да, есть такое. Я имел ввиду уникальные товары Есть ли какой-то способ сразу парсить уникальные товары? Не проверяя дубли из хранилища

0

03.11.2023

Андрей Чебунин

Erdeni
По ID они совпадают?

Ну, как бы да..

0

03.11.2023

Андрей Чебунин

Maxim Borisov
Да, есть такое. Я имел ввиду уникальные товары Ест...

Например?

0

03.11.2023

Михаил Синегубов

Maxim Borisov
Да, есть такое. Я имел ввиду уникальные товары Ест...

нельзя, в смысле - парсить без дублей.

0

03.11.2023

Erdeni

Михаил Синегубов
нельзя, в смысле - парсить без дублей.

Согласен, просишь всё. И уникальные только в базе данных уже группируешь.

0

03.11.2023

Иван Батурин

Maxim Borisov
Да, есть такое. Я имел ввиду уникальные товары Ест...

В ссылке же nm_id, есть, разве нет? Проверили - если nm_id уже есть в базе, не нужно парсить, только отметить что в этой категории есть

0

03.11.2023

Михаил Синегубов

Иван Батурин
В ссылке же nm_id, есть, разве нет? Проверили - ес...

ну, это то что бы "Есть ли какой-то способ сразу парсить уникальные товары? Не проверяя дубли из хранилища". Это как раз с проверкой на дубли 🙃

0

03.11.2023

Иван Батурин

Михаил Синегубов
ну, это то что бы "Есть ли какой-то способ сразу п...

при этом парсить то их не нужно 🤷‍♂️

0

03.11.2023

parser.market

Михаил Синегубов
нельзя, в смысле - парсить без дублей.

Перебором id? )

0

03.11.2023

Maxim Borisov Автор вопроса

parser.market
Перебором id? )

Это тип задать допустимый пулл/границы id и их парсить?

0

03.11.2023

Андрей Чебунин · Accepted Answer

Андрей Чебунин

я чуть больше 38 млн собираю с учетом размеров

0

03.11.2023

Похожие чаты

Всем привет! Подскажите, пожалуйста, сколько примерно уникальных товаров листится на

17 ответов

Похожие вопросы