Привет! Столкнулся с проблемой в web scraper. На сайте 180

Question

Привет! Столкнулся с проблемой в web scraper. На сайте 180

страниц пагинации, но иногда web scraper проходит только часть из них, скажем 10 или 50, и начинает уже просматривать страницы непосредственно с товарами. Иногда просматривает все 180 страниц пагинации. В параметрах Scrape увеличивал задержки вплоть до 10 секунд, не помогает. В чем может быть проблема, подскажите пожалуйста?

0

23.11.2023

4 ответов

19 просмотров

Сергей Автор вопроса

Andrey@inotoxic
- Частые запросы к серверу с одного ip - Если, дан...

Спасибо. Буду пробовать сначала задавать пагинацию по категориям товаров для уменьшения страниц пагинации

0

5 месяцев назад

Andrey@inotoxic

Сергей
Спасибо. Буду пробовать сначала задавать пагинацию...

Если , есть возможность отследить запрос отвечающий за подгрузку данных при переходе на страницу Через запросы с подстановкой параметров - собрать ссылки со страниц пагинаций

0

5 месяцев назад

Сергей Автор вопроса

Andrey@inotoxic
Если , есть возможность отследить запрос отвечающ...

Я до таких высот в парсинге еще не дошел :)

0

5 месяцев назад

Andrey@inotoxic · Accepted Answer

Andrey@inotoxic

- Частые запросы к серверу с одного ip - Если, данные все время подгружаются на страницу и страница НЕ очищается - может не хватать ресурсов ПК для построения DOM дерева и последующего его парсинга

0

5 месяцев назад

Похожие чаты

Привет! Столкнулся с проблемой в web scraper. На сайте 180

4 ответов

Похожие вопросы