Добрый день, дорогие. Возникла такая неприятная оказия, что появилась необходимость

Question

Добрый день, дорогие. Возникла такая неприятная оказия, что появилась необходимость

парсить авито. И тут есть вариант делать это или через selenium, или пытаться как-то по запросам. Селениум по тестам вышел просто нереально медленным, потому хотелось бы первый вариант. Однако авито имеет какие-то дикие совершенно анти-бот системы.

Есть такой код(он на requests чисто для теста, если получится - будет написан на aiohttp): https://pastebin.com/kCdrzWTC

На что жалуется авито? Я поменял заголовки, вставляю даже куки туда(в пример сделал пустую строчку, но вообще они там есть), а он не поддаётся

#backend #programming #python #russian

0

11.05.2023

6 ответов

17 просмотров

Artem

Как на счет апи?

0

11.05.2023

Александр Солнцев Автор вопроса

Artem
Как на счет апи?

У них оно для большинства методов закрыто, если не ошибаюсь

0

11.05.2023

Const

Александр Солнцев
У них оно для большинства методов закрыто, если не...

Пишешь им что тебе очень надо, объясняешь причину Откроют - делаешь Не откроют - не делаешь

0

11.05.2023

Artem

Александр Солнцев
У них оно для большинства методов закрыто, если не...

Проверь. В общем, парсить - плохая затея

0

11.05.2023

Александр Солнцев Автор вопроса

Artem
Проверь. В общем, парсить - плохая затея

Не, там вообще нет необходимых методов. Суть то в том, что например postman спокойно проводит запрос так, что авито на это не ругается. А вот сам я через requests даже с копированием всех заголовков не могу

0

11.05.2023

Const · Accepted Answer

Const

Печальная оказия Пиши владельцам сайта, узнавай как получать инфу без херни

0

11.05.2023

170 похожих чатов

Добрый день, дорогие. Возникла такая неприятная оказия, что появилась необходимость

6 ответов

Похожие вопросы