170 похожих чатов

Всем привет! Мне нужно авито пропарсить, а там какая то защита

хитрая стоит.
Парсер с горем по полам накатал на python3. Все работает (тестил отдельными кусками: парсинг категорий, парсинг товаров по категориям (4 шт), и парсинг внутри карточки каждого товара.

Но когда все функции объединяю, чтобы парсинг автоматом шел, меня авито капчу просит.

Использую прокси и замену юзерагента.

Может знаете в чем проблема? Мне посоветовали в куки разобраться, но я в этом не понимаю

4 ответов

1 просмотр

Приделай распознавание капчей, там около доллара за 1000 штук

неужели нет готовых парсеров в интернетах

Проблема в том, что ты у них разрешения не попросил

Ilya-Simonov Автор вопроса

https://github.com/issim91/Parsing/tree/master/Parsing_avito

Похожие вопросы

Обсуждают сегодня

я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Всем привет! Массив вводится с клавиатуры, кол-во элементов неизвестно, поэтому я указал arr db 100 dup(?) С нахождением максимума проблем нет, а вот минимум почему-то всегд...
En Vind Av Sorg
11
в сях есть множество как в питоне? для удаление дубликатов
Linus
25
читать файл максимально быстро? странный вопрос))
zamtmn
53
Я хочу запустить свой проект в тг. Что-то между пирамидой и майнилкой. Еще подобного ничего не было. Уникальная идея. Нужен именно не бот, а приложение. С ввод, выводом тон...
Павел А.
6
а как бы вылезти из ИО, что то типа IO -> Ether или в какую сторону смотреть ? что то туплю
Fedor
14
тоесть, указав return eax, сгенерируется никому ненужная инструкция mov eax,eax ?
Aiwan \ (•◡•) / _bot
24
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Реально в одиночку написать игровой движок на Си?
ㅤ (SVO)
11
Всем привет, товарищи! Можете меня поздравить, получил "отлично" за дисциплину "языки программирования низкого уровня". Честно говоря, не очень хочу, чтобы основы асма, которы...
Ыиу
1
Карта сайта