170 похожих чатов

Привет. Пытаюсь парсить сайт при помощи aiohttp. При большом количестве

запросов некоторые возвращают ошибки 400+. Не подскажете есть ли какой-то параметр в aiohttp для повторного запроса при неудаче?

4 ответов

2 просмотра

ловить исключения и пытаться по новой сделать запрос не вариант?

success = False while not success: result = session.get(url) if result.status_code not in range(400, 500): success = True В таком духе, методы aiohttp не помню, но суть такая.

Den- Автор вопроса
Pavel Glukhov
ловить исключения и пытаться по новой сделать запр...

Вариант, но думал может есть что-то встроенное

ну смотри... вот ты сам пишешь при большом количестве запросов из этого следует что возможно у тебя будет ридонли)) ну и просто по логике - если проблема в большом количестве запросов - пытаться сразу повторить запрос как-то неразумно...

Похожие вопросы

Обсуждают сегодня

А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
что насчет пагинга? на осдеве непонятно(
Vi Chapmann 🪙
25
Вопрос я правильно понимаю что в коде newtype ArrowMap k v = ArrowMap { getArrowMap :: k -> Maybe v } getArrowMap есть функция типа k -> Maybe v, если да, то не понимаю задач...
Fedor
64
Ребят, что лучше для реверса: гидра или ида?
En Vind Av Sorg
26
Делаю велосипед логгер. К сообщению хочу прикрутить некоторую информацию, типа, кем отправлено, какой уровень, и всякое такое. И тут подумалось мне, почему бы не хранить весь...
Serjone
24
Как Вы считаете нормально ли в двадцатых годах 21 века в ВУЗах Российской Федерации обучать студентов работе с TASM? Не слишком ли это "архаично"? (Если оффтоп или флейм для э...
Spiker01
52
если загрузчик efi? если сама PML4 PDPT PDT PT лежит в неудобном для меня месте?
Vi Chapmann 🪙
8
А я же правильно понимаю, что инструкция AT в ld только сохраняет метаинформации о том, куда загрузить сегмент, которую далее из эльфика читает grub(ну если граб)? Но я тогда ...
Evg Resh
2
Господа, импользую кастомный загрузчик, ядро запускается сразу в длинном режиме, хочу узнать, сколько всего физической ОЗУ есть у машины. И, может, знаете какие-то подводные к...
Vi Chapmann 🪙
6
Комрады, хотел уточнить. Проперть в OnDestroy юнита-хозяина по-прежнему доступна? И еще уточнение: finalization юнита наступает раньше или позже OnDestroy?
Ed Doc
48
Карта сайта