Добрый день, в цикле работает функция def get_html(url): print(1.4)

Question

Добрый день, в цикле работает функция def get_html(url): print(1.4)

r = requests.get(url, headers=HEADERS)
print(1.45)
return r

(принты там отладочные чтобы понять когда она отваливается)

Собственно у меня на случайной странице сайта - то на 141, то на 325 перестаёт печататься 1,45 (при этом никакой ошибки не происходит и программа не останавливается - просто "застывает")

Есть какой-либо способ кроме добавления time.sleep(x) внутрь функции исправить ее или понять когда request.get просто перестал работать?

#backend #programming #python #russian

0

27.04.2022

6 ответов

18 просмотров

Valeriy Автор вопроса

⁠
cat /var/log/nginx/access.log

а это не то чтобы мой сайт - цены конкурентов из открытых источников (их интернет-магазинов) собираем

0

27.04.2022

Александр

может проблема в ответе сервера?

0

27.04.2022

⁠

Valeriy
а это не то чтобы мой сайт - цены конкурентов из о...

Там наверняка стоит какая-нибудь защита, от ddos.

0

27.04.2022

Valeriy Автор вопроса

Александр
может проблема в ответе сервера?

Да, но я скорее пытаюсь понять как ее отловить - меня бы устроило если бы реквест возвращал None или выкидывал эксепшн, но он как бы работает, но на самом деле останавливается

0

27.04.2022

Александр

добавь timeout в requests get

0

27.04.2022

⁠ · Accepted Answer

⁠

cat /var/log/nginx/access.log

0

27.04.2022

170 похожих чатов

Добрый день, в цикле работает функция def get_html(url): print(1.4)

6 ответов

Похожие вопросы