?
есть 38к урлов, код вроде работает но спустя некоторое время вылетает эксепшн.
https://pastebin.com/hQRRMLaq
Connection reset by peer
может нужно увеличить таймаут ?
print(f'pizdec {e}') :D
Мельком глянул, а сколько там одновременных запросов?
там вроде все выполняются, а как можно ограничить?
Запускать только определённое количество,. Если все разом пулять, то сервер думает что его ддосят
Можно такое сделать
какое?)
1. заюзай aiojobs 2. не пиши имеджи на диск в своих тасках. это ж цпу задача, она тормозит все остальное 3. посмотри аргументы клаент сешн, там много чего интересного
В смысле запись на диск это CPU-bound? 0_о
А что про аргументы сессии?
Обсуждают сегодня