десятков ресурсов, распарсить и отправить полученные данные к получателю для последующего анализа. Используются socks4 прокси в среде python3.
Узкое место в количестве запросов в секунду - показатель должен быть больше, чем есть сейчас (~180 rq/sec), примерно ~300 запросов в сек. в идеале. (больше- лучше)
Кто-нибудь сталкивался с подобной задачей?
имхо проще поднять прерываемые vm, это batch job по сути
Socks не получится. Функции работают по http протоколу
Доля процессорного времени зависит от объёма зарезервированной памяти. Пробовали увеличить и оценить производительность?
Обсуждают сегодня