выгрузки, у меня одновременно запускаются 20 запросов к API, что превышает лимит. Я использую doParallel, makeCluster и parSapply.
А можно как-то настроить какой-то сдвиг по времени при первом запуске процедур на кластерах?
Пока что я думаю сделать так - установить в каждом кластере переменную firstLoad=TRUE, shift = сдвиг в секундах, а потом при каждом запуске проверять эти элементы и менять изнутри функции глобальный firstLoad TRUE на FALSE при отрабатывании.
Но вообще лучше чтобы оно как-то умело из кластера смотреть и отчитываться куда-то в мастер... Может есть какие-то такого плана решения?
Зачем городить такие жуткие костыли... Ссылку на решение с curl дал выше. Если бы ты внимательно посмотрел параметры curl::new_pool, то увидел бы, что можно настроить количество одновременных соединений с сервером на уровне curl.
Обсуждают сегодня