то у меня всё нормально получилось через doParallel. Я сперва выгружаю одну страницу, замеряю скорость, исходя из скорости, определяю количество допустимых потоков (чем медленнее, тем больше потоков), потом передаю в качестве параметра выполняемой функции количество нод и номер страницы. Для первых страниц выгрузки выполняется задержка, чтобы ноды не атаковали API одновременно.
Скорость выгрузки выросла по предварительным прикидкам в 10 раз. Единственная пока не решённая проблема (но я её особо и не решал) - у меня пропала информация о прогрессе скачивания (outfile="" почему-то никак не сработал).
У кого-то есть примеры, чтобы parLapply отчитывался про обработанный элемент?
pbmclapply или pbmcapply.
Обсуждают сегодня