requests - это, насколько я помню, pure python надстройка над urllib, так что, по условиям задачи, это уже точно не самый быстрый способ.
А, тык в условии не было речи о скорости) откланюсь
requests синхронный. Придётся использовать потоки, искать оптимальный размер тредпула.
Да, именно так и реализована моя программа скачивания файлов. Мне, конечно, не требуется обрабатывать 100к урлов, но асинхронно качать 5 файлов он умеет, плюс переключается на следующий файл, если что-то докачалось из 5 файлов
Короче мой ответ совершенно не актуален, поэтому проехали
Обсуждают сегодня