170 похожих чатов

Господа, можете поделиться своими мыслями по поводу архитектуры приложения? Нужно, допустим,

надо скачать кучу файлов по разным ссылкам многопоточно (чтоб было быстро)
Планирую использовать threading и queue для этого
Суть в том чтобы создать очередь заданий (в которых будут ссылки) и N тредов, запустить их, а в тредах брать задания из очереди. Как вам такая идея? Есть ли вариант лучше?

5 ответов

8 просмотров

aria2 — консольный менеджер скачки файлов. умеет качать в несколько соединений, прокси, очередь скачки, удаленное управление по http, gui, докачка при обрыве соединения и все это из коробки

threading в python не дает нормальной многопоточности. Он ближе к неуправляемой асинхронности. То есть таски выполняются кусками случайного размера, но последовательно друг за другом. Так работает GIL. Тебе нужен либо мультипроцессинг, когда таски шарятся между несколькими экземплярами интерпретатора, либо сторонний параллельный исполнитель, в который передавать таски на выполнение

Tom Cauf
threading в python не дает нормальной многопоточно...

Разве операции с i/o не освобождают gil? Как раз таки для скачивание файлов многопоточность в самый раз...

Tishka17
Освобождают

Тишка, верни медиа пж

Похожие вопросы

Обсуждают сегодня

Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Коллеги, добрый вечер. Создаю коллекцию от TFPGMap, ключ - перечисление, значение - целое. Нужно отсортировать коллекцию по значению. Как это можно сделать?
Kirill Filippenok
11
Скажи а ты когда этот канал создавал ты уже дельфи не любил, или это со временем пришло?
Роман Лях (rgreat)
18
Привет, такой вопросик появился кажется ли вам что Rust слишком сложный/строгий для высокоуровневого программирования и слишком "безопасный"/строгий для низкоуровневого?
Крокант
10
Всем привет! Использую кастомное модальное диалоговое окошко, все по классике - mrOK, mrCancel как ModalResult. Однако есть нюанс - в главной форме есть универсальный обработч...
Олег Гранишевский
20
Карта сайта