Господа, можете поделиться своими мыслями по поводу архитектуры приложения? Нужно, допустим,

Question

Господа, можете поделиться своими мыслями по поводу архитектуры приложения? Нужно, допустим,

надо скачать кучу файлов по разным ссылкам многопоточно (чтоб было быстро)
Планирую использовать threading и queue для этого
Суть в том чтобы создать очередь заданий (в которых будут ссылки) и N тредов, запустить их, а в тредах брать задания из очереди. Как вам такая идея? Есть ли вариант лучше?

#backend #programming #python #russian

0

31.01.2021

5 ответов

10 просмотров

Tom Cauf

threading в python не дает нормальной многопоточности. Он ближе к неуправляемой асинхронности. То есть таски выполняются кусками случайного размера, но последовательно друг за другом. Так работает GIL. Тебе нужен либо мультипроцессинг, когда таски шарятся между несколькими экземплярами интерпретатора, либо сторонний параллельный исполнитель, в который передавать таски на выполнение

0

31.01.2021

Smith

Tom Cauf
threading в python не дает нормальной многопоточно...

Разве операции с i/o не освобождают gil? Как раз таки для скачивание файлов многопоточность в самый раз...

0

31.01.2021

Tishka17

Smith
Разве операции с i/o не освобождают gil? Как раз т...

Освобождают

0

31.01.2021

uvicorn lasagna

Tishka17
Освобождают

Тишка, верни медиа пж

0

31.01.2021

Boris Litvyakov · Accepted Answer

Boris Litvyakov

aria2 — консольный менеджер скачки файлов. умеет качать в несколько соединений, прокси, очередь скачки, удаленное управление по http, gui, докачка при обрыве соединения и все это из коробки

0

31.01.2021

170 похожих чатов

Господа, можете поделиться своими мыслями по поводу архитектуры приложения? Нужно, допустим,

5 ответов

Похожие вопросы