Всем привет. Когда лучше threading, а когда multiprocessing для "ускорения"

Question

Всем привет. Когда лучше threading, а когда multiprocessing для "ускорения"

запросов к API (или другие варианты)?

Мой случай: циклом for обрабатываю данные, в каждой итерации отправляю запрос к API для получения других данных. Можно это как-то ускорить?

P.S. обернул в таймер (декоратор) каждый такой запрос примерно занимает 0.2-0.5 сек, что очень много в сравнении с остальной логикой
Спасибо

#backend #programming #python #russian

0

22.06.2021

16 ответов

7 просмотров

Andrey Автор вопроса

Kirill Shikhalev
Запросы к апи перпендикулярно мультипроцессингу

То есть процессинг лучше для требовательных к вычислениями функциям?

0

22.06.2021

Kirill Shikhalev

Andrey
То есть процессинг лучше для требовательных к вычи...

Да, он именно для этого и создан

0

22.06.2021

Alex

Kirill Shikhalev
Да, он именно для этого и создан

Нет, но распараллеливание CPU-bound задач является одной из распространенных задач решаемых при помощи мультипроцессинга.

0

22.06.2021

Noname

так это асинхронку надо делать, зачем же треадинг. В python-binance есть асинхронный клиент

0

22.06.2021

Alex

Noname
так это асинхронку надо делать, зачем же треадинг....

А почему трединг не подходит? Я вот в аналогичной ситуации ThreadPoolExecutor использовал.

0

22.06.2021

Andrey Автор вопроса

Kirill Shikhalev
Да, он именно для этого и создан

спасибо, threading решил вопрос

0

22.06.2021

Noname

Alex
А почему трединг не подходит? Я вот в аналогичной ...

Не спорю можно и потоками и по ядрам раскидать. Но кмк отдельные потоки или процессы имеют смысл если есть чем их нагрузить, а если задача потока - тупо ждать json с бинанса то асинхронка в одном потоке логичнее, чем мутить пул тредов которые будут просто простаивать в ожидании ответа.

0

22.06.2021

Alex

Noname
Не спорю можно и потоками и по ядрам раскидать. Но...

ну и........ пусть простаивает. Там же не while True: pass. Ос видит что поток бездействует и переводит его в саспенд (или как оно называется) и он не грузит систему.

0

22.06.2021

Илья Власов

Alex
А почему трединг не подходит? Я вот в аналогичной ...

Треды несколько медленнее асинхронки. Потому что какая-то изоляция все-таки происходит, а асинхронка насколько я знаю в одном потоке крутится и на поддержание потока ничего не тратится

0

22.06.2021

Alex

Noname
Не спорю можно и потоками и по ядрам раскидать. Но...

> Не спорю можно и потоками и по ядрам раскидать. тут речь про IO-bound шла. и да, "раскидай" в общем случае. > логичнее чем принципиально логичнее? > Треды несколько медленнее асинхронки. зачастую наоборот. > Потому что какая-то изоляция все-таки происходит букварь по системному программированию живо 🤦‍♂️

0

22.06.2021

Noname

Alex
> Не спорю можно и потоками и по ядрам раскидать. ...

Я не глубоко знаю тему но интересно послушать мнения. Что касается логики, то мне не ясно как многопоточность ускорит получение ответов на http-запросы? Ну засунули блокирующую операцию не в корутину а в поток, ну перебирает образно gil эти потоки и что? в свой cpu мы же никак не упираемся. Или что i/o поток быстрее достучиться до gil чем eventloop получит результат из корутины?

0

22.06.2021

Alex

Noname
Я не глубоко знаю тему но интересно послушать мнен...

1. GIL отпускается на IO операциях 2. ты можешь создать 10 потоков, и они дружно будут ждать пока не приедут ответы. 3. > то мне не ясно как многопоточность ускорит получение ответов на http-запросы тем что вместо последовательного выполнения 10 запросов в одном потоке, ты отправлил сразу N (каждый в своем потоке) и ждешь ответ.

0

22.06.2021

Tishka17

Noname
Я не глубоко знаю тему но интересно послушать мнен...

google://кооперативная vs вытесняющая многозадачность

0

22.06.2021

Kirill Shikhalev

Noname
так это асинхронку надо делать, зачем же треадинг....

Асинхронный код сложно расширять и поддерживать, да и к тому же намутить минимальное решение

0

22.06.2021