Тишка, к тебе вопрос, если я буду запускать в aiohttp

Решит

01.02.2021

Andrey Sapronov Автор вопроса

Tishka17
Решит

Ок, благодарю, а второе решение запускать в ProcessPoolExecutor имеет какое-то преимущество если у меня 1 процесс только? Или наоборот будет чуть медленным из-за выделения ресурсов дополнительных?

01.02.2021

Andrey Sapronov
Ок, благодарю, а второе решение запускать в Proces...

Зависит от ситуации: кода, ОС, данных

01.02.2021

Andrey Sapronov Автор вопроса

Tishka17
Зависит от ситуации: кода, ОС, данных

Я попробовал оба, в случаи с ProcessPoolExecutor 1000 вызовов функции выполняется за 27 сек, а в потоке за 25 сек. Но вот боюсь не будет ли cpu bound мешать ивент лупу..

01.02.2021

Tishka17
Решит

Разве? Гил же шарится между всеми тредами. Соответственно в одном треде ты уперся в cpu-bound операцию и для работы над ней этот один тред забирает себе общий лок и остальные соответственно стоят. Я так так это понимаю.

01.02.2021

Alex
Разве? Гил же шарится между всеми тредами. Соответ...

Ну не вечно же

01.02.2021

Tishka17
Ну не вечно же

Да, но мне казалось что вот этот момент времени он может "убить" такое асинхронное приложение когда все остальные корутины не двигаются по событийному циклу. По крайней мере, если у тебя достаточно большое колличество одномоментных запросов в приложение.

01.02.2021

Alex
Да, но мне казалось что вот этот момент времени он...

Так в асинке вообще один поток даже без гила

01.02.2021

Alex
Разве? Гил же шарится между всеми тредами. Соответ...

Потоки это вытесняющая многозадачность, а вот asyncio реализует кооперативную. Поэтмоу даже если поток упирается в cpu bound, это не помешает остальным потокам. Но в тасках asyncio/aiohttp это не верно, и cpubound таска заблокирует всех остальных, если принудительно ее на эвейтить.

01.02.2021

Alex
Потоки это вытесняющая многозадачность, а вот asyn...

Как можно заэвейтить cpu bound операцию?

01.02.2021

Michael Pokrovsky
Как можно заэвейтить cpu bound операцию?

Например обернуть в Future. В питоне прям целая либа встроена просто реалищующая этот паттерн https://docs.python.org/3/library/concurrent.futures.html

01.02.2021

Alex
Например обернуть в Future. В питоне прям целая ли...

Завернуть в future и отправить в ProcessPoolExecutor?

01.02.2021

Michael Pokrovsky
Как можно заэвейтить cpu bound операцию?

делишь ее на куски и эвейтишь

01.02.2021

Michael Pokrovsky
Завернуть в future и отправить в ProcessPoolExecut...

Нет. Пул сам дает тебе такой "талончик" на получение результата в будущем когда ты даешь ему таск. https://docs.python.org/3/library/concurrent.futures.html#concurrent.futures.Executor.submit

01.02.2021

Alex
Нет. Пул сам дает тебе такой "талончик" на получен...

Ну технически твоя таска будет выполняться уже не в корутине главного потока, а уйдёт в другой другой (дочерний) процесс. А корутина из главного потока внутри эвент лупа будет эвейтить футуру? Так получается?

01.02.2021

Michael Pokrovsky
Ну технически твоя таска будет выполняться уже не ...

Да. Хотя у asyncio есть свой интерфейс для работы с future который предпочтительней, но в целом все работает так.

01.02.2021