бд я делаю запрос и вытаскиваю все строки поблочно, пусть будет по 1к, и последовательно обрабатываю каждый блок, обработка проходит с помощью нескольких функций результаты одной передаются в другую, как мне можно сделать параллельно 10, 15 или какое-либо количество потоков, которое мне необходимо чтобы блоки обрабатывались параллельно?
А тебе точно нужно столько данных в питоне обрабатывать?
Asyncio не про параллельную обработку. Это про параллельное ожидание сети
В чем обработка заключается?
А что происходит в этих блоках обработки?
если прям ваще не получится, можешь попробовать использовать concurrent.futures.ThreadPoolExecutor какой
так я тяну поблоково по 1к строк
А их постепенно нельзя обрабатывать?
1 блок постепенно и обрабатывается, я бы хотел взять несколько таких блоков чтобы они постепенно обрабатывались
Ну разбей на несколько процессов и обрабатывай параллельно
Я это и спросил, можно ли с помощью asyncio так сделать или нет и как это в жизни выглядеть будет?
Ну я и говорю, используй тредпул
Обсуждают сегодня