170 похожих чатов

Парни можете подсказать по поводу asyncio, у меня есть огромная

бд я делаю запрос и вытаскиваю все строки поблочно, пусть будет по 1к, и последовательно обрабатываю каждый блок, обработка проходит с помощью нескольких функций результаты одной передаются в другую, как мне можно сделать параллельно 10, 15 или какое-либо количество потоков, которое мне необходимо чтобы блоки обрабатывались параллельно?

12 ответов

7 просмотров

А тебе точно нужно столько данных в питоне обрабатывать?

Asyncio не про параллельную обработку. Это про параллельное ожидание сети

В чем обработка заключается?

А что происходит в этих блоках обработки?

если прям ваще не получится, можешь попробовать использовать concurrent.futures.ThreadPoolExecutor какой

1 блок постепенно и обрабатывается, я бы хотел взять несколько таких блоков чтобы они постепенно обрабатывались

Ну разбей на несколько процессов и обрабатывай параллельно

Alexander Тихонов
Ну разбей на несколько процессов и обрабатывай пар...

Я это и спросил, можно ли с помощью asyncio так сделать или нет и как это в жизни выглядеть будет?

Похожие вопросы

Обсуждают сегодня

читать файл максимально быстро? странный вопрос))
zamtmn
52
всем привет! углубившись в плюсы и начав изучать реверсинг понял, что без асм'а никуда со своими высокоабстрактными представлениями начал изучать механизмы асма, и не совсем п...
9
буквально один оставшийся вопрос при выполнении строчки mov eax, 5 операнд "5" будет присутствовать где-либо в памяти (любой), кроме как в памяти блока .code? подвопрос: как...
12
Всем ку. Подскажите, если задекларировал массив так: int arr[10] = {1, 2, 3, 4}, то в arr[4] будет мусор или нуль?
Sasha K
14
я не понимаю mov [r11+8],rcx и прочие. мы записываем значение из rcx, куда?
Bor
15
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
у меня такой вопрос про память в x86 возник, может кто пояснить?.. у процессора есть (как минимум) 3 типа адресов (названия "п1", "п2", "п3" --- мои, чтобы проще было дальше)...
Toideng
5
А какие расширения активно используются в промышленности? Именно идейные, по типу гадт, а не всякие оверлоадедстрингс
Степан
11
у процессора есть (как минимум) 3 типа адресов (названия "п1", "п2", "п3" --- мои, чтобы проще было дальше): - "п1" --- виртуальный адрес, то есть тот, который ресолвится в "п...
Toideng
3
Guys Who’s kurdish on this group?
Hiwa Amiri
11
Карта сайта