170 похожих чатов

Еще такой вопрос : понял, как сделали здесь, но они

парсят одну страницу и в асинке получают данные для разных значений на ней, а я хочу, чтобы одновременно парсились несколько страниц.

Как мне это сделать?

Примерный код :

async def get_html(s, l): # получаем ответ от сайта
return await s.get('https://google.com/order/' + str(l))

if __name__ == "__main__":
s = requests.Session()

loop = asyncio.get_event_loop()

for l in range(0, 1000000, 1): # здесь хочу в асинк закинуть цикл, а как - не знаю :(
response = loop.run_until_complete(get_html(s, l))
soup = BeautifulSoup(response.content, "html.parser")
orders_info(soup) # обработка с супом каждого из сайтов

loop.close()

18 ответов

31 просмотр

to_thread для синхронного кода + gather для нескольких to_thread - все в asyncio docs смотри

Max-Azatian Автор вопроса
Well Done
to_thread для синхронного кода + gather для нескол...

нашел такое, но все равно не понимаю, как потоку передавать границы цикла :( можешь подсказать пж?

Max Azatian
нашел такое, но все равно не понимаю, как потоку п...

7 ему уже, в сыновья мне этот вопрос годится

Max Azatian
нашел такое, но все равно не понимаю, как потоку п...

Могу ошибаться, но тебе нужно нечто вроде await asyncio.gather(asyncio.to_thread(to_db, some_data[from:to]), asyncio.to_thread(to_db, some_data[other_from:other_to]))

Well Done
Могу ошибаться, но тебе нужно нечто вроде await as...

Если to_db синхронный, а так можно await asyncio.gather(async_to_db(some_data), async_to_db(some_other_data))

Tishka17
Что за async to sync

Наоборот, зырь: https://docs.python.org/3/library/asyncio-task.html#id10

Tishka17
Ок. Это типа замена run in executor

Круто, да? Я был рад, когда это увидел (надо было синхронную либу использовать) P.S. А рад я был, потому что советы были практически десятилетней давности и внешний вид у них оставляет желать лучшего

Well Done
Круто, да? Я был рад, когда это увидел (надо было ...

Не очень круто. Лучше присмотреться к run in executor, ты же не хочешь миллион тредов

Tishka17
Не очень круто. Лучше присмотреться к run in execu...

Ты написал так, будто Executor тебе не сделает миллион тредов (на миллон блокирующих функций как я понял)

Tishka17
Thread pool executor слышал?

Слышал, но не юзал еще

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта