Добрый вечер, у меня есть 2 одинаковых модуля, однако один

Question

Добрый вечер, у меня есть 2 одинаковых модуля, однако один

async(использует aiohttp), другой sync(использует requests); по функционалу они идентичны: при вызове соответствующего метода происходит http.get запрос на сервер, далее с полученными данными работает bs4 и под конец метод возвращает нужный результат.

У меня вопрос: как мне следует поступить: разделить модули на 2 разных или написать один(слить), но в котором будут дубликаты кода(файлы sync_base, async_base и base - в котором будет bs4)?

#backend #programming #python #russian

0

23.01.2022

14 ответов

30 просмотров

Saint JKearnsl ༒🇷🇺 Автор вопроса

Т.к это парсер, некоторые люди, всё же, захотят воспользоваться sync версией(мб будут юзать telebot в связке) Async тут очень нужен для людей, пишущих asyncio приложения, а также для того, чтобы ускорить парсинг: При вызове метода 'get_new' выполняется и обрабатывается get запрос для получения ids манги(по умолчанию 20шт) Далее происходит 20 get запросов, чтобы получить html(страницы описания) 20 манг,- тут то и спасает async (сервер не очень шустрый, из-за чего явный буст)

0

23.01.2022

Saint JKearnsl ༒🇷🇺 Автор вопроса

Владимир
Про дубликаты совсем не понял, прости. Про синк че...

Насчёт 'многопотока' что-то не очень понял: читал как-то про GIL

0

23.01.2022

Tishka17

Saint JKearnsl ༒🇷🇺
Т.к это парсер, некоторые люди, всё же, захотят во...

Ух, тяжко

0

23.01.2022

Владимир

Saint JKearnsl ༒🇷🇺
Насчёт 'многопотока' что-то не очень понял: читал ...

Ну ты даже в чате можешь gil в поиск вбить - тут это обсуждалось много раз. Если вкратце, то запрос в сеть это io-bound, не тот случай. А так лучше повникай посерьезнее, конечно. Это очень сложная тема

0

23.01.2022

Tishka17

Saint JKearnsl ༒🇷🇺
Т.к это парсер, некоторые люди, всё же, захотят во...

а что, тредпула мало?

0

23.01.2022

Tishka17

Saint JKearnsl ༒🇷🇺
Т.к это парсер, некоторые люди, всё же, захотят во...

ты там requests.Session юзаешь вообще?

0

23.01.2022

Владимир

Saint JKearnsl ༒🇷🇺
Т.к это парсер, некоторые люди, всё же, захотят во...

Ты пишешь что Сервер не шустрый но асинк спасает... Ээээ?)

0

23.01.2022

Saint JKearnsl ༒🇷🇺 Автор вопроса

Владимир
Ты пишешь что Сервер не шустрый но асинк спасает.....

0

23.01.2022

Saint JKearnsl ༒🇷🇺 Автор вопроса

Владимир
Ты пишешь что Сервер не шустрый но асинк спасает.....

Если я отправляю одновременно 20 запросов, то на мой взгляд, тут async должно выигрывать: ... | - await (ждём ответа от сервера) | | - await (ждём ответа от сервера) | | - await (ждём ответа от сервера) | ... Нежели sync: ... | |- ждём ответа от сервера, из-за чего ждём все вместе сразу... (Блокировка потока) Ps: еду в поезде, не могу быстро ответить из-за интернета

0

23.01.2022

Pavel Павлик

Saint JKearnsl ༒🇷🇺
Понимаю async так: |- поток | | -- await (ждём от...

А можешь статью скинуть, где ты это вычитал?

0

23.01.2022

Tishka17

Saint JKearnsl ༒🇷🇺
Понимаю async так: |- поток | | -- await (ждём от...

asyncio: await func() - блокируем текущий "поток выполнения" (таск, не путать с потоком ОС) ответ пришел, делаем дальше треды: func() - блокируем текущий поток выполнения (он же поток ОС) ответ пришел, делаем дальше asyncio с несколькими таксками t1 = asyncio.create_task(func()) - запускаем первую функцию t2 = asyncio.create_task(func2()) - запускаем вторую функцию await asyncio.gather([t1,t1]) - блокиурем текущий поток выполнения до их завершения тредпулэкзекьютор: f1 = executor.submit(func) - запускаем первую функцию f2 = executor.submit(func2) - запускаем вторую функцию r1 = f1.result() - блокиурем текущий поток выполнения до завеошения первой r2 = f2.result() - блокиурем текущий поток выполнения до завершения второй

0

23.01.2022

Saint JKearnsl ༒🇷🇺 Автор вопроса

Pavel Павлик
А можешь статью скинуть, где ты это вычитал?

Давно читал, может не так всё понял.

0

23.01.2022

Saint JKearnsl ༒🇷🇺 Автор вопроса

Tishka17
asyncio: await func() - блокируем текущий "поток в...

Большое спасибо

0

23.01.2022