Всем привет. Читаю эту книгу. Есть вопрос к сообществу. В коде отправляют асинхронные

Question

Всем привет. Читаю эту книгу. Есть вопрос к сообществу. В коде отправляют асинхронные

http запросы, ограничивая количество одновременных запросов с помощью Semaphore.

Я правильно понимаю, что всегда параллельно будет запущено именно то количество, которое указано в аргументе Semaphore?

semaphore = asyncio.Semaphore(num_chunks)

https://github.com/mynameisfiber/high_performance_python_2e/blob/master/08_concurrency/cralwer/asyncio/crawler.py

#backend #programming #python #russian

0

03.08.2023

27 ответов

12 просмотров

Ivan K.

Тишка правильно ответил. Вспомнил мем, когда мне сказали реализовать такое же говно, а потом добавили требование: "ЧТОБЫ ВСЕГДА МАКСИМАЛЬНОЕ КОЛИЧЕСТВО ЗАПРОСОВ БЫЛО". Я ответил, что если реализовано норм, то в этом случае будет максимальное доступное количество)) В итоге отказали, мем

0

03.08.2023

Tishka17

Ivan K.
Тишка правильно ответил. Вспомнил мем, когда мне...

Хз что хотел автор вообще

0

03.08.2023

Andrey Nepshekuev Автор вопроса

Tishka17
Нет. Это максимальное количество.

Тогда вопрос, почему у авторов в книге такой красивый график - лесенкой. Видно, что когда n-й запрос отправлен, а 1й завершился - генерится n + 1 запрос.

0

03.08.2023

Ivan K.

Tishka17
Хз что хотел автор вообще

типо нагружать АПИшку сервиса по максам, не выходя за пределы допустимого. Ну создайте миллиард задач и запустите их, вот будут максималки

0

03.08.2023

Tishka17

Andrey Nepshekuev

Тогда вопрос, почему у авторов в книге такой краси...

Ага. Но он не стал запускать сразу n и не прибил оставшиеся n-1 когда энный с конца завершился

0

03.08.2023

Ivan K.

Andrey Nepshekuev

Тогда вопрос, почему у авторов в книге такой краси...

график с подвохом, все знают что в асинхроне мы дожидаемся окончания самой жирной задачи

0

03.08.2023

Andrey Nepshekuev Автор вопроса

Ivan K.
график с подвохом, все знают что в асинхроне мы до...

Так а что тогда дает Семафор?

0

03.08.2023

Ivan K.

Andrey Nepshekuev
Так а что тогда дает Семафор?

Механическое средство сигнализации для подвижного состава на железных дорогах.

0

03.08.2023

Tishka17

Andrey Nepshekuev
Так а что тогда дает Семафор?

Так, а что даёт Lock?

0

03.08.2023

Andrey Nepshekuev Автор вопроса

Ivan K.
график с подвохом, все знают что в асинхроне мы до...

Вот мой код. https://pastebin.com/D4ajDbbT Каждый таск - это запуск curl из под разных АйПи адресов. Я указываю Семафор(1000) и ожидаю одномоментно видеть 1000 запросов curl в процессах. А получается от силы 20. Бывает проскакивает около 1000, но редко.

0

03.08.2023

Andrey Nepshekuev Автор вопроса

Andrey Nepshekuev
Вот мой код. https://pastebin.com/D4ajDbbT Кажды...