*Здц. Питон 3.10 выполнил 600 оборотов в цикле за 1

Question

*Здц. Питон 3.10 выполнил 600 оборотов в цикле за 1

мин. 47 сек (1 запрос к базе и дальше перебор данных из результатов с отправкой пост запроса). Это шутка или у меня были слишком завышенные ожидания о легендарно хваленной скорости питона?

#backend #programming #python #russian

0

21.05.2023

22 ответов

14 просмотров

Dd3 Автор вопроса

Федор Chekhov
покажи

https://pastebin.com/6EJdPXJ9 самый банальный чистый код

0

21.05.2023

evle

Dd3
https://pastebin.com/6EJdPXJ9 самый банальный чист...

Ну, у тебя тут куча общения с внешним миром и ты при этом меришь полное время. Фиг знает, что из этого занимает столько времени. Профилируй, скорее всего либо база тормозит, либо сеть.

0

21.05.2023

·

Dd3
https://pastebin.com/6EJdPXJ9 самый банальный чист...

Класс, замеряешь время отправки пост запросов, а утверждаешь что питон медленный

0

21.05.2023

Dd3 Автор вопроса

evle
Ну, у тебя тут куча общения с внешним миром и ты п...

База не тормозит. К ней идет всего 1 запрос и дальше уже всё занимает цикл только. Сейчас сделаю проверку работы самого цикла только, хотя сомневаюсь, что там изменится что-то

0

21.05.2023

Dd3 Автор вопроса

·
Класс, замеряешь время отправки пост запросов, а у...

Так всм!? Мне надо чтоб эти запросы и отправлялись быстро.

0

21.05.2023

·

Dd3
Так всм!? Мне надо чтоб эти запросы и отправлялись...

Юзай тредпул

0

21.05.2023

evle

Dd3
База не тормозит. К ней идет всего 1 запрос и даль...

Откуда ты знаешь, что не тормозит? Решил угадать? Бывает, что один запрос три дня делается при удачном стечении обстоятельств. И requests.post в цикле — это далеко не дешёвая операция.

0

21.05.2023

Dd3 Автор вопроса

evle
Откуда ты знаешь, что не тормозит? Решил угадать? ...

Так посоветуйте более легкий аналог request-a, ну. Я сюда не за осуждением пришел, а помощью. Сейчас указанный выше тредпул гляну тоже

0

21.05.2023

·

Dd3
Так посоветуйте более легкий аналог request-a, ну....

Ты видимо не понимаешь что ты делаешь

0

21.05.2023

Dd3 Автор вопроса

evle
Откуда ты знаешь, что не тормозит? Решил угадать? ...

Чекнул сейчас отдельно базу и цикл. Разница в 1 секунду всего получается. То есть база выдаёт за 1 секунду, а остальные почти 106 крутится цикл

0

21.05.2023

Dd3 Автор вопроса

·
Ты видимо не понимаешь что ты делаешь

Всм не понимаю!? Я просто хочу выполнить задачу, которая мне необходима и чтоб скрипт её выполнял за как можно более быстрое время

0

21.05.2023

Ilya

Dd3
Чекнул сейчас отдельно базу и цикл. Разница в 1 се...

Ну так ты последовательно хуяришь 600 запросов, ожидаешь от каждого ответ перед следующим

0

21.05.2023

·

Dd3
Всм не понимаю!? Я просто хочу выполнить задачу, к...

У тебе большое время из-за задержек сети, понимаешь?

0

21.05.2023

evle

Dd3
Так посоветуйте более легкий аналог request-a, ну....

Дело не в лёгкости реквеста. Для отправки http-запроса нужно открыть соединение, послать туда данные, дождаться ответа, закрыть. И так в цикле. Если запросов много — это время. в любом языке, банально работа сети. Что можно сделать — не дожидаться ответа и отправлять за раз несколько запросов в фоне. Но учебник по сетевому программированию тебе в посте никто не напишет, иди и читай книжки.

0

21.05.2023

Dd3 Автор вопроса

Ilya
Ну так ты последовательно хуяришь 600 запросов, ож...

И как сделать так, чтоб ответа не ждать? Я взял стандартную структуру

0

21.05.2023

·

Dd3
Всм не понимаю!? Я просто хочу выполнить задачу, к...

https://www.digitalocean.com/community/tutorials/how-to-use-threadpoolexecutor-in-python-3-ru начни с этого, посмотри как изменится время

0

21.05.2023

Dd3 Автор вопроса

evle
Дело не в лёгкости реквеста. Для отправки http-зап...

Я так понимаю, что мне выше её и скинули. Сейчас гляну

0

21.05.2023

Dd3 Автор вопроса

·
https://www.digitalocean.com/community/tutorials/h...

Пасибо! Если ничего не изменится и даже ChatGPT не поможет, то вернусь 😁🤝

0

21.05.2023

evle

Dd3
Я так понимаю, что мне выше её и скинули. Сейчас г...

Один из вариантов. Но бездумно пробовать без понимания как это работает — тут тоже так себе вариант. Я бы всё же советовал сперва хоть какую-то книжку по сетям прочитать. Можно случайно долбануться и зафлудить сервер 600+ одновременными подключениями и словить бан он телеги.

0

21.05.2023

Dd3 Автор вопроса

·
https://www.digitalocean.com/community/tutorials/h...

Охринеть. Время выполнения с 107 сек. сократилось до 9, хотя я использовал всего 10 потоков. 😃 СПАСИБО!!! ❤️❤️❤️

0

21.05.2023

Dd3 Автор вопроса

Dd3
Охринеть. Время выполнения с 107 сек. сократилось ...

А если увеличивать количество потоков, то время выполнения сокращается еще больше 🔥🔥🔥 Разъеб.

0

21.05.2023