"Если код работает неэффективно - навали больше железа" - это,

Question

Python beginners

Stanislav Agafonov

"Если код работает неэффективно - навали больше железа" - это,

конечно, рабочий метод 😂 но может сначала над самим парсером поколдовать?

#backend #programming #python #russian

0

25.04.2022

12 ответов

21 просмотр

Vitalii Ishkevych

ㅤ
Я даже не знаю стоит ли, он парсит по 5 страниц, н...

По 5 страниц в день/час/секунду? Сколько запросов в секунду вы отправляете? На сайте может быть 10к/100к товаров, если вы их всех сразу запросами кидаете то нагрузка действительно большая

0

25.04.2022

ㅤ

Vitalii Ishkevych
По 5 страниц в день/час/секунду? Сколько запросов...

5 страниц в секунду, товаров на сайте примерно 2000-4000 тысячи сейчас, я специально спарсил все товары, чтобы узнать какая будет нагрузка при отсутствии новых товаров, однако нагрузка всеровно 130%

0

25.04.2022

ㅤ

ㅤ
5 страниц в секунду, товаров на сайте примерно 200...

Спустя час нагрузка падает и колеблится в районе 70-85% на процессор

0

25.04.2022

Vitalii Ishkevych

ㅤ
5 страниц в секунду, товаров на сайте примерно 200...

Нагрузка 130% потому что запросы на парс товаров идут в любом случае, здесь от того новый ли товар или нет сильно нагрузка не зависит

0

25.04.2022

ㅤ

Vitalii Ishkevych
Нагрузка 130% потому что запросы на парс товаров и...

Я знаю, но я написал так, что прежде чем получить инфу о товаре с его страницы он сверяется в базе, если есть только тогда добавляется, даже при отсутствии новых товаров нагрузка большая на процессор

0

25.04.2022

Vitalii Ishkevych

ㅤ
Я знаю, но я написал так, что прежде чем получить ...

Запустите скрипт на своем ПК, посмотрите нагрузку и тогда поймёте в чем проблема. В процессоре на VPS или в производительности самого парсера. (Я думаю у вас процессор производительнее чем на VPS за 5$)

0

25.04.2022

ㅤ

Vitalii Ishkevych
Запустите скрипт на своем ПК, посмотрите нагрузку ...

Может быть вы правы, процессор на моём пк с запущеным ботом и остальными программами нагружен на 90%, однако я не тестировал его на протяжении к примеру работы целого дня

0

25.04.2022

Vitalii Ishkevych

ㅤ
Может быть вы правы, процессор на моём пк с запуще...

Тут 99% проблема в коде парсера. Возможно где-то рекурсивные запросы идут или типо того

0

25.04.2022

Fᴏʀᴅᴇɴ

ㅤ
5 страниц в секунду, товаров на сайте примерно 200...

130% на линуксе это значит что 1 ядро забито, а второе на 30%

0

25.04.2022