Похожие чаты

Question about multiprocessing How can I determine the optimal number of

subprocesses.
Consider this scenario
A web scraping application crawl 100K URL that stored in a thread safe queue and do some data processing, likely to save as a csv file
I created 4 threads to handle the scraping logics, for each thread serve one link, 4 threads keep executing until the size of URL queue is 0
But I found only one CPU getting high usage rate, other 3 cores usages rates are between 5%-20%.
I search on google, people said I need to write multiprocessing logic in order to make use of all cpu cores, if it's true,
Do I need to create 3 more subprocess for each process created 4 threads to do web scraping logics?

1 ответов

6 просмотров

That's a rather low level question and many factors affect it including which machine you are on.

Похожие вопросы

Обсуждают сегодня

For managing user-generated content rights in gaming? 🤯🚀
Brian
37
Do we have a Chinese community here?
迪迦
20
@Aiwan что такое база образца?
Alexey
27
Не многие знают, а кто знает, тот уже успел забыть, что в далёком 2004 году эта игра произвела настоящий фурор, настолько революционной была технология, применяемая для её соз...
ICCID
4
Why binance delisting the token?
🅰🅽🅳🆁🅴🆆
14
Hi is Atomic wallet safe to exchange btc to xmr?
Regex
20
Короче я тут узнал полный пиздец Что кучу постов которые я создавал через posted Спустя время не могу редактировать и менять Мол телега возвращае ошибку Это реально так ...
inc.
13
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Hello, Ergo Investor here. Had a few questions for the leadership of the project, from what I’ve seen @kushti_ru , @Armeanio @dadreboi In one sentence, what is your vision f...
A
13
Is UniBright Freequity an active live product ? A friend here in Asia was discussing the Tokenisation of RWA’s in his case Real Estate as he’s a developer with numerous overs...
Digital Trust
5
Карта сайта