Похожие чаты

Question about multiprocessing How can I determine the optimal number of

subprocesses.
Consider this scenario
A web scraping application crawl 100K URL that stored in a thread safe queue and do some data processing, likely to save as a csv file
I created 4 threads to handle the scraping logics, for each thread serve one link, 4 threads keep executing until the size of URL queue is 0
But I found only one CPU getting high usage rate, other 3 cores usages rates are between 5%-20%.
I search on google, people said I need to write multiprocessing logic in order to make use of all cpu cores, if it's true,
Do I need to create 3 more subprocess for each process created 4 threads to do web scraping logics?

1 ответов

14 просмотров

That's a rather low level question and many factors affect it including which machine you are on.

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Anyone knows where there are some instructions or discort about failed bridge transactions ?
Jochem
21
Also, why can’t the community have a vote/ say when it comes to initiatives like buybacks. Isn’t the point of crypto decentralisation? Don’t we deserve input as long term supp...
👨🏽‍🦰
13
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
Привет)) уже кажется эту тему перемусолили, но вот я так и не понял. Я сейчас сижу на 27дюймов 2к мониторе. На Актуальной макоси, если я куплю 27д 4к монитор: - будет ли изобр...
Vladislav Piskunov
15
any reference of this implementation?
BitBuddha
29
Hi guys, any problem with Pulsebrige? Trying to transfer from wETH to ETH. First it tells me to connect my metamask "through mobile app" not desktop. Then I did and confirmed ...
Snowflakecrypto
13
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Страшнейшая правда про списки ЦБ. С первых дней жизни P2P сферы, молодые человеки, начитавшись законодательной базы и "внутренних" документов, решили, что им противостоит сер...
Foxcool
3
Карта сайта