Но как это лучше сделать ?

Если вы работаете с fork, то parents общаются с children. Если все еще действительно вы обдумали что вам нужны другие процессы. Наверное просто отправляйте в parent цикле по всем child'ам, то есть round-robin'ом ребенку сигнал, что пора отправлять запрос, далее delay 1 с. и всё(процессы для этого не нужны).

0

27.01.2021

Сергей Пограничный

Потому что чем больше процессов, тем кошернее

0

27.01.2021

Sergey 🧻🤲

Миллион процессов - топчик?

0

27.01.2021

Murena Автор вопроса

Каждый процес парсит данные, делает математические просчеты и также делает множество других запросов к сторонним api. Поэтому решил вынести это в отдельные процессы/джобы чтоб не блокировать основной Event Loop процесса-сервера, и теперь стоит задача увеличить количество одновременных потоков таких джоб, но проблема в ограничениях в количестве запросов в секунду которые можно слать с одного api ключа (к стороннему api) - и как сделать так чтоб все процессы могли слать запросы с определенным единственным debounce time для всех процессов ? Разве что пересмотреть архитектуру - и сделать так что запрос за дынными делает один процесс - а под математические процессы уже спаунить child процессы - в которых уже идут просчеты, но есть часть данных которые приходятся запрашивать уже по ходу просчетов, в общем надо какое то кастомное решение думать.

0

27.01.2021

Алексей Попов

все запросы к одному источнику должны идти от одного процесса, в котором организована очередь запросов к этому внешнему источнику. Логично разместить эту функциональность в родительском процессе если после получения ответа нужно запросить ещё что-то в том же источнике, дочерний процесс должен стукнуться в родительский с указанием того, что нужно дозапросить если дозапрашивать надо в других источниках, где нет ограничений на количество запросов, то дочерние процессы и сами могут это делать

0

27.01.2021

Murena Автор вопроса

Спасибо!

0

27.01.2021

Murena Автор вопроса

Нашёл решение, что решает мою проблему https://github.com/SGrondin/bottleneck#clustering

0

27.01.2021

Sergey 🧻🤲 · Accepted Answer

Sergey 🧻🤲

Через очередь промисов

0

27.01.2021

170 похожих чатов

Но как это лучше сделать ?

11 ответов

Похожие вопросы