170 похожих чатов

11 ответов

12 просмотров

Через очередь промисов

Murena- Автор вопроса

Не уверен что это поможет, чилд процессы не знают делали ли другие процессы запрос, и как давно

Процессы спавнили только, чтобы запросы слать?

Почему бы не делать запросы из одного процесса?

Если вы работаете с fork, то parents общаются с children. Если все еще действительно вы обдумали что вам нужны другие процессы. Наверное просто отправляйте в parent цикле по всем child'ам, то есть round-robin'ом ребенку сигнал, что пора отправлять запрос, далее delay 1 с. и всё(процессы для этого не нужны).

Потому что чем больше процессов, тем кошернее

Миллион процессов - топчик?

Murena- Автор вопроса

Каждый процес парсит данные, делает математические просчеты и также делает множество других запросов к сторонним api. Поэтому решил вынести это в отдельные процессы/джобы чтоб не блокировать основной Event Loop процесса-сервера, и теперь стоит задача увеличить количество одновременных потоков таких джоб, но проблема в ограничениях в количестве запросов в секунду которые можно слать с одного api ключа (к стороннему api) - и как сделать так чтоб все процессы могли слать запросы с определенным единственным debounce time для всех процессов ? Разве что пересмотреть архитектуру - и сделать так что запрос за дынными делает один процесс - а под математические процессы уже спаунить child процессы - в которых уже идут просчеты, но есть часть данных которые приходятся запрашивать уже по ходу просчетов, в общем надо какое то кастомное решение думать.

все запросы к одному источнику должны идти от одного процесса, в котором организована очередь запросов к этому внешнему источнику. Логично разместить эту функциональность в родительском процессе если после получения ответа нужно запросить ещё что-то в том же источнике, дочерний процесс должен стукнуться в родительский с указанием того, что нужно дозапросить если дозапрашивать надо в других источниках, где нет ограничений на количество запросов, то дочерние процессы и сами могут это делать

Murena- Автор вопроса

Спасибо!

Murena- Автор вопроса

Нашёл решение, что решает мою проблему https://github.com/SGrondin/bottleneck#clustering

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
32
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
1
Hey there Which is the best Linux destro for developers (coding)? To my research on reddit, they said Linux mint is good for mid level spec and Ubuntu for high Lev hardwar...
Wiz 🪄
11
Подскажите пожалуйста, а я могу вот такую штуку использовать? rpc, только реализованное в реббите https://www.rabbitmq.com/tutorials/tutorial-six-php ( или https://habr.com/ru...
Artyom
11
И ещё вопрос: можно ли типа как на дос как-то запариться и с помощью прерываний выводить текст, вместо функции printf ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
34
а мы ещё не созрели до того, чтобы создать отдельный чатик про настройку редакторов?
Cheese Syrowiecki
16
Всем привет! У меня почему-то по-разному отображается TListView в Debug и Release режимах (FireMonkey)! При запуске под Win приложения TListView заливается программо. в Debug ...
Александр COM
8
Карта сайта