170 похожих чатов

Вопрос по highload: есть пакет, например https://github.com/OptimalBits/bull, в который добавляются данные

пользователя в зависимости от условия, например крон отработал

К примеру 10к пользователей добавилось в очередь, у каждого пользователя есть задержка, эта задержка прописывается в конфиг через какое время она (очередь) должна выполниться

когда очередь выполняется, то выполняется запрос на внешний ресурс

к примеру, 10к юзеров, имеют задержку в 5 мин, все они добавились в очередь

как бы вы оптимизировали выполнение 10к запросов?
- при этом нельзя попасть rate limit
- всем юзерам нужно сделать запрос +- через 5-7 мин, а не первый пришел, первый ушел
- минимальная нагрузка на сервак (1 гб оператвы, 4 подкачки и 1 ядро ​​проца)

сейчас все работает, но время выполнения запроса не соответствует той задержке, которая указана из-за большого количества пользователей

4 ответов

15 просмотров

Я бы использовать какой нибудь рейтлимитер готовый

А куда запросы?

Roman-Kolesnikov Автор вопроса
🅰️nimeCoder
А куда запросы?

бинанс https://www.binance.com/ru/support/faq/360004492232 тут вопрос в том, чтобы все юзеры, которые попали в очередь, сделали запрос через то время, которое они указали в конфиге профиля то есть, если это было 5 минут, то после условия, на которое сработает крон, запрос выполнился через время указанное юзером а таких юзеров например 10к и все они указали 5 мин задержку

Roman Kolesnikov
бинанс https://www.binance.com/ru/support/faq/3600...

Эмпирическим путём вводишь оптимальное количество параллельных запросов и делаешь их пачками один за другим. Если рейт лимит по времени, то считай запросы в секунду с округлением до меньшего

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Привет. Подскажите, как правильно сматчить лист фиксированного размера, чтобы компилятор не говорил мне о неполном паттерне? Допустим что-то такое [x', y'] = sort [x, y]?
Arseny
8
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Мужики. привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных элементов...
Kraszx
2
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Карта сайта