170 похожих чатов

Приветствую! Вопрос следующего характера Используем в проекте rabbitmq как шину задач в

микросервисах (парсер)

в реббите есть такая штука как префетч. С точки зрения ноды получается, что в коллстек одновременно попадает X задач и они условно параллельно выполняются

каждая задача выполняет http запрос

проблема заключается в том, что нода очень медленно выполняет задачи, где есть запросы, которые могут выполняться какое-то время

Даже иногда получается так, что запросы выполняются дольше, чем должны быть из-за параллельности
аналогино тому, чтобы выполнить 1000 запросов через promiseAll

Вопрос следующий: существуют ли способы оптимизации скорости такого кейса путем манипуляций с nodejs? Если да, то какие? Существуют best practices, которые примениы к описанному кейсу? Если да, то какие?

6 ответов

19 просмотров

Определи сколько запросов можно выполнять паралельно, и не превышай этот предел

сделайте х сервисов которые будут выполнять запросы

Daniel-Byta Автор вопроса
Anton K.
сделайте х сервисов которые будут выполнять запрос...

в рамках одного узла горизонтально не получится расширяться, всегда упираешься в диск, проц или рам, хочется как-то оптимизировать сам процесс

Daniel Byta
в рамках одного узла горизонтально не получится ра...

хочешь оптимизировать реквесты которые нода делает во внешний мир?

Микросервисы это несколько интсансов одного и того же приложения подняты?

Привет коллега-конкурент) Скажу тебе сразу и предметно - в потолок упираетесь потому что WB скоты и блочат запросы, когда concurrency > 60, плюс начинают появлятся 429 История в целом долгая, как боролись - сказать не могу, естественно, но я думаю сам догадаешься)

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта