микросервисах (парсер)
в реббите есть такая штука как префетч. С точки зрения ноды получается, что в коллстек одновременно попадает X задач и они условно параллельно выполняются
каждая задача выполняет http запрос
проблема заключается в том, что нода очень медленно выполняет задачи, где есть запросы, которые могут выполняться какое-то время
Даже иногда получается так, что запросы выполняются дольше, чем должны быть из-за параллельности
аналогино тому, чтобы выполнить 1000 запросов через promiseAll
Вопрос следующий: существуют ли способы оптимизации скорости такого кейса путем манипуляций с nodejs? Если да, то какие? Существуют best practices, которые примениы к описанному кейсу? Если да, то какие?
Определи сколько запросов можно выполнять паралельно, и не превышай этот предел
сделайте х сервисов которые будут выполнять запросы
в рамках одного узла горизонтально не получится расширяться, всегда упираешься в диск, проц или рам, хочется как-то оптимизировать сам процесс
хочешь оптимизировать реквесты которые нода делает во внешний мир?
Микросервисы это несколько интсансов одного и того же приложения подняты?
Привет коллега-конкурент) Скажу тебе сразу и предметно - в потолок упираетесь потому что WB скоты и блочат запросы, когда concurrency > 60, плюс начинают появлятся 429 История в целом долгая, как боролись - сказать не могу, естественно, но я думаю сам догадаешься)
Обсуждают сегодня