задач из очереди по инстансам приложения таким образом, чтобы одновременно выполнялись не более N задач и чтобы инстансы более-менее равномерно нагружались? Имеется в наличии Node.js, Redis, Mongo - желательно ограничиться ими, но можно и что-то еще поставить, если найдётся решение "из коробки".
Мне кажется обойтись без какого-нибудь прометеуса и лоадбалансера не получится, но буду рад ошибаться 😊
прометеус вроде для мониторинга.. я скорее имел в виду какие-то пакеты, которые можно в приложение поставить и к редису подключить и дальше оно уже само
Ну правильно, для мониторинга чего?) Нагрузки, правильно)) Ну и не только этой информации, туда можно отправить любую метрику)) Можно не только прометеус взять для метрики 😉 А теперь смотрите, если у вас есть мониторинг метрик типа нагрузки инстансов и колличества задач на каждом инстансе, то теперь вы можете легко написать логику отправления новых тасков на нужный инстанс с этой информацией, что у вас есть 😉
у меня так-то moleculer.js есть, там из коробки можно по CPU балансить и вообще как угодно, но это значит какой-то оркестратор писать надо, а хотелось бы чтобы оно само работало, т.е. как bull.js, но распределенно. на редисе же можно так сделать, странно что никто не сделал
а вот эти модули работы с очередями не подходят? https://moleculer.services/docs/0.12/modules.html#Tasks-queues-amp-jobs
Ну не оркестратор, а лоад балансер, но как бы полюбому нужно будет как-то и кем-то это трекать на разных инстансах)) Но я могу ошибаться, так что не слушайте меня))
Обсуждают сегодня