Привет всем Столкнулся с архитектурной проблемой, которую хз как решить. Проблема в

Question

Привет всем Столкнулся с архитектурной проблемой, которую хз как решить. Проблема в

следующем

Есть парсер, которому скармливается список зарегистрированных в сервисе пользователей.
Он берет каждого пользователя, с его данными лезет в сторонний api, смотрит наличие новых записей, пишет новые записи в базу и отправляет в rabbitMq для обработки этих записей.

Вопрос. Как обеспечить систему так, чтобы при горизонтальном масштабировании парсера и подписчиков одна и та же запись обрабатывалась и записывалась в базу только один раз?

#backend #javascript #node.js #programming #russian

0

17.01.2021

4 ответов

7 просмотров

Sergei K Автор вопроса

Беда в том, что на 5к пользователей 5к инстансов тоже не создать Если только оркестрировать 10 инстансов, чтобы они работали с разными пользователями - но тоже хз как это сделать Можно только попробовать их грузить в очередь брокера каждые n миллисекунд. Но честно я не знаю, насколько правильно так делать

0

17.01.2021

Алексей Попов

Выше правильно написали Идея в том, что с пользователем работает один инстанс, а не по инстансу на каждого пользователя

0

17.01.2021

Sergei K Автор вопроса

А в брокерах есть какая нибудь тулза, чтобы раз загрузить в него записи, и эти записи будут обрабатываться разными инстансами? Чтобы подписчики брали эти записи с самого начала одну за одной, а когда вс обработали - возвращались в начало списка?

0

17.01.2021

Алексей Попов · Accepted Answer

Алексей Попов

Например с одним пользователем должен работать один инстанс

0

17.01.2021

170 похожих чатов

Привет всем Столкнулся с архитектурной проблемой, которую хз как решить. Проблема в

4 ответов

Похожие вопросы