Салют! У меня не по докеру вопрос, а скорее по

Question

Салют! У меня не по докеру вопрос, а скорее по

system design. Не знаю, в какой чат его задать, поэтому пишу сюда :)

1. На фронте грузим файл, в котором 1-1M строк
2. Файл отправляется на бэк по апи
3. На бэке строки из файла пишутся в базу (postgres)
5. Есть много всяких микросервисов, каждый из которых считает какую-то метрику для строки. Каждая метрика может считаться от нескольких секунд до 30 минут
6. Надо, чтобы каждая строка отправилась в каждый сервис и попутно в базе обновлялся статус для каждой строки. Например, что тот или иной сервис посчитал метрику
7. Строки надо вывести во вьюху с таблицей, желательно сразу после сабмита файла, а метрики в таблицу, чтобы подтягивались по мере готовности и без постоянного рефреша страницы со стороны пользователя
8. На фронте надо повесить еще какой-то общий progress bar, помимо самой таблицы с результатми

Деплою это все на aws.

Вопросы:
1. Как лучше всего сделать пункт 6? Что почитать по этой теме, чтобы не придумывать самому велосипеды? Как я понял, нужна какая-то очередь, типо RabbitMQ или самому код воркеров и код очереди писать?
2. Как сделать, чтобы сервисы понимали сколько их нужно поднять исходя из размера файла, чтобы все метрики посчитались за +/- заданное время. Нужен kubernetes для этого или нужно на aws как-то autoscaling настроить?

#backend #devops #docker #programming #russian

0

27.05.2021

3 ответов

15 просмотров

Arsenius Автор вопроса

А, слушайте, забыл еще один вопрос задать. А воркеров как что писать лучше всего? Как цикл, который каждые несколько секунд просыпается и чекает бд/очередь? Или как еще один микросервис? Я просто помню, что есть всякие темы с хуками, long polling, short polling

0

27.05.2021

George Gaál

Arsenius
А, слушайте, забыл еще один вопрос задать. А ворке...

Тупо как Кафка консумер

0

27.05.2021

George Gaál · Accepted Answer

George Gaál

Кафка

0

27.05.2021

172 похожих чатов

Салют! У меня не по докеру вопрос, а скорее по

3 ответов

Похожие вопросы