172 похожих чатов

Салют! У меня не по докеру вопрос, а скорее по

system design. Не знаю, в какой чат его задать, поэтому пишу сюда :)

1. На фронте грузим файл, в котором 1-1M строк
2. Файл отправляется на бэк по апи
3. На бэке строки из файла пишутся в базу (postgres)
5. Есть много всяких микросервисов, каждый из которых считает какую-то метрику для строки. Каждая метрика может считаться от нескольких секунд до 30 минут
6. Надо, чтобы каждая строка отправилась в каждый сервис и попутно в базе обновлялся статус для каждой строки. Например, что тот или иной сервис посчитал метрику
7. Строки надо вывести во вьюху с таблицей, желательно сразу после сабмита файла, а метрики в таблицу, чтобы подтягивались по мере готовности и без постоянного рефреша страницы со стороны пользователя
8. На фронте надо повесить еще какой-то общий progress bar, помимо самой таблицы с результатми

Деплою это все на aws.

Вопросы:
1. Как лучше всего сделать пункт 6? Что почитать по этой теме, чтобы не придумывать самому велосипеды? Как я понял, нужна какая-то очередь, типо RabbitMQ или самому код воркеров и код очереди писать?
2. Как сделать, чтобы сервисы понимали сколько их нужно поднять исходя из размера файла, чтобы все метрики посчитались за +/- заданное время. Нужен kubernetes для этого или нужно на aws как-то autoscaling настроить?

3 ответов

6 просмотров

Кафка

Arsenius- Автор вопроса

А, слушайте, забыл еще один вопрос задать. А воркеров как что писать лучше всего? Как цикл, который каждые несколько секунд просыпается и чекает бд/очередь? Или как еще один микросервис? Я просто помню, что есть всякие темы с хуками, long polling, short polling

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
32
Hello. Could you please help me with finding all coordinates within a radius using a spatial index, given that I have a table with coordinates? SET @lng = 37.57925; SET @lat ...
Rinchin G
7
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Привет, запускаю werf в dind в k8s, получаю ошибку на этапе build/beforeSetup: /.werf/stapel/embedded/bin/bash: /.werf/scripts/5898bdfe5214357d3706b879cc8d3d78460fb379607cbd...
florius0
7
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Всех приветствую. Направьте меня в нужное русло. Постепенно переписываю проект с delphi на lazarus. Приложение - обычный windows/linux клиент для бд firebird. Тут все хорошо. ...
Mishutka
8
Привет всем, подскажите, есть сайт на ево 1.4, надо сделать его мультиязычным, структура документов одинаковой останется, чисто тексты разные, свои тв для каждого языка, поддо...
Oleg
7
@rouse_79 https://github.com/AlexanderBagel/FWZip/blob/8c6882a31ffaa9a23e66e22eaa5b1f7ebfcad43c/zlib_external.pas#L393 Почему Си-шная функция memset, параметр отвечающий за з...
notme
8
{"fieldValue":[ {"title":"Alkmaar","coords":"52.62689992095562, 4.771862510168792","address":"Edisonweg 1","zip":"1821 BN","city":"Alkmaar","description":"ma-vr: 07:00-17:00"...
Marc Hoogstrate
4
Карта сайта