Всем привет. Какая библиотека поможет решить такую задачу? - Приходит запрос

Question

Всем привет. Какая библиотека поможет решить такую задачу? - Приходит запрос

на формирование отчета. Клиенту сразу нужно отдать 200 и запомнить параметры, которые он прислал (сервер может перезагрузиться, так что это будет в БД. Сейчас в проекте в сервисах везде постгрес, поэтому ему приоритет.)
- далее эти параметры нужно взять и запустить долгосрочную задачу (например несколько минут). Если задача зафейлилась, то нужно поставить ей статус об этом. Если сервак потух когда задача выполнялась, то при повторном запуске нужно выполнять ее заново.
- задач может быть несколько, нужно выполнять их по очереди

Я так понимаю, мне нужен фоновый поток, который будет подниматься при старте сервера и смотреть на наличие задач в БД. Дальше будет выполнять их по очереди. В реквестах будут приходить еще задачи.

Мне достаточно будет понимать как этот фоновый поток запустить, как это сделать на ноде? Я если что Шарпист, с нодой пока на ВЫ.

#backend #javascript #node.js #programming #russian

0

24.02.2021

13 ответов

4 просмотра

Sergii Автор вопроса

Она на редисе. Мне не хочется еще какую-то БД подключать для маленькой очереди. Если я по крону буду просыпаться каждую минуту, то через static переменную класса могу отметку ставить, что уже работа выполняется и чтобы из другого крона я видел это состояние?

0

24.02.2021

Shepard Commander

В смысле как пример есть много других очередей и без редиса, но я только этой пользовался, поэтому названия не на слуху

0

24.02.2021

Sergii Автор вопроса

Понял, спасибо

0

24.02.2021

Shepard Commander

А вот ещё достаточно известная https://github.com/bee-queue/bee-queue прям по описания самое оно

0

24.02.2021

Shepard Commander

Просто мне кажется, редис использовать очень удобно. В нем то как раз и будут сохраняться недоаыполненные задания при рестарте сервера. И автоматически будут пытаться выполнится повторно в подобной ситуации

0

24.02.2021

Sergii Автор вопроса

У нас уже есть постгрес, поэтому буду писать в нее. Она тоже удобная и уже есть.

0

24.02.2021

Adv0cat

По хорошему такую задачу нужно выполнять через очередь, типа кафки, но достаточно будет реализовать поверх постгреса. Создаете пару таблиц в постгресе с зачами, параметрами для них и статусами, а потом в ноде в index.js делаете обычный setInterval и в функции выбираете из базы задачи с нужным вам статусом и делаете с этими задачами все что вам нужно, хоть все сразу выполняете, хоть по очереди, опираясь на параметры, ну в общем я думаю смысл понятен 😊

0

24.02.2021

Adv0cat

а вообще worker_threads вам в помощь))

0

24.02.2021

Sergii Автор вопроса

Вот это что-то интересное. Спасибо!

0

24.02.2021

🆃🅰🆁🅸🅺 🇺🇦

Типичная задача для месседж брокеров и воркеров

0

24.02.2021

Sergii Автор вопроса

Я сделал что хотел в 6 строк кода. А сколько инфраструктуры мне нужно поднять для месседж брокера и его воркеров? Если нужно будет масштабировать это дело (в чем я очень сомневаюсь) то конечно будет разговор о всем этом.

0

24.02.2021

🆃🅰🆁🅸🅺 🇺🇦

Рад за вас

0

24.02.2021

Shepard Commander · Accepted Answer

Shepard Commander

https://github.com/OptimalBits/bull . Очередь для выполнения заданий

0

24.02.2021

170 похожих чатов

Всем привет. Какая библиотека поможет решить такую задачу? - Приходит запрос

13 ответов

Похожие вопросы