Привет. Ребят, посоветуйте решение. Есть задача сделать обработчик файлов, который получает файлы

Question

Привет. Ребят, посоветуйте решение. Есть задача сделать обработчик файлов, который получает файлы

по http, асинхронно их обрабатывает и отдает результат.
Дано:
1. Файл обрабатывается за 20-40сек.
2. Файлы будут загружаться по http пачками в 100-1000 файлов.
3. api сделано на flask и хочется на нем и остаться.
4. python 3.7

Первоначально думал сделать через celery + rabbitmq (но я не знаю насколько тяжело rabbit поддерживать в prod).
Пока планирую сделать 3 части:
1. база на postgresql, в ней же будет очередь задач.
2. api на flask которое будет принимать файлы, укладывать их на диск и ставить задачу в postgresql.
3. обработчик, который собственно будет обрабатывать файлы (хочется иметь возможность разнести его на другой сервер и поднимать несколько инстансов). Думаю api к нему тоже сделать на flask по http, чтобы была возможность разнести на разные сервера.

Вопрсосы:
1. Как запускать обработчик? Инициировать с приложения 1? И говорить ему "работая, очередь не пуста".
2. Как хранить файлы? Просто на диске? Или же создавать какой-либо файлообменник?
3. Хочу все завернуть в docker контейнеры. под python часть хочу вот этот взять - https://hub.docker.com/r/tiangolo/uwsgi-nginx-flask/. под postgresql - https://hub.docker.com/_/postgres/

Как вы считаете, есть ли здесь здравый смысл?)

#backend #programming #python #russian

0

15.12.2018

1 ответов

12 просмотров

Tishka17 · Accepted Answer

Tishka17

Звучит норм. Правда если захочешь несколько серверов, надо будет что-то типа nfs например поднять

0

15.12.2018

170 похожих чатов

Привет. Ребят, посоветуйте решение. Есть задача сделать обработчик файлов, который получает файлы

1 ответов

Похожие вопросы