Есть веб-сервис на Python 3.7. Флоу следующее: 1. Пользователь может загружать файлы

Question

Есть веб-сервис на Python 3.7. Флоу следующее: 1. Пользователь может загружать файлы

(xls/csv) либо давать урл на гугл таблицу.
2. В таблице может быть неограниченное число строк - до 80к, например.
3. В каждой строке хранятся данные. Из каждой строки создаётся новая запись в базе данных (postgresql)
4. Каждая запись при сохранении индексируется в ElasticSearch.
5. Перед сохранением записи в бд нужно циклом пройти по каждой строке, чтобы привести данные в нужный формат.

Много времени уходит на саму обработку данных, чтобы привести их к нужному формату. Ну и делать 80к итераций это тоже зашквар ещё тот.

Всё это дело я вынес в celery.
Как можно оптимизировать? Потоки? Мультипроцессы? Селери чанки?

#backend #programming #python #russian

0

22.08.2020

4 ответов

14 просмотров

Владимир

Ну а если просто взять таблицу и прогнать описанное в вопросе без селери, без вебапи, но с базой данных это насколько долго?

0

22.08.2020

Well Done

Можешь 3, 4, 5 по времени замерить и посмотреть, как долго что выполняется

0

22.08.2020

Roman

А обработку в самой базе не пробовал делать или медленно?

0

22.08.2020

kdmal · Accepted Answer

kdmal

питон хоть и тормозной, но чтоб долго парсить 80тыс строк - это уже перебор. Может дело в " Из каждой строки создаётся новая запись в базе данных (postgresql)"?

0

22.08.2020

170 похожих чатов

Есть веб-сервис на Python 3.7. Флоу следующее: 1. Пользователь может загружать файлы

4 ответов

Похожие вопросы