Необходимо подгружать файлики каждые 5-10 секунд. Да они меняются часто.
Есть команда которая выкачивает курсы, форматирует и кладет в бд. Некоторые серверы отдают файлы долго (+-5 сек), но это все на их стороне...
Алгоритм команды такой:
1. Вытянул ссылку на файл который нужно обновить.
2. Скачал файл, отформатировал и положил в бд
Ну и команды запускаю в supervisor, про другие утилиты не слышал/знаю.
Какие есть варианты оптимизировать все это дело? Задача не сложная (вся логика в 100-200 строк укладывается), но грузит процессор сильно. Не могу понять куда смотреть.
На простом примере sleep вижу то что один процесс грузит 5-10, что считаю не нормальным поведением.
Думал запустить в фоне около 50 процессов и не знать бед 😅
страшно представить эту комманду парсим, выкачиваем файлы, парсим и сохраняем - все разные операции и в желательно в очереди, иначе окуеет от парсинга 1к systemd + messendger + sheduler
Обсуждают сегодня