я выполняю какие то вычисления с каждым датасетом и это очень долго, хотелось бы ускорить этот процесс. Вот вопрос: Как лучше это сделать паралельно, что использовать и почему? P.S у меня flask. https://pastebin.com/1fHNLy6R
Не тот канал. А по теме: распараллель
Есть какие то советы, предложения?
asyncio
Для вычислений? Ну-ну
Уже выдал
А как асинхронный код поможет вычислениям?
Датасеты не связаны между собой.
Для каких вычислений? Он асинхронно будет обрабатывать каждый датасет. Пакеты, делающие какие-либо вычисления над датасетами, сами уже параллелят свою работу.
Загрузка данных еще есть.
Сколько один датасет рассчитывается?
самый большой кейс с двумя датасетами за +-105 сек
Асинхронщина полезна для вебсервиса, когда много мелких запросов
В остальном, больше гемора, из личного большого опыта
Когда много долгих IO запросов она ещё полезнее.
А ему отвечать не надо, я бы не примерял тут асинхронщину
Обсуждают сегодня