Пока не вижу причин
я бы взял asyncio и очередь задач, по таймингу добавлял бы в очередь задач магазы и асинхронно их парсил, ни каких тредов и мультипроцессинга не надо
asyncio и celery?
Асинкио нестабильно, вот процесс упал (сервак ребутнулся или инет тупанул), все придётся заново делать
Если есть очередь задач по типу rabbitmq то начнет с того же места, после обработки задачи нужно указать что ты задачу выполнил, если процесс упал а ты неуспел обработать url то она так и останется в очереди
Так асинкио то зачем?
быстрее, больше одновременно выполняемых запросов
Смысла нет, надо под каждый магаз свой процесс запускать из-за контекста, имхо
возможно, тут уже по ситуации, но в задачке в вакууме я бы наоборот одну асинхрнную таску на один магазин
Мб и так, я то смотрю со своей нижеджуновской стороны
Обсуждают сегодня