ли с django
есть таск на парсинг страницы с параметром урла
есть таск на создание множества первых тасков
я запускаю последний со списком урлов, смотрю в базу а у меня там куча идентичных объектов, причем они периодически повторяются
а период, судя по всему, равен количеству воркеров celery
по ссылкам переходил вручную, там совсем не то что загрузилось в базу
что происходит?
мне хватит и пинка в нужном направлении, так как я вообще не представляю чем может быть вызвана подобная проблема
Обсуждают сегодня