получение ответа от АПИ стороннего сервиса?
Например есть такая задача: нужно получить 10 объектов по pk из апи сервиса A и записать в базу. Можно просто в цикле пройтись и отправить 10 запросов, но что делать, если какой-то из запросов вернет ошибку?
Нужно ее зарегистрировать и повторять запрос до тех пор, пока он не вернет нужный результат.
Есть мысль выдавать заданий Gearman`у. Но может есть путь проще?
делаешь очередь, скажем на кролике. туда пишешь все что нужно опросить делаешь вторую очередь DLE, из которой по таймауту будут выбрасываться задачи обратно в основную очередь. в нее пишешь те что фейляться. когда фейляться навешиваешь счетчик. после 3х попыток просто логишь эту запись и присылаешь нотифай поднимаешь N количество консьюмеров, которые опрашивают апи. если где-то случился too many requests, пишешь в редис или куда-нибудь в мемкеш об этом. на каждой итерации демоны проверяют кеш, и если там есть блокировка, тогда они мирно сидят в слипе и ждут пока она пройдет
Обсуждают сегодня