воркеров?
Пока в голове крутится такая схема: командное приложение кидает таски в очередь (что и где спарсить), воркеры ходят парсят, обрабатывают результат и кидают в другую очередь. Очередь результатов слушается в несколько потоков и записывается в бд.
Хочется парсить много и быстро, с возможностью масштабирования.
Это норм схема или можно лучше?
голанг
Делал так, норм, на определённых объёмах
можно и без очереди супервизор берет UoW и запускает в форке воркер так вы немного сэкономите время на бутстрап новых воркеров
я вот как раз хотел воркеры держать на супервизоре, чтобы они ждали сообщения в очереди спасибо всем за ответы :)
Обсуждают сегодня