очереди кролика? Broadway, другие библиотеки, самописные велосипеды? Условия примерно такие прилетели разом 1000 запросов, надо все отработать и отдать ответы в пределах двух минут. С прикидкой на то, что через год может быть 10К запросов
broadway самый простой способ. поднять достаточное количество consumer-ов чтобы они параллельно разгребали. 1000 запросов за 2 минуты должны уложиться
Возьмите просто библиотеку AMQP и создайте сами консумеров, не слушайте остальных. Browaday только замедлит положение, он сделает ровно то же, только еще и будет через себя данные гонять. Чтобы посчитать кол-во консюмеров возьмите скорость обработки одного такого запроса и посчитайте что-то типа consumers_count = (1000 * one_job_avg_execution_time_seconds) / (2 * 60)
Вот только Бродвей можно за десять минут поднять, а остальное время ручки крутить и тестировать, а собственное решение это собственное решение
Что значит собственное решение? Бродвей использует эту же блиюлиотеку, ее подымать те же 10 минут
То есть по вашему Бродвей использует "ту же библиотеку" и от себя не добавляет ничего полезного? Просто слипы в коде расставляет?
Он добавляет, но это для батч процессинга. Я не вижу где тут есть батч в вопросе, это просто 1000 джоб и все. Наверняка ack/nack тоже хочется желать по каждой отдельно
Обсуждают сегодня