КХ может быть сталкивались с подобной задачей.
Поступает довольно большой объём данных - 300 миллионов хукрв в 10 минут. Записи требуют нормализации и фильтрации которая занимает довольно много времени (0.1-0.15 сек). Ни кролик ни Кафка не справляются с такой нагрузкой. Подскажите, может кто-то знает что-то что умеет работать с такой очередью?
ПС: ни одно сообщение не должно быть потеряно поэтому ZeroMQ не подходит 🙅♂️
Ну на самом деле это вопрос кластеризации, столько на одной машине перемолоть сложно. Можете ещё посмотреть на nats.io (сам не пробовал)
Обсуждают сегодня