КХ может быть сталкивались с подобной задачей. 
                  
                  
                  Поступает довольно большой объём данных - 300 миллионов хукрв в 10 минут. Записи требуют нормализации и фильтрации которая занимает довольно много времени (0.1-0.15 сек). Ни кролик ни Кафка не справляются с такой нагрузкой. Подскажите, может кто-то знает что-то что умеет работать с такой очередью?
                  
                  
                  
                  
                  
                  ПС: ни одно сообщение не должно быть потеряно поэтому ZeroMQ не подходит 🙅♂️
                  
                  
                
Ну на самом деле это вопрос кластеризации, столько на одной машине перемолоть сложно. Можете ещё посмотреть на nats.io (сам не пробовал)
Обсуждают сегодня