VS несколько с меньшей нагрузкой, есть ли разница? Ну и отказоусточивость
кафке - проще, если их меньше. у неё есть кеши, и он чаще в них будет попадать. доп консьюмер группы приводят к частому чтению с диска, когда в кеш не попадает, это может давать нагрузку на дисковую подсистему. но больше всего кафку нагружают именно дополнительные топики/партиции. если у вас одна консьюмер группа, то в рамках неё можете плодить консьюмеров на здоровье, всё равно с одной партиции не более одного за раз читает. а консьюмер группы заводить отдельные надо, опять же, когда есть разные потребители, которые хотят независимо друг от друга читать свою "копию" данных.
Понял. В нашем случае будет одна консьюмер группа, это внутренняя кафка. Почему спрашиваю про консьмеры - они каждый под себя резервируют поток, но насколько сильно это скажется, скажем, при 1000 консьюмеров, пока не знаю
ну, сколько вам потоков нужно обработки, столько удобно консьюмеров но и партиций нужно больше, чем одна, если консьюмеров несколько
По большому счету все сводится к тому, как оптимально спроектировать систему. Задача - свести к минимуму нагрузку на систему при достаточно высокой надёжности, как такового вопроса о числе потоков не стоит, необходимости обработки документов в отдельных потоках нет
надежность это про репликацию, скорее, вот там можно промахнуться и потерять данные
Обсуждают сегодня