по сути нода подключается к кафке и по появлению нового сообщения обрабатывает и записывает его в аероспайк. Все было хорошо, пока не пошел хайлоад) Потому что при появлении 300 соединений аероспайк отказывается работать. Все работает асинхронно, то есть пришло сообщение - вызвался колбек для обработки, потом колбек для записи, потом колбек для того, чтобы пометить сообщение как обработанное.
Вопрос нубюский немного - есть какая то возможность это все контроллировать?) Например, притормозить обработку если аэероспайк недоступен. В голову пока что приходит мысль, что я неправильно работаю с аэроспайком и нужно использовать постоянное соединение.
по идеологии кафки, должно быть типа такого: твоя приложуха слушает кафку, получает сообщения и после обработки обратно записывает его в кафку, но уже в другой специальный топик для обработанных, а из того топика оно уже льётся атоматически в спайк через кафка-коннект. тут сразу и решается проблема недоступности спайка, т.к. ты с ним напрямую на контачишь, и не приостанавливаешь обработку в случае недоступности
Обсуждают сегодня