кафки. Но блять метко!
Как себе это вижу я (очень грубо и упрощенно).
Есть топики и партиции. У топик+партиция указана лидер-нода.Как только лидер-нода падает - kafka узнает об этом и инициирует процесс перевыборов лидер-ноды для этого топика и партиции. После того, как старая лидер-нода поднимается - она догоняет кластер и опять может участвовать в перевыборах.
Что касается консьюминга. Консьюмер коннектится к кластеру и получает список топиков-партиций и их лидер-нод. Консьюмер действует в контексте консьюмер-группы, в которой хранятся текущие оффсеты для топик+партиция. Каким образом кафка хранит эти оффсеты для консьюмер группы, на какой ноде и т.д.?
офсеты ты хранишь либо сам, либо они хранятся в зукипере (либо в служебном топике - но тут я не уверен)
Обсуждают сегодня