4 ноды как спасает?
Что-то мне кажется там вообще не в кворуме дело.
Так-то трёхнодовая кафка с 1-2 Тб данных нормально переживает отказ/перезагрузку ноды при рф3 иср2, никаких проблем никогда не было.
Даже зк на тех же нодах (надо бы унести, потому что там другие проблемы бывают при ребутах, но это уже как раз сами дураки, что всё рядом поставили).
при 4 нодах, 4 нода становится кворумом и другая реплика становится лидером при 2 нодах и рф 3, лидер не переназначается такая же тема у кассандры с кейспейсами
О каком кворуме идет речь? У кафки как сервиса кворума нет, если это не рафт. Вы можете хоть с одним брокером существовать
Так вот "4 нода становится кворумом" - это уже совсем запредельно. :) Кворум - это наличие кол-ва живых нод, достаточного для голосования. Обычно 1/2 кластера + 1. Из трёхнодового кластера - это как раз 2, для 4-х - это 3. Кластеры из 4х как раз строго не рекомендуется делать, потому что при сплит брейн получается что либо ни одна половина не имеет кворума, либо обе имеют и у вас два мастера. И то это про зукипер, не про кафку. Скорее тупо реплика на 4ю ноду едет, а лидер там вообще ни при чём. А при восстановлении на трёх всё помирает как раз потому что нода мёртая, но не совсем, и спасёт либо полный её отвал от сети, пока данные не поднимутся, либо, лучше, действительно дробление на большее кол-во нод. Но я не настоящий сварщик, конечно.
проблема в том, что у меня были кейсы с "отключением", при этом по разным причианм данные пропадали либо повреждались, для такого случая у кафки даже есть специальные скриты в папочке с shшниками чтобы ручками перенести лидера, тк сама при рф3 и 2 оставшихся живых репликах она это делать не будет
Да выбирает она всё сама, если нормально нода отваливается, а не вот этот вот зомбиленд.
Там проблемы с выбором лидера будут только если у вас реплики отставшие и unclean.leader.election отключен (а он по умолчанию отключен, ибо нех). Что на ваших объёмах данных, опять же, ожидаемо. Писали-то туда небось с acks=1, а не all?
про аск шикарно угадали😂🤣, я потом заставил переделывать\
Воооот там-то скорее всего собака и рылась, а не в необходимости ставить 4ю ноду. Ну то есть под те объёмы их надо, наверное, не просто 4ю, а ещё десяток, но чисто число там ни при чём :)
ненужно никаких 10ков, у меня кафка из 8 нод, с 24 дисками по 8 тб по 600 тб в день переваривала, и даже ноды по 1 ребутал не аффектя расчёты если нужно было делать работы на кластере
поясните что значит "при 2 нодах и рф 3 лидер не переназначается"? лидер переназначается, если текущий лидер потерял связь с зукипером. Если у вас было три ноды живых, то это другой смысл
Обсуждают сегодня