первый взгляд настройками, на обоих стендах развернуто 5 зукиперов. На первом стенде если запустить только 3 из 5 зукиперов, или запустить 5 а потом 2 остановить, эти три начинают валить в логи по 5-10 сообщений в секунду: "Close of session 0x0. java. io. IOException: ZooKeeper not running". И генерируют повышенную нагрузку на CPU.
На втором же стенде мы обнаружили, что два зукипера по различным причинам остановились, при этом три остальных работают как ни в чём ни бывало, и нагрузка на них больше 50% не поднимается. Почему такое различие? В конфиге зукипера на всех хостах на обоих стендах прописаны соответствующие айпи адреса, и там, и там - по 5 адресов, адреса конечно корректные. В чем может быть различие?
если на первом стенде поднять 2 выключенных сервера ЗК, поток ошибок в логи прекращается
Извините, апну вопрос про зукиперы, может кто что подскажет 👆
3 zk поднимите и посмотрите как будет работать
там не только close of session вы логи внимательно посмотрите... там кворум избирается по новой... поэтому пока кворум не изберется, кликхаус к ним подключиться не сможет... а он пытается... и настойчиво... сколько нод кликхауса в стенде?
ну вот на одном стенде (НТ) три зукипера вместо пяти отказываются работать. ("На первом стенде если запустить только 3 из 5 зукиперов, или запустить 5 а потом 2 остановить, эти три начинают валить в логи по 5-10 сообщений в секунду: "Close of session 0x0. java. io. IOException: ZooKeeper not running". И генерируют повышенную нагрузку на CPU. ") А на другом, на проме, стихийно так сложилось, что работают, конфиг при этом на обоих стендах отличается только айпи хостов (и там, и там указано 5 хостов на всех серверах).
Логи то смотрите почему кворум не устанавливается... там все в логах есть Close session это когда клик конектится а кворум не установлен...
5-10 коннектов в секунду, это много... сколько нод кликхаус сервера?
ага, то есть это ошибка коннекта не ЗК друг к другу, а клика к ЗК. Понял, спасибо!
а... тогда не много... грепайте логи по слову quorum и peer case inseisitive
а ты бесстрашный жить с 3 из 5 зк на проме)
плохо, да, ну пока работают. там пока не очень важная инфа лежит, клик только осваиваем.
просто 3 из 5 это значит что вы не можете ни один из оставшихся остановить без развала кластера
да, это понимаю. но пока с альтернативным стендом не разберёмся, этот трогать не хочется (хотя понятно, что если запустить остановившиеся инстансы сейчас, то в принципе ничего сломаться не должно)
Обсуждают сегодня