под потолок, CPU туда же
по логам: какие-то мержи упираются в нехватку памяти
произошло одновременно на всех трёх нодах кластера.
на двух из трёх нодах кластера помогло добавление памяти, на одном - не помогло
(рядовое потребление памяти в районе 1.5-2Гб на ноде при доступных 12 (до добавления было 8))
больше добавлять не стали, стали искать другие варианты
выяснилось (просмотром system.merges), что на ноде одновременно стартовали два тяжёлых (?) мержа по двум таблицам. Возникала какая-то гонка и оба падали из-за нехватки памяти. Проходил какой-то таймаут, оба опять стартовали и история повторялась. Бесконечно.
починили через:
system stop merges table1;
(подождать пока table2 закончит мёржи)
system start merges table1;
и всё прошло: CPU к нулю, память к 1Гб - обычный уровень
может кому-то сэкономит время в похожей ситуации
спасибо, хороший кейс
Обсуждают сегодня