и чтении в том числе ? Я пока столькнлся только с тем что место на диске выжирается, но это при нескольких тысячах инсертов в секунду
Я баловался до поры инсертами в сотню потоков. Выжимал хороший инсерт рейт, но как только стал писать чуточку больше (объем данных), то КХ стало плохо. Он действительно подвисал на фоновых мерджах. У меня на сервере крутится 100 процессов, которые обрабатывают данные и готовят к записи в КХ. Я просто пишу все это дело в кучу по разным файлам. Раз в минуту формирую список файлов, которые нужно вставить в КХ, перемещаю их в другую директорию, мерджу в один файл и вставляю. Максимальная задержка - 1 минута, что вполне себе ок., учитывая то, что это не вешает сервак даже на чтение, а api падало по таймаутам достаточно часто, несмотря на то, что у меня 4 шарда по 2 реплики.
Обсуждают сегодня