184 похожих чатов

Всем привет. У меня вопрос по rps в КХ. Есть

кластер, 4 ноды, 2 шарда по 2 ноды в каждом. Работает на оч хорошем железе, запас по ресурсам есть большой.
Запросы аналитические, написаны хорошо и работают быстро, в среднем 20-30мс на запрос. Рейт запросов - высокий, порядка 400rps на каждую ноду (тк данные пишутся и читаются через destributed таблицу, бизнесовых rps - порядка 100 на ноду и 400 на кластер, соотв-но). Проблема в том, что по мере роста rps, скорость запросов - деградирует драматически. Те увеличение rps в 2 раза - дает деградацию запросов в 5 раз, до 100-150ms. Увеличение рейта в 4 - 5 раз, деградирует запросы в более 10-15 раз. При этом, самое интересное, что сервера не перегружены ни по сpu, памяти, ни по IO, латенси от дисков не более 1-2мс, очередей нет. Отдельные сервера с Зукипером также не нагружены.
Вопрос в следующем - настолько высокий rps - типичное ли использование КХ и стоит думать продолжать копать в сторону оптимизации кластера через параметры, или архитектурно КХ плохо подходит под такой паттерн нагрузки и стоит думать в сторону снижения rps ? Версия 19.6

8 ответов

9 просмотров

Ну как минимум я бы рекомендовал переехать на более новый КХ. А в целом он не совсем подходит для высоких RPS. Была статья от ребят с altinity они там тестировали производительность, но достаточно условно, так как там выполнялся запрос SELECT 1.

Jamal-Sale Автор вопроса
Vladyslav Sakun
Ну как минимум я бы рекомендовал переехать на боле...

принял. Спасибо большое! Я также думал об обновленнии

в 19.16 на самом деле возможно у вас запросы выстраиваются в очередь, потому что в КХ есть параметр 100 запросов одновременно, все что больше ставить в очередь до 500мс. в новых версиях 500мс поменяли на 0 это неестественный RPS для OLAP, естественный RPS это 5 ну 10. удивительно что КХ работает с таким RPS, но в принципе можно и больше Почему/для чего у вас такой RPS ?

Jamal-Sale Автор вопроса
Denny [Altinity]
в 19.16 на самом деле возможно у вас запросы выстр...

да, у нас выкручен этот параметр в 200. и даже пробовали 500. Но особого эффекта на скорость запросов нет. Я также говорю нашей разработке что нужно снижать rps, менять бизнес логику. Просто хотел еще услашать подверждение, опытных специалистов. Спасибо

Jamal Sale
да, у нас выкручен этот параметр в 200. и даже про...

а чем вы ходите в КХ? каким API ? на каждый запрос свой коннект?

Jamal-Sale Автор вопроса
Denny [Altinity]
а чем вы ходите в КХ? каким API ? на каждый запрос...

через chproxy (который также не нагружен). Приложения на java

Jamal Sale
через chproxy (который также не нагружен). Приложе...

померяйте используя clickhouse-benchmark -c 100 потом попробуйте без chproxy попробуйте через пул коннектов в джава

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
70
Здравствуйте. Задача состоит в том, чтобы сделать real-time чат в мобильном приложении. После передачи сообщения пользователем через веб-сокеты, для основного и долговременног...
🐾
5
Всем доброго дня, ребят подскажите пожалуйста, если в курсе по ассемблеру используется MASM32, могу ли я использовать FASM? В чем явная разница и будет ли у меня все работать?
Botsman
17
падает джоба хотя уже была собрана на соседнем namespace, куда капать? │ │ Copying blob sha256:2fa066caddb8f09a71082b03aa43046f79346a01d9c89e06a1f508bb1207dba5 427 │ │ Copyin...
Andrei St
4
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
Люди добрые, помогите с идеями, потому что свои закончились. У клиента падает софтина в момент инициализации модуля OtlEventMonitor на RegisterWindowMessage('Gp/OtlTaskEvents/...
Михаил Усков
7
Тут просто дело в том, что я не могу сейчас дать такие подробности из за того что рассчитать это всё нереально. Этого проекта который я хочу сделать ещё даже не существует) И ...
🐾
8
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
2
Карта сайта