184 похожих чатов

Всем привет. У меня вопрос по rps в КХ. Есть

кластер, 4 ноды, 2 шарда по 2 ноды в каждом. Работает на оч хорошем железе, запас по ресурсам есть большой.
Запросы аналитические, написаны хорошо и работают быстро, в среднем 20-30мс на запрос. Рейт запросов - высокий, порядка 400rps на каждую ноду (тк данные пишутся и читаются через destributed таблицу, бизнесовых rps - порядка 100 на ноду и 400 на кластер, соотв-но). Проблема в том, что по мере роста rps, скорость запросов - деградирует драматически. Те увеличение rps в 2 раза - дает деградацию запросов в 5 раз, до 100-150ms. Увеличение рейта в 4 - 5 раз, деградирует запросы в более 10-15 раз. При этом, самое интересное, что сервера не перегружены ни по сpu, памяти, ни по IO, латенси от дисков не более 1-2мс, очередей нет. Отдельные сервера с Зукипером также не нагружены.
Вопрос в следующем - настолько высокий rps - типичное ли использование КХ и стоит думать продолжать копать в сторону оптимизации кластера через параметры, или архитектурно КХ плохо подходит под такой паттерн нагрузки и стоит думать в сторону снижения rps ? Версия 19.6

8 ответов

7 просмотров

Ну как минимум я бы рекомендовал переехать на более новый КХ. А в целом он не совсем подходит для высоких RPS. Была статья от ребят с altinity они там тестировали производительность, но достаточно условно, так как там выполнялся запрос SELECT 1.

Jamal-Sale Автор вопроса
Vladyslav Sakun
Ну как минимум я бы рекомендовал переехать на боле...

принял. Спасибо большое! Я также думал об обновленнии

в 19.16 на самом деле возможно у вас запросы выстраиваются в очередь, потому что в КХ есть параметр 100 запросов одновременно, все что больше ставить в очередь до 500мс. в новых версиях 500мс поменяли на 0 это неестественный RPS для OLAP, естественный RPS это 5 ну 10. удивительно что КХ работает с таким RPS, но в принципе можно и больше Почему/для чего у вас такой RPS ?

Jamal-Sale Автор вопроса
Denny [Altinity]
в 19.16 на самом деле возможно у вас запросы выстр...

да, у нас выкручен этот параметр в 200. и даже пробовали 500. Но особого эффекта на скорость запросов нет. Я также говорю нашей разработке что нужно снижать rps, менять бизнес логику. Просто хотел еще услашать подверждение, опытных специалистов. Спасибо

Jamal Sale
да, у нас выкручен этот параметр в 200. и даже про...

а чем вы ходите в КХ? каким API ? на каждый запрос свой коннект?

Jamal-Sale Автор вопроса
Denny [Altinity]
а чем вы ходите в КХ? каким API ? на каждый запрос...

через chproxy (который также не нагружен). Приложения на java

Jamal Sale
через chproxy (который также не нагружен). Приложе...

померяйте используя clickhouse-benchmark -c 100 потом попробуйте без chproxy попробуйте через пул коннектов в джава

Похожие вопросы

Обсуждают сегодня

@Aiwan что такое база образца?
Alexey
27
Не многие знают, а кто знает, тот уже успел забыть, что в далёком 2004 году эта игра произвела настоящий фурор, настолько революционной была технология, применяемая для её соз...
ICCID
4
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Короче я тут узнал полный пиздец Что кучу постов которые я создавал через posted Спустя время не могу редактировать и менять Мол телега возвращае ошибку Это реально так ...
inc.
13
Хотя у меня сейчас есть более сложная задача, вот её думаю: как объяснить челу переходного возраста противоположного полу, обучающегося в польском колледже (а-ля наш техникум)...
Вячеслав Кузьменко
15
а сколько всего в IT умерло? Где флеш-игры, их было туча, где они все? Сегодня технология есть, а завтра вжух и мёртвая. Этот wasm сильно напоминает джавовские апплеты, silver...
Constantin F.
5
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
30
а вы в курсе, что Initialize() не работает? var arr123: array[0..123] of Byte; ... Initialize(arr123, SizeOf(arr123));
Iluha Companets
8
что читать по делфи?вообще 0 в нем
fd dsds
9
верно что я могу удалить эти addq и subq т.к. со стеком никакого взаимодействия нет (исключая call)?
Michael
16
Карта сайта