184 похожих чатов

А кто как поднимает QPS на запросах с малой выборкой

данных? query_log , granularity, max_threads испробовано. Получили 166 QPS

16 ответов

16 просмотров

uncompressed_cache вы статью clickhouse in the storm читали?

Dmitriy-S Автор вопроса
Dmitry [Altinity] Titov
uncompressed_cache вы статью clickhouse in the st...

вот последний момент из той статьи сейчас пробуем

Dmitriy-S Автор вопроса
Dmitry [Altinity] Titov
uncompressed_cache вы статью clickhouse in the st...

увеличение до 186 QPS. Есть что поэффективнее?)

Dmitriy S
увеличение до 186 QPS. Есть что поэффективнее?)

Ну что за таблица, что за запросы, сколько строк они читают

узкое место не в КХ ? "select 1" сколько QPS ? есть такая утилита , ей померяйте свой запрос прямо на сервере КХ clickhouse-benchmark -c 50 <<< 'select 1' localhost:9000, queries 12806, QPS: 12866.100, RPS: 12866.100, MiB/s: 0.012, result RPS: 12866.100, result MiB/s: 0.012. clickhouse-benchmark -c 50 <<< 'select avg(number) from numbers(1000000)' localhost:9000, queries 7117, QPS: 7145.613, RPS: 7489174572.842, MiB/s: 57137.868, result RPS: 7145.613, result MiB/s: 0.055.

Dmitriy-S Автор вопроса
Konstantin Ilchenko
а это на каком железе вы меряли?

слабенький тестовый AMD Ryzen 7 3700X 8-Core Processor

Denny [Altinity]
слабенький тестовый AMD Ryzen 7 3700X 8-Core Proce...

Такой результат для 2xXeon(R) Gold 5220 CPU @ 2.20GHz выглядит слабовато? -c 50 <<< 'select 1' 0.0.0.0:9000, queries 72837, QPS: 20246.914, RPS: 20246.914, MiB/s: 0.019, result RPS: 20246.914, result MiB/s: 0.019. -c 50 <<< 'select avg(number) from numbers(1000000)' 0.0.0.0:9000, queries 66016, QPS: 16684.659, RPS: 17486857380.115, MiB/s: 133414.134, result RPS: 16684.659, result MiB/s: 0.127.

Konstantin Ilchenko
Такой результат для 2xXeon(R) Gold 5220 CPU @ 2.20...

нормально. топикстартер жаловался на "Получили 166 QPS" я подозреваю он померял скорость клиента или сети или чего-то такого

Dmitriy-S Автор вопроса
Denny [Altinity]
узкое место не в КХ ? "select 1" сколько QPS ? ...

queries 28695, QPS: 642.262, RPS: 642.262, MiB/s: 0.001, result RPS: 642.262, result MiB/s: 0.001 b иqueries 42447, QPS: 604.464, RPS: 633527009.535, MiB/s: 4833.428, result RPS: 604.464, result MiB/s: 0.005 соответственно. 2 проца 12 гигов оперативы, в вашем операторе в кубе в облаке Гугла.

Dmitriy S
queries 28695, QPS: 642.262, RPS: 642.262, MiB/s: ...

Просто несколько цифр к разговору (benchmark запускается с другого хоста) 1. Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz (32 cores inside the container) -c 100 <<< 'select 1' QPS: 28541.165, RPS: 28541.165, MiB/s: 0.027, result RPS: 28541.165, result MiB/s: 0.027. -c 100 <<< 'select avg(number) from numbers(1000000)' QPS: 8337.994, RPS: 8738884837.366, MiB/s: 66672.400, result RPS: 8337.994, result MiB/s: 0.064. 2. Intel(R) Xeon(R) Silver 4214 CPU @ 2.20GHz (48 cores inside the container) -c 50 <<< 'select 1' QPS: 31402.416, RPS: 31402.416, MiB/s: 0.030, result RPS: 31402.416, result MiB/s: 0.030. -c 50 <<< 'select avg(number) from numbers(1000000)' QPS: 13614.469, RPS: 14269052290.986, MiB/s: 108864.230, result RPS: 13614.469, result MiB/s: 0.104.

Dmitriy-S Автор вопроса
sdev E
Просто несколько цифр к разговору (benchmark запус...

меня бы эти цифры устроили.Но пока копаем дальше

Dmitriy S
queries 28695, QPS: 642.262, RPS: 642.262, MiB/s: ...

2Cpu и 12 ram тут любые цифры могут быть, можно не смотреть в чем проблема. У меня тестовый сервер это 32 ядра и 128 озу.

Dmitriy-S Автор вопроса
Denny [Altinity]
2Cpu и 12 ram тут любые цифры могут быть, можно не...

Делаем новые ноды на более производительных CPU отключили сжатие на интересующей нас таблице, т.к 235 Мб превратилось в всего в 1.9 гб

Dmitriy-S Автор вопроса
Dmitriy S
Делаем новые ноды на более производительных CPU от...

Изменение нод, добавление процов и памяти подняло QPS до 1150 для select 1

Похожие вопросы

Обсуждают сегодня

коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
20
А что ты вообще делаешь ?
Yesgoter
13
средствами IBX как-то можно выполнить запрос insert ... returning?
Igor
31
На работе пишем распределенное приложение, у которого сотни, если не тысячи настроек. Конфиги написаны на xml, расположены на разных хостах и должны быть согласованы друг с др...
Aleksandr Druzhinin
5
Всем привет 🙂 Какая-то непонятная проблема у меня с видео, раньше такого не было. Загружаю видео с гугл диска именно в видео mp4 и меняю ссылку как положено вот она: https://d...
Ксюша|Верстка на Тильде|Дизайн 🦥
6
Hi there everyone Is there anyone who have not started hamster bot yet? I need only one, I'll be glad if you do this for me DM if you haven't yet
Mehrshad
53
А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
А какие у этого try практические плюсы перед eval?
Oleg Volkov
41
Карта сайта