184 похожих чатов

А кто как поднимает QPS на запросах с малой выборкой

данных? query_log , granularity, max_threads испробовано. Получили 166 QPS

16 ответов

20 просмотров

uncompressed_cache вы статью clickhouse in the storm читали?

Dmitriy-S Автор вопроса
Dmitry [Altinity] Titov
uncompressed_cache вы статью clickhouse in the st...

вот последний момент из той статьи сейчас пробуем

Dmitriy-S Автор вопроса
Dmitry [Altinity] Titov
uncompressed_cache вы статью clickhouse in the st...

увеличение до 186 QPS. Есть что поэффективнее?)

Dmitriy S
увеличение до 186 QPS. Есть что поэффективнее?)

Ну что за таблица, что за запросы, сколько строк они читают

узкое место не в КХ ? "select 1" сколько QPS ? есть такая утилита , ей померяйте свой запрос прямо на сервере КХ clickhouse-benchmark -c 50 <<< 'select 1' localhost:9000, queries 12806, QPS: 12866.100, RPS: 12866.100, MiB/s: 0.012, result RPS: 12866.100, result MiB/s: 0.012. clickhouse-benchmark -c 50 <<< 'select avg(number) from numbers(1000000)' localhost:9000, queries 7117, QPS: 7145.613, RPS: 7489174572.842, MiB/s: 57137.868, result RPS: 7145.613, result MiB/s: 0.055.

Dmitriy-S Автор вопроса
Konstantin Ilchenko
а это на каком железе вы меряли?

слабенький тестовый AMD Ryzen 7 3700X 8-Core Processor

Denny [Altinity]
слабенький тестовый AMD Ryzen 7 3700X 8-Core Proce...

Такой результат для 2xXeon(R) Gold 5220 CPU @ 2.20GHz выглядит слабовато? -c 50 <<< 'select 1' 0.0.0.0:9000, queries 72837, QPS: 20246.914, RPS: 20246.914, MiB/s: 0.019, result RPS: 20246.914, result MiB/s: 0.019. -c 50 <<< 'select avg(number) from numbers(1000000)' 0.0.0.0:9000, queries 66016, QPS: 16684.659, RPS: 17486857380.115, MiB/s: 133414.134, result RPS: 16684.659, result MiB/s: 0.127.

Konstantin Ilchenko
Такой результат для 2xXeon(R) Gold 5220 CPU @ 2.20...

нормально. топикстартер жаловался на "Получили 166 QPS" я подозреваю он померял скорость клиента или сети или чего-то такого

Dmitriy-S Автор вопроса
Denny [Altinity]
узкое место не в КХ ? "select 1" сколько QPS ? ...

queries 28695, QPS: 642.262, RPS: 642.262, MiB/s: 0.001, result RPS: 642.262, result MiB/s: 0.001 b иqueries 42447, QPS: 604.464, RPS: 633527009.535, MiB/s: 4833.428, result RPS: 604.464, result MiB/s: 0.005 соответственно. 2 проца 12 гигов оперативы, в вашем операторе в кубе в облаке Гугла.

Dmitriy S
queries 28695, QPS: 642.262, RPS: 642.262, MiB/s: ...

Просто несколько цифр к разговору (benchmark запускается с другого хоста) 1. Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz (32 cores inside the container) -c 100 <<< 'select 1' QPS: 28541.165, RPS: 28541.165, MiB/s: 0.027, result RPS: 28541.165, result MiB/s: 0.027. -c 100 <<< 'select avg(number) from numbers(1000000)' QPS: 8337.994, RPS: 8738884837.366, MiB/s: 66672.400, result RPS: 8337.994, result MiB/s: 0.064. 2. Intel(R) Xeon(R) Silver 4214 CPU @ 2.20GHz (48 cores inside the container) -c 50 <<< 'select 1' QPS: 31402.416, RPS: 31402.416, MiB/s: 0.030, result RPS: 31402.416, result MiB/s: 0.030. -c 50 <<< 'select avg(number) from numbers(1000000)' QPS: 13614.469, RPS: 14269052290.986, MiB/s: 108864.230, result RPS: 13614.469, result MiB/s: 0.104.

Dmitriy-S Автор вопроса
sdev E
Просто несколько цифр к разговору (benchmark запус...

меня бы эти цифры устроили.Но пока копаем дальше

Dmitriy S
queries 28695, QPS: 642.262, RPS: 642.262, MiB/s: ...

2Cpu и 12 ram тут любые цифры могут быть, можно не смотреть в чем проблема. У меня тестовый сервер это 32 ядра и 128 озу.

Dmitriy-S Автор вопроса
Denny [Altinity]
2Cpu и 12 ram тут любые цифры могут быть, можно не...

Делаем новые ноды на более производительных CPU отключили сжатие на интересующей нас таблице, т.к 235 Мб превратилось в всего в 1.9 гб

Dmitriy-S Автор вопроса
Dmitriy S
Делаем новые ноды на более производительных CPU от...

Изменение нод, добавление процов и памяти подняло QPS до 1150 для select 1

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
32
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
Подскажите пожалуйста, а я могу вот такую штуку использовать? rpc, только реализованное в реббите https://www.rabbitmq.com/tutorials/tutorial-six-php ( или https://habr.com/ru...
Artyom
11
а мы ещё не созрели до того, чтобы создать отдельный чатик про настройку редакторов?
Cheese Syrowiecki
16
И ещё вопрос: можно ли типа как на дос как-то запариться и с помощью прерываний выводить текст, вместо функции printf ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
34
Всем привет! У меня почему-то по-разному отображается TListView в Debug и Release режимах (FireMonkey)! При запуске под Win приложения TListView заливается программо. в Debug ...
Александр COM
8
Ладно, ещё тупого спрошу. Код должен банально вывести значение регистра на консоль, на деле же не выводя ничего, просто оставляя нерабочую консоль (открыта, ничего не написан...
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
25
Парни, спасайте. RAD Studio 12 творит какую-то дичь. У меня есть метод (event), который вызывает другой метод, т.е. он состоит из 1-й строки вызова. Ставлю бряк на event, запу...
Eugene Krasnikov (ᴊɪɴ x)
3
Карта сайта