184 похожих чатов

Всем привет, написал тестовый сервис, который через jdbc ходит в

CH. Сам запрос, с котором он идет, всегда select 1. Упираюсь в 10к qps и никак не могу разогнать выше, при этом сами запросы исполняются < 1-2мс. Кто-нибудь сталкивался с подобными случаями и если да, то как разгоняли qps? Может, есть какие-то магические настройки в самой бд. или что-то подобное?

9 ответов

9 просмотров

У кликхауса большой оверхед на запросы, он разрабатывался под сотни рпс тяжёлых запросов

Timofey-Gusev Автор вопроса
Ivan Kalinin
У кликхауса большой оверхед на запросы, он разраба...

то есть использовать его как бд, в которую и пишут много много всего и выбирают много много всего, не лучшая идея?

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

А вы опишите для начала что выбирают и как пишут

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

если вам надо 1000 запросов в секунду на чтение которые каждый должен по миллиарду строк фильтровать, это не лучший кейс =) и все это на одной машине то машина должна быть очень жирная (много RAM - 256\512 и много CPU 32\64)

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

писать надо большими батчами по 10-100 тыс, а лучше миллион записей в чанке, меньше плохая идея =) узнаете про Buffer \ clickhouse-bulk \ chproxy и т.п. костыли искать "одну запись" и юзать JOIN с множественными таблицами которые по миллиону записей и не пролазят в память, тоже на CPU и память попадете

это шутка? 10krps на OLAP базе? КХ никто не точил на это. Изначально guid для каждого запроса генерился настолько долго что 100rps не было. На сайте альтинити есть тесты CH under storm. Ну и возможно вы упираетесь в клиента.

Denny [Altinity]
это шутка? 10krps на OLAP базе? КХ никто не точил ...

Вроде как фишка столбцовых СУБД и состоит в быстрой обработке аналитических запросов, нет?

Alexandr Chigrinets
Вроде как фишка столбцовых СУБД и состоит в быстро...

10K это очень много . если это в один поток, то это порядка 6мс на запрос. 6мс - это одно чтение для жесткого диска. для ssd не знаю цифр, но если что-то не в памяти, то это прям край . наврятли такое стаблино будет работать. чуть стали читать дольше и все

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
> Копаем глубже > Следующий момент был, когда я спросил его, знает ли он JavaScript. Он ответил, что его учили работать с C#. Я тоже в университете писал на C#, но даже там мн...
Oleg Volkov
4
И никого не интересует какие пакеты кто использует. ((% Заходишь на сайт симфони и видишь поддержку Украины - по законам РФ это ж экстремизм. Только никто не отказывается от с...
Am Ambrion
11
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
Чтобы перехватить все нажимания буков на форме, надо хук ставить? Пробовал на форме ОнКейДаун, оно ловит клаву если фокус не на компоненте с вводом текста
Serjone
15
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
7
Народ! Впервые клиенту пришло письмо от РКН, у вас, дескать, есть яндекс метрика, а нигде не написано, что вы ее юзаете. Никто не сталкивался?
Sasha Beep
14
Всем привет! вывожу на общей стр дочерние ресурсыв каждом ресурсе галерея, и первая фотка должна выводиться на общей [!DocLister? &prepare=photo !]
Alekso
12
А можно вопрос? Мне сегодня сказали что у меня функция (которая просто заполняет массив значениями) не правильная void Full(double * arr, int n) { for (int i = 0; i < n; i...
† C E †
7
Добрый вечер. Хочу чтобы у меня в классе поле было функцией, которая возвращает строку. Делаю так: interface ... TGetOutPath = function : String of object; ... protec...
Kirill Filippenok
12
Карта сайта